A. 2023/9/5——linux下载/解压ImageNet2012数据集
本文处理的是ILSVRC2012数据集。
下载训练集(ILSVRC2012_img_train.tar)与验证集(ILSVRC2012_img_val.tar)。
执行命令将训练集解压至train目录,进入train目录查看文件数量,确保成功解压1281167张图片。
对于验证集,先进入根目录,创建解压文件夹,将验证集图像解压至val目录下。
验证集解压后直接存放于val目录,需手动分类至1000个文件夹。
通过解压ILSVRC2012_devkit_t12.tar.gz文件获取验证集图像名及类别标签映射。
在/home/data/imagenet目录下编写Python脚本“unzip.py”,用于自动分类验证集图像。
运行脚本后,训练集与验证集各自生成1000个文件夹。
训练集与验证集均成功组织为1000个文件夹,便于后续模型训练与评估。
B. lora模型怎么训练
1.全面充分的采集训练素材:列如在角色训练素材中,应该有各种角度、表情、光线等情况下的素材,这样才能确保模型具有较好的泛化性。
5.过拟合&欠拟合处理:测试训练好的模型观察过拟合和欠拟合的问题,再进一步通过调整训练素材和正则化等手段来优化。