A. 2023/9/5——linux下載/解壓ImageNet2012數據集
本文處理的是ILSVRC2012數據集。
下載訓練集(ILSVRC2012_img_train.tar)與驗證集(ILSVRC2012_img_val.tar)。
執行命令將訓練集解壓至train目錄,進入train目錄查看文件數量,確保成功解壓1281167張圖片。
對於驗證集,先進入根目錄,創建解壓文件夾,將驗證集圖像解壓至val目錄下。
驗證集解壓後直接存放於val目錄,需手動分類至1000個文件夾。
通過解壓ILSVRC2012_devkit_t12.tar.gz文件獲取驗證集圖像名及類別標簽映射。
在/home/data/imagenet目錄下編寫Python腳本「unzip.py」,用於自動分類驗證集圖像。
運行腳本後,訓練集與驗證集各自生成1000個文件夾。
訓練集與驗證集均成功組織為1000個文件夾,便於後續模型訓練與評估。
B. lora模型怎麼訓練
1.全面充分的採集訓練素材:列如在角色訓練素材中,應該有各種角度、表情、光線等情況下的素材,這樣才能確保模型具有較好的泛化性。
5.過擬合&欠擬合處理:測試訓練好的模型觀察過擬合和欠擬合的問題,再進一步通過調整訓練素材和正則化等手段來優化。