Ⅰ 一文了解模型壓縮（模型量化，稀疏...）
本文將全面介紹模型壓縮技術，包括模型量化與模型剪枝，旨在提供一個直觀的理解框架。
模型量化，是將高精度的浮點數模型轉換為低精度的整數，以減少計算資源消耗和存儲成本。
量化過程一般包括量化參數計算與反量化過程，主要分為對稱&非對稱量化，線性&非線性量化，以及靜態與動態量化。
量化粒度是量化研究的重點，不同晶元需要特定類型的量化。在TensorRT中，常見的量化類型包括對稱、線性、靜態以及權重與激活的通道級量化。
量化是一種平衡，PTQ（量化前校準）方法簡化且快速，僅需少量校準數據，但精度有所損失。QAT（量化訓練）方法更為復雜，要求訓練數據集，可實現更高精度。
模型剪枝，即去除網路中冗餘神經元，降低計算量。NVIDIA的N:M稀疏（如2:4）支持在Ampere架構及後續GPU上加速。非結構化稀疏在實際場景中應用有限。
離線量化演算法與Data-free量化是研究熱點，通過調整權重矩陣與偏差，實現更優的per-tensor量化精度。離線量化演算法如AdaRound，通過理論分析與實驗驗證，實現量化過程的優化。
模型壓縮技術的在線量化（QAT）通過插入偽量化節點，模擬量化過程，應用於如PyTorch的推理。關鍵演算法如DeReFa-Net、PACT、DSQ等，以及工具MQBench，提供量化節點插入與融合操作。
在線量化的注意事項包括模型轉換策略與優化演算法的應用。QAT過程涉及導數計算與梯度反傳，使用工具如MQBench簡化部署流程，包括去除量化節點與設置QAT參數。
模型壓縮技術旨在提升模型效率，通過量化與剪枝降低資源消耗，同時保持或提高性能。理解其核心機制與優化策略是實現高效模型部署的關鍵。