Ⅰ 一文了解模型压缩（模型量化，稀疏...）
本文将全面介绍模型压缩技术，包括模型量化与模型剪枝，旨在提供一个直观的理解框架。
模型量化，是将高精度的浮点数模型转换为低精度的整数，以减少计算资源消耗和存储成本。
量化过程一般包括量化参数计算与反量化过程，主要分为对称&非对称量化，线性&非线性量化，以及静态与动态量化。
量化粒度是量化研究的重点，不同芯片需要特定类型的量化。在TensorRT中，常见的量化类型包括对称、线性、静态以及权重与激活的通道级量化。
量化是一种平衡，PTQ（量化前校准）方法简化且快速，仅需少量校准数据，但精度有所损失。QAT（量化训练）方法更为复杂，要求训练数据集，可实现更高精度。
模型剪枝，即去除网络中冗余神经元，降低计算量。NVIDIA的N:M稀疏（如2:4）支持在Ampere架构及后续GPU上加速。非结构化稀疏在实际场景中应用有限。
离线量化算法与Data-free量化是研究热点，通过调整权重矩阵与偏差，实现更优的per-tensor量化精度。离线量化算法如AdaRound，通过理论分析与实验验证，实现量化过程的优化。
模型压缩技术的在线量化（QAT）通过插入伪量化节点，模拟量化过程，应用于如PyTorch的推理。关键算法如DeReFa-Net、PACT、DSQ等，以及工具MQBench，提供量化节点插入与融合操作。
在线量化的注意事项包括模型转换策略与优化算法的应用。QAT过程涉及导数计算与梯度反传，使用工具如MQBench简化部署流程，包括去除量化节点与设置QAT参数。
模型压缩技术旨在提升模型效率，通过量化与剪枝降低资源消耗，同时保持或提高性能。理解其核心机制与优化策略是实现高效模型部署的关键。