量子压缩DeepSeek R1模型,尺寸缩减过半且性能基本保留
量子计算公司Multiverse Computing的研究团队采用量子启发的张量网络技术,对DeepSeek R1大模型进行了高效压缩,得到的新模型DeepSeek R1 Slim比原模型缩小了55%(即体积减少一半以上),同时在数学、代码等推理任务中“表现几乎与原模型一样好”。
该压缩方法利用高维网格表示(张量网络)来识别并剪枝模型中冗余的参数关联,随后对精简后的模型进行微调,使其保持原有推理能力。Multiverse Computing 联合创始人兼首席战略官Roman Orús指出:“压缩后的模型几乎能够达到同等性能,同时节省能源与成本”。
业内专家评价这一量子启发方法在去除冗余方面比传统压缩更为精准。AI研究工程师Maxwell Venetos表示:“压缩大型AI模型而不损失性能极具挑战,量子启发的方法通过高度抽象的数学工具,能够更精细地削减冗余”。

除了压缩,研究还对模型内置审查机制进行“去审查”尝试。不过Tufts大学的Thomas Cao提醒,由于中国监管要求模型必须内置审查,仅通过少量问答反推无审查版本极为困难。
DeepSeek R1原版拥有6710亿参数,属于当前最大规模的开源推理模型之一。本次压缩显著降低了运行模型所需的计算资源与存储开销,为在资源受限环境中部署高性能AI模型提供了新路径。

消息来源:https://www.technologyreview.com/2025/11/19/1128119/quantum-physicists-compress-and-deconsor-deepseekr1/



发表回复