标签:模型压缩

如何把大模型压缩到1bit?论文作者这样说

自从大模型受到广泛关注以来,人们一直在寻求降低其部署成本的方法。大模型虽然能力强大,但高成本限制了其应用范围。模型量化技术通过将参数转换为低位宽表...