标签:模型性能

大模型压缩量化方案怎么选?无问芯穹Qllm-Eval量化方案全面评估:多模型、多参数、多维度

大型语言模型基于Transformer架构展现出卓越的性能,但参数规模庞大导致服务成本高昂。为解决此问题,研究团队进行了大模型压缩技术的研究,特别是训练后量化...

不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它

文章接着提出了一个问题:基于网络文本数据集得到的Scaling law是否具有普适性?为了回答这个问题,AI数据公司Reworkd的研究者Rohan Pandey进行了一项研究。...

全面超越DPO:陈丹琦团队提出简单偏好优化SimPO,还炼出最强8B开源模型

SimPO的核心在于将奖励函数与生成指标对齐,通过在长度上归一化的奖励和目标奖励差额两个主要组件来实现。这种方法不仅简化了模型,而且在性能上明显优于DPO...