今日应用
今日话题
Is Scaling All You Need? LLM收益递减，AI小厂难活命
文章摘要
近日，马库斯的一句「Is scaling all you need?」引发了正反两方的论战。自GPT-4发布以来，尽管有约500亿美元投资在芯片上，但至今仍无模型能超越GPT-4，引发了对LLM领域进步停滞的担忧。一方面，有观点认为，模型性能提升所需的算力已难以满足，且LLM性能的线性增长可能需要指数级的数据，表明我们可能已触及天花板。德克萨斯大学心理学教授Art Markman指出，我们已从数据中榨取了所有可能的东西，除非开发出将LLM链接到基于符号知识的模型的方法。另一方面，反方认为模型正变得越来越小、速度越来越快，且能保持接近SOTA的性能。
从历史数据看，GPT-4相较于前代有显著提升，但之后的进步比例有限。马库斯在其博客中提到，没有再进步的一个原因可能是触及基准测试的上限。同时，开源和闭源模型的性能差距在逐渐缩小，LLM仍然会犯一些愚蠢的错误，如幻觉问题未得到解决。如果LLM无法解决自身问题，市场估值可能暴跌。
在AI产业方面，Sequoia Capital的统计显示，初创公司购买NVIDIA芯片训练大模型花费约500亿美元，但总收入仅30亿美元，表明许多公司在苦苦挣扎。一些公司如Inflection AI、Character.ai、Ghost等面临困境，而风险投资者也开始变得谨慎。开源模型的崛起为小厂提供了更低成本的解决方案。
英伟达CEO黄仁勋表示，聊天机器人正向多模态迈进，对图片和声音的处理将消耗大量GPU。自动驾驶、边缘计算、机器人等领域已成为重要市场。特斯拉等公司需处理大量数据，未来这个领域的变化将非常快，新技术层出不穷。
总之，尽管LLM领域面临一些挑战，但AI产业仍在不断发展，开源模型的崛起为小厂提供了新机遇，而自动驾驶等新兴领域的发展也为AI产业带来了新的增长点。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
