电力、芯片制造、数据和延迟成四大限制因素，Scaling Law能续到2030年吗？

今日应用

cc0图片网

CC0.CN / CC零图片网，可用于商业用途的免费图片素材聚合。CC0.CN上的图片均可用在个人及商业用途的项目中。例如：网站、自媒体等应用配图，广告及宣传册印刷设计等均可免费使用，免除版权困扰...

今日话题

电力、芯片制造、数据和延迟成四大限制因素，Scaling Law能续到2030年吗？

 

重点标签 人工智能、技术扩张、芯片制造、数据短缺、延迟墙

文章摘要

近年来，人工智能模型的能力显著提高，计算资源的增长在其中扮演了重要角色。Epoch AI的研究报告显示，人工智能训练计算的增长速度甚至超过了历史上一些最快的技术扩张。

报告分析了四个可能制约人工智能扩展的关键因素：
1. 电源可用性：数据中心园区的电力需求预计将达到1至5GW，支持大规模训练运行。地域分布式训练可进一步扩大规模。
2. 芯片制造能力：扩展受到先进封装和高带宽内存生产能力的限制。但制造商计划的规模扩张和硬件效率提高可能提供足够的能力。
3. 数据短缺：训练大型模型需要大型数据集。预计到2030年，可用于训练的数据量将大幅增加。
4. 延迟墙：模型规模扩大需要更多顺序操作，增加并行处理的训练token数量可以摊销这些延迟，但有局限性。

报告预测，到2030年，训练运行可能达到2e29 FLOP，这将代表着相对于当前模型的大约10000倍的扩展。 这将推动人工智能的巨大进步，类似于GPT-2到GPT-4的转变。

报告还讨论了人工智能扩展的经济潜力，指出如果人工智能自动化达到取代大部分或全部人类劳动力的程度，经济增长可能会加快十倍或更多。 这种潜在的经济增长可能会推动数万亿美元的人工智能开发投资。

总之，尽管存在一些制约因素，但人工智能的扩展在技术上是可行的，并且具有巨大的经济潜力。 未来的人工智能发展将取决于行业是否愿意投资于这一领域的扩展。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心