今日应用
今日话题
00后华裔小哥哈佛辍学组团挑战英伟达，史上最快AI芯片Sohu推理性能超H100二十倍！
重点标签 Transformer芯片、Etched公司、AI芯片、哈佛辍学生、投资1.2亿美元
文章摘要
Etched.ai公司，由几位哈佛辍学生创立，最近宣布了一款名为Sohu的Transformer芯片，它在运行大型语言模型（LLM）时表现出色，推理性能远超现有产品。Sohu芯片在处理Llama 70B模型时，每秒能生成高达500000个token的输出，相当于20张英伟达H100或10张B200的计算能力。这家成立不久的公司已经获得了1.2亿美元的融资，投资者中包括硅谷知名人士Peter Thiel。
Etched.ai的创始人之一Gavin Uberti认为，他们的芯片是针对Transformer模型优化的，运行速度远超GPU，这可能是AI领域的一个重要突破。Sohu芯片的高吞吐量和专用性，使其在AI模型推理任务中具有显著优势。尽管Sohu目前只能运行Transformer模型，但考虑到目前大多数先进AI模型都基于这一架构，其潜在市场仍然巨大。
此外，Etched.ai的团队对于Transformer模型的未来充满信心，他们认为扩展模型规模是提升AI智能的关键，而Sohu芯片正是为了满足这一需求而设计。尽管GPU在AI领域长期占据主导地位，但随着摩尔定律的放缓，专用芯片如Sohu的出现，可能会改变市场格局。
Sohu芯片的另一个优势是其软件的简化。由于只针对Transformer模型，Sohu的软件栈不需要处理多种不同的机器学习架构，从而简化了开发和维护工作。Etched.ai计划将其软件完全开源，进一步降低使用门槛。
Etched.ai的创始人团队虽然年轻，但拥有丰富的技术背景和创业经验。他们的目标是挑战现有的AI芯片霸主英伟达，并在AI硬件领域创造新的里程碑。随着AI技术的快速发展，专用芯片的出现似乎是行业发展的必然趋势，而Etched.ai和Sohu芯片可能会在这一过程中扮演重要角色。
文章来源
原文地址: 点我阅读全文
原文作者: AIGC新智界
相关文章
