标签:模型优化
太酷了!iPhone、iPad、MacBook老旧设备组成异构集群,能跑Llama 3
项目摘要:通过使用消费级硬件设备,如iPhone、iPad和Macbook,可以构建一个异构集群推理方案,从而在AI领域实现更高效的模型运行。这个方案不仅限于特定操作...
PanGu-π-Pro:重新思考 “小” 的大语言模型的优化和架构
摘要:本文由科技猛兽编辑,探索了如何为端侧设备设计适合的'小'的大语言模型。在端侧设备上,由于算力和显存的限制,需要设计出满足要求且高性能的'小'大语...