标签:大模型推理

天下苦英伟达久矣!PyTorch官方免CUDA加速推理,Triton时代要来?

PyTorch 官方近期分享了如何实现无 CUDA 计算,并对各个内核进行了微基准测试比较,讨论了未来如何进一步改进 Triton 内核以缩小与 CUDA 的差距。在大语言模...