《Python 机器学习》作者新作：从头开始构建大型语言模型，代码已开源

今日应用

网易AI设计工坊

网易云课堂，一个专注于成人终身学习的在线教育平台。立足于实用性的要求, 与优质的教育内容创作者一起，为您提供全面、有效的在线学习内容。

今日话题

《Python 机器学习》作者新作：从头开始构建大型语言模型，代码已开源

 

重点标签 大型语言模型、Sebastian Raschka、新书开源、指令微调、AI技术发展

文章摘要

步骤2：撰写摘要
Sebastian Raschka，一位知名的机器学习和人工智能研究员，以及畅销书《Python 机器学习》的作者，最近发布了一本新书《Build a Large Language Model (From Scratch)》。这本书详细阐述了如何从头开始构建一个大型语言模型（LLM），包括创建、训练和调整模型的全过程。为了配合书籍内容，Raschka 还在 GitHub 上开源了相应的代码库，地址为 。

在大型语言模型（LLM）的发展中，指令微调 是一种提升模型性能的有效方法。Raschka 在其新书中特别强调了这一点，并提供了关于指令微调的详细指导，包括数据格式化、应用 prompt-style 模板以及使用掩码的技巧。

书中使用清晰的语言、图表和示例，详细解释了从设计和创建阶段，到使用通用语料库进行预训练，再到针对特定任务进行微调的每个步骤。具体内容包括：
– 规划和编码 LLM 的所有组成部分；
– 准备适合 LLM 训练的数据集；
– 使用个人数据对 LLM 进行微调；
– 应用指令调整方法以确保 LLM 遵循指令；
– 将预训练权重加载到 LLM 中。

作者介绍：
Sebastian Raschka 拥有个人主页 ，他曾在威斯康星大学麦迪逊分校担任统计学助理教授，专注于深度学习和机器学习的研究。他致力于使 AI 和深度学习的内容更加易于获取，并教授人们如何大规模地应用这些技术。Raschka 也是一位热情的开源软件贡献者，他提出的方法已成功应用于 Kaggle 等机器学习竞赛。除了编写代码，他还撰写了多本畅销书籍，包括《Python Machine Learning》和《Machine Learning with PyTorch and ScikitLearn》。

参考链接：[Sebastian Raschka 的推特](https://twitter.com/rasbt/status/1802327699937009807)。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心