今日应用
今日话题
为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
重点标签 Token化问题、AI教育、Jagged Intelligence、认知自我知识、知识探测技术
文章摘要
机器之心编辑部在报道中探讨了大型语言模型（LLM）在处理某些简单问题时出现的低级错误问题。文章指出，这些问题背后的原因可能是Token化（Tokenization）的不当处理。Token化是将文本分解为更小的单位（如单词、标点符号或数字）的过程，但有时这种处理方式会导致模型无法正确理解单词的构成，例如将”Strawberry”分解为”Str-aw-berry”，从而影响其对单词内部字母的计数。
文章中提到，AI + 教育领域的专家Karpathy注意到了这一问题，并编写了一个小程序，通过表情符号（emoji）来直观展示大模型对文本的处理方式。Karpathy认为，大模型在没有明确指示的情况下，可能不会主动深入思考问题，而是依赖于快速、直觉的系统1，而不是更慢、更具计划性和逻辑性的系统2。
为了解决这一问题，Karpathy提出了Jagged Intelligence（参差不齐的智能）的概念，用以描述大模型在某些领域表现出色，而在其他领域却表现不佳的现象。他认为，这种现象的核心在于大模型缺乏认知自我知识（cognitive self-knowledge），即模型对自身知识和能力的自我认知。如果模型具备这种能力，它可能会在面对某些问题时主动提出使用其他工具或方法来解决问题。
文章还提到了知识探测技术，这是一种在后训练阶段采用的方法，旨在让模型“知道它知道什么”，而不是增加知识。通过生成数据，使模型生成与预训练数据中的事实数据子集保持一致，从而鼓励模型只回答它知道的问题，而拒绝回答它不确定的问题。
最后，Karpathy强调，这种参差不齐的智能问题值得在生产环境中注意，我们应该致力于让模型只完成它们擅长的任务，不擅长的任务则由人类及时接手。同时，他也鼓励读者在评论区分享更好的解决方案。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
