面向大语言模型的控制理论

今日应用

宫下动漫

二次元的福音来了，这里专门是看动漫的。集齐了异世界,漫改,轻小说改,后宫,日常,战斗,女仆,百合,治愈,校园,穿越等各种资源影视。

今日话题

面向大语言模型的控制理论

 

重点标签 大型语言模型、LLMs、控制理论、软件系统、零样本能力

文章摘要

在本文中，作者探讨了大型语言模型（LLMs）在软件系统中的应用，并提出了LLM控制理论的概念。LLMs因其强大的零样本能力而被广泛研究和应用，但同时也因其难以预测的特性而备受关注。文章首先介绍了LLMs在各种任务中的应用，如自动文献回顾和模拟军事战略等。然而，LLMs的不可预测性给构建基于LLM的高级AI系统带来了挑战。

作者提出，控制理论可以为理解和构建基于LLM的系统提供帮助。控制理论中的基本概念，如可达性、可控性和稳定性，可以应用于LLM系统。文章讨论了当前对LLM能力的理解，主要集中在零样本和少样本基准上，但这些基准并未充分考虑基于LLM的软件系统的动态性。

LLM系统设计和提示工程目前是高度经验性的，缺乏理论和指导原则。文章提出了一系列关于LLM系统控制的问题，包括链式思考的控制属性、分布式控制、控制的可学习性、可控子空间和可组合LLM系统等。

文章还概述了LLM控制理论的基本概念，尽管LLM系统与经典控制理论中的连续时间线性常微分方程（ODEs）存在差异，但控制理论的数学机理仍然适用。研究人员从集合论基础出发，为LLM系统正式化了可达性、可控性、稳定性等概念。

最后，文章提出了LLM控制理论中的一些开放问题，这些问题对于理解和构建现实世界中的LLM系统至关重要。通过控制理论的视角，可以更深入地理解LLM系统的性质，并为构建基于LLM的超能力系统提供理论支持。

摘要：
本文探讨了大型语言模型（LLMs）在软件系统中的应用，并提出了LLM控制理论的概念。LLMs因其强大的零样本能力而被广泛研究和应用，但同时也因其难以预测的特性而备受关注。文章讨论了当前对LLM能力的理解，主要集中在零样本和少样本基准上，但这些基准并未充分考虑基于LLM的软件系统的动态性。作者提出，控制理论可以为理解和构建基于LLM的系统提供帮助。控制理论中的基本概念，如可达性、可控性和稳定性，可以应用于LLM系统。文章还概述了LLM控制理论的基本概念，并提出了一系列关于LLM系统控制的开放问题。通过控制理论的视角，可以更深入地理解LLM系统的性质，并为构建基于LLM的超能力系统提供理论支持。

文章来源

原文地址: 点我阅读全文
原文作者: AIGC最前线