AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本文作者肖镇中是德国马克思普朗克-智能系统研究所和图宾根大学的博士生，robert bamler 是图宾根大学机器学习方向的教授，bernhard schölkopf 是马克思普朗克-智能系统研究所的所长，刘威杨是马普所剑桥大学联合项目的研究员。
，我们通过优化参数学到一个函数模型来准确描述训练集和测试集中和的关系。其中是基于数值的函数，它的参数通常是连续空间中的数值向量或矩阵，优化算法通过计算数值梯度迭代更新从而达到学习的效果。
，数据和参数都是自然语言空间中的字符串。在做推理时，我们可以将给定的输入数据和参数提交给 LLM，LLM 的回答就是推理的答案。
，我们如何得到？在基于数值的传统机器学习中，我们通过计算损失函数的梯度，将现有的模型参数往损失下降的方向更新，从而得到的优化函数:
和分别为学习率和损失函数。
和参数都是字符串且 LLM 被当作是黑箱的推理引擎，所以我们无法通过数值计算来优化。但既然我们已经将 LLM 用作自然语言空间中的通用近似函数去近似模型函数，而的优化器也是一个函数，我们为何不也用 LLM 去近似它？因此，言语化的优化函数可写作
为一个数量为的批次的训练数据和模型预测结果，为优化函数的参数（同为自然语言）。
和优化器都是通过 LLM 在自然语言空间中进行推理。图 2 为回归任务中模型和优化器的具体模板样例。
可以在训练过程中自动对模型的函数族进行选择；（3）优化函数对模型参数的每一步更新都会提供自然语言的解释，同时模型的描述和推理也是自然语言且可解释的。
为线性回归的定义。在第一步优化时，优化器说它发现比有更大的值域，且它们似乎存在正相关性，所以它决定将模型更新为简单的线性回归模型。
和之间存在非线性关系， 因此它决定将模型更新为二次函数。
为二维平面二分类的定义，同时用了一句话「决策边界是个圆」加入归纳偏置。在第一步优化中，优化器说它基于提供的先验，将模型更新为了一个圆方程。接下来的优化步骤中，优化器都在根据训练数据调整圆方程的圆心和半径。直到第四十一步，优化器说当前模型似乎拟合得很好了，于是停止了对模型的更新。
都为图片二分类的定义， 但其中一个添加了一句话「输入是用于肺炎检测的 X 光图片」的归纳偏置作为先验。在训练了五十步后，两个模型都达到了 75% 左右的准确度，其中有先验的模型准确度要稍微高一点点。
以上就是不做数值运算、纯靠嘴炮也能机器学习？基于自然语言的全新ML范式来了的详细内容，更多请关注叮当号网其它相关文章！
文章来自互联网，只做分享使用。发布者：周斌，转转请注明出处：https://www.dingdanghao.com/article/604447.html
