微软｜MLCopilot：释放大型语言模型在解决机器学习任务中的能力

MLCopilot: Unleashing the Power of Large Language Models in Solving Machine Learning Tasks

提出一种新的框架MLCopilot，利用最先进的语言模型(即LLMs为新型机器学习任务开发机器学习解决方案。该研究展示了LLM扩展到理解结构化输入和执行彻底推理的可能性，并发现经过一些专门设计后，LLM可以从现有的机器学习任务中获得经验，并有效地推理出有前途的结果。生成的解决方案可以直接用于实现高水平的竞争力。

本篇论文旨在解决机器学习任务自动化的问题，通过引入一种新的框架MLCopilot，利用最先进的LLMs来开发解决新任务的机器学习解决方案。

• 动机：机器学习在各个领域得到了广泛的应用，但针对特定场景自适应的机器学习仍然是昂贵且不容易的。而现有的自动化机器学习方法通常耗时且难以理解，本研究旨在通过引入新的框架MLCopilot，利用LLM来开发新型机器学习任务的机器学习解决方案，以弥合机器智能和人类知识之间的差距。
• 方法：提出一种新框架MLCopilot，利用最先进的语言模型(即LLM)为新机器学习任务开发机器学习解决方案。该研究将问题分解成两个组件，包括离线和在线阶段。离线阶段，MLCopilot将历史数据规范化，并创建经验池。LLM用于从历史经验中提取有价值的知识。在线阶段，MLCopilot根据目标任务的描述从经验池中检索最相关的任务经验，然后与LLM交互以一次性获得多个建议的机器学习解决方案。
• 优势：展示了LLM扩展到理解结构化输入和执行彻底推理的可能性，并发现经过一些专门设计后，LLM可以从现有的机器学习任务中获得经验，并有效地推理出有前途的结果。生成的解决方案可以直接用于实现高水平的竞争力。还提出了一种新的检索和提示框架，用于几乎即时地解决机器学习任务，而无需任何耗时的搜索或优化。

关键思路：

本文的关键思路是利用LLMs来理解结构化输入并进行全面推理，以解决新的机器学习任务。相比于当前领域的研究，本文的思路在于将人类工程师的经验和知识与机器智能结合起来，以开发出更为高效且有竞争力的解决方案。

其他亮点：

本文的实验设计充分，使用了多个数据集进行实验，并开源了代码。作者的工作值得继续深入研究，尤其是在机器学习任务自动化方面。此外，本文还展示了LLMs在机器学习任务中的潜力，为相关领域的研究提供了新的思路。

关于作者：

Lei Zhang、Yuge Zhang、 Kan Ren、 Dongsheng LI 、 Yuqing Yang

Microsoft Research

相关研究：

近期其他相关的研究包括“AutoML-Zero: Evolving Machine Learning Algorithms From Scratch”（Quoc V. Le等，Google Research）、“NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search”（Chris Ying等，Google Research）和“Neural Architecture Search with Reinforcement Learning”（Barret Zoph等，Google Research）。

论文摘要：本文介绍了一种新的框架MLCopilot，旨在利用最先进的大型语言模型（LLMs）来开发解决新型机器学习任务的解决方案，以弥合机器智能和人类知识之间的差距。研究人员发现，经过一些特定的设计，LLM可以从现有的机器学习任务经验中观察，有效地推理并为新任务提供有希望的结果。生成的解决方案可以直接用于达到高竞争力水平。

相比之下，现有的自动化机器学习方法（例如AutoML）往往耗时且难以理解。虽然人类工程师具有理解任务和思考解决方案的不可思议能力，但他们的经验和知识通常是稀缺且难以通过定量方法利用。该框架展示了扩展LLMs能力的可能性，使其能够理解结构化输入并进行彻底推理以解决新的机器学习任务。