世界首位“AI科学家”问世！
自人工智能（AI）诞生以来，许多人尝试将其应用于科研领域，希望其能协助论文写作。但目前AI大多仅充当辅助工具，在集思广益、编写代码等具体步骤中发挥有限作用。如今，来自日本的Sakana AI团队推出了号称“世界上第一个用于自动化科学研究和开放式发现的AI系统”——“AI科学家”（The AI Scientist）。
“Sakana”在日语中意为“鱼”，该元素在Sakana AI的官网多次出现，彰显其品牌特色。AI科学家不仅能够构思、编写代码、运行实验和总结结果，还可以撰写整篇论文，并通过开放的方式反复迭代，发现新的科研灵感。此外，当一位“模型作者”撰写论文时，另一位“论文评审员”会对其进行评论，通过“左右互搏”的方式选出最具潜力的研究方向进行详细探讨，每篇论文的成本仅需约15美元。具体研究内容以“The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery”为题，已发表在arXiv平台上，论文链接：https://arxiv.org/abs/2408.06292。
AI科学家的全自动研究过程
根据介绍，AI科学家的全自动研究过程主要分为四个阶段：
- 产生想法
研究人员为AI科学家提供一个起始代码模板，AI科学家将通过链式思维和自我反思的方式“集思广益”，生成一系列新颖的研究方向。每个创意都包含描述、实验执行计划，以及对其趣味性、新颖性和可行性的自评。 - 实验迭代
针对提出的想法，AI科学家会使用Aider工具规划实验列表并执行实验。若实验失败或超时，Aider将修复代码并重新尝试。实验完成后，Aider会编辑绘图脚本以生成论文所需的图表，并附上描述每个图所含内容的注释，确保保存的图形和实验注释能够满足论文撰写的全部信息需求。 - 论文撰写
AI科学家将采用标准的机器学习会议论文格式撰写论文，整个过程包括逐节文本生成、网络搜索参考文献、最终修订和编译。整个写作使用LaTeX，涵盖引言、背景、方法、实验设置、结果和结论等部分，Aider会根据记录和图表填充论文模板。 - 自动化论文审阅
Sakana AI还为AI科学家设计了一个基于GPT-4o基础模型的自动审稿人，使用顶级机器学习会议NeurIPS的审稿标准对论文进行评分，并提供修改意见。关键在于开发一种自动化审稿人，能够以接近人类的准确性评估生成的论文，而这些生成的评论又可用于改进项目或作为对后续研究的反馈，形成持续的反馈循环，使人工智能科学家能够不断提升其研究成果。
当前存在的挑战
尽管具有潜力，Sakana AI在论文中也指出，AI科学家目前还存在几个问题：
- 视觉能力不足
目前，AI科学家缺乏视觉能力，无法修复论文中的视觉问题或正确解读绘图。生成的图表有时难以辨认，表格可能超出页面宽度，页面布局常常不够优化。 - 执行错误
AI科学家可能错误地执行设想，或与基线进行不公平的比较，从而导致结果误导。此外，在撰写和评估结果时，AI科学家也偶尔会犯严重错误，可能无法正确比较两个数字的大小，这属于大语言模型的已知缺陷。比如，它可能会将9.11和9.9的大小混淆。 - 执行代码问题
Sakana AI提到一个出现问题的案例，在某次运行中，AI科学家为完成研究而修改自己的执行代码，导致脚本陷入无休止的死循环。此外，在另一轮实验中，实验耗时过长，达到预设超时限制后，AI科学家试图通过修改代码延长超时时间，表现出一种小聪明。
日本的AI崛起
在很多人眼中，美国与中国是当前世界人工智能发展的两个“高地”，而来自日本的Sakana AI同样拥有不容小觑的实力。自成立不到一年以来，Sakana AI在今年1月获得来自Lux Capital、Khosla Ventures等投资者的种子资金，估值达到了2亿美元，成功跻身AI独角兽行列。加之日本政府的扶持和OpenAI的帮助，使Sakana AI迅速崛起，号称“日本的OpenAI”。其核心团队汇聚了多位来自Google Brain、DeepMind等机构的知名学者，CTO兼联合创始人Llion Jones曾在Google人工智能研究室担任技术主管，是著名《Attention Is All You Need》论文的作者之一。
Sakana AI的发展策略与众不同，拒绝盲目追求大数据模型，拥抱“小模型”，通过模型间的协作解决针对性问题，“AI科学家”的设计明显体现了这一特征。
深入科研领域的原因
选择首先聚焦科研领域，主要有以下三点原因：
- 高度可解释性
撰写论文为人类提供了一种高度可解释的方法，使其能从所学知识中受益。 - 标准化评估
在现有机器学习会议框架内审查书面论文，使科学家能够标准化评估。 - 传播研究成果
自现代科学诞生以来，科学论文一直是传播研究成果的主要媒介。
综上所述，由于撰写科研论文具备高度的解释性和可验证性，AI科学家能为科学研究提供一种标准化、系统化的自动化支持。这不仅大幅提升研究效率，还有助于催生更多富有创造性和前瞻性的研究方向。撰写论文或许只是将AI融入更广泛科学领域的一个开始。
我们相信，“AI科学家”将成为人类科学家的绝佳伙伴，但只有时间才能揭示这一合作的真正潜力。