在科学研究中，理论模拟是一个至关重要的环节，尤其是在材料科学、化学和物理等领域。传统的模拟研究流程通常包括编写模拟程序、上传到远程服务器执行、数据分析和报告生成等步骤。这些步骤在确定研究计划后往往是标准化的，但通常需要研究人员手动操作，耗时且繁琐。随着人工智能（AI）技术的快速发展，特别是大型语言模型（LLMs，如ChatGPT）的崛起，利用AI实现科学研究自动化、简化工作流程并提高科研效率的设想逐渐成为可能。然而，如何实现从实验设计到报告生成的全流程自动化，仍然是一个亟待解决的重大挑战。

  针对这一挑战，复旦大学李剑锋课题组首次提出了一种基于LLM提示词工程设计的自动模拟助手（ASA），能够根据研究计划（RP）自动完成从编写程序、远程执行到数据分析和报告撰写的全流程模拟研究。这一工作标志着理论模拟科研全流程自动化的首次实现，为未来的科学研究自动化提供了新的思路。ASA的核心亮点在于，它能根据简短的描述自动设计详细的RP并执行。例如，研究人员要求ASA选择两种机器学习方法预测材料性能，ASA自动建立了神经网络和随机森林模型并进行了训练，验证集R-squared值分别达到0.9589和0.9236，且生成了高质量报告比较两种方法的特点。此外，ASA-GPT-4o和ASA-Claude-3.5展现了出乎意料的智能表现，如主动整理文件、分析理论与模拟偏差、用丰富图表呈现数据等，展示了ASA的自主性。

  未来，科研自动化是重要方向，ASA的成功应用展示了AI在这一领域的巨大潜力。该研究以“Toward Automated Simulation Research Workflow through LLM Prompt Engineering Design”为题发表于《Journal of Chemical Information and Modeling》。本文的第一作者为复旦大学高分子科学系2021级博士研究生刘之菡，通讯作者为复旦大学高分子科学系李剑锋教授。该研究得到国家自然科学基金等项目的支持。

1. 全流程自动化的实现

图2. (A) AI自动化流程示意图。研究人员提供研究计划（RP）给自动模拟助手ASA。ASA生成模拟程序，上传至远程服务器，执行模拟计算并收集数据，最终撰写报告。(B) ASA与LLM对话流程图。研究人员仅在开始时输入RP，随后ASA根据RP和与LLM的对话历史采取行动，实现全流程自动化。

2. 不同LLM驱动的ASA在标准问题上的可靠度测试

  研究人员制定了多项评估标准（如模拟、作图、标度关系等），以测试ASA在无人干预下能否正确执行任务，并比较了不同LLM（如GPT-4o、GPT-4-Turbo、Claude-3.5等）驱动的ASA表现。其中，ASA-GPT-4o、ASA-GPT-4-Turbo、ASA-Claude-3.5和ASA-Gemini-1.5-Pro表现较好。ASA-GPT-4o和ASA-Claude-3.5在生成详细报告（超1000字）和精确引用文献方面表现突出。此外，它们展现了出乎意料的智能行为，比如它们会在RP没有要求的情况下，自动将生成的同类型文件归到一个文件夹中；ASA-Claude-3.5会在报告中主动引用经过理论推导和实验验证的准确自回避行走标度关系，并附带模拟结果偏差的简要分析；此外，ASA-GPT-4o 会以更丰富的图表呈现实验数据，例如端到端距离的频率分布图和基于网页的交互式图表。这些结果展示了ASA在处理复杂任务时的自主性。这些结果展示了ASA处理复杂任务的自主性。

图4. 搭载不同LLM的ASA对RP 1-3的完成度统计。(A) 测试的LLM模型表。(B) 各ASA在20次实验中满足评估标准的次数统计。每个RP设定了七个标准，统计了达标次数（部分零结果未显示）。(C) 使用EWM和TOPSIS方法计算各ASA在RP 1-3中的相对得分。(D) ASA-GPT-4o为RP 1生成的Word报告示例，包括四个章节、链构象图和标度关系拟合图。

图5. 引力模拟标准问题。(A) RP S1要求模拟引力公式修改后的行星轨迹，RP S2要求模拟太阳系行星及小行星轨迹，并评估小行星撞击地球的风险。(B1) ASA-GPT-4o生成的RP S1轨迹图。(B2) 模拟地球轨道与实际轨道对比，两者完全重合，证明ASA编写的引力模拟程序正确。(C) ASA-GPT-4o生成的RP S2中地球、火星和小行星的轨迹投影图（左）及地球与小行星距离曲线（右）。

图6. (A) 管理者AI的回复示例。管理者AI将RP分解为子任务，生成以“<<< prompt”开头、“end >>>”结尾的子RP，并传递给执行者AI执行。(B) 错误和不完整的子RP示例。黑框标出缺少必要信息（如服务器用户名和密码），红框标出无关信息。(C) RP 4内容。命令“python AI4SCI_VE13.py -s p1.txt -n i”生成次级AI执行RP 1任务，其中AI4SCI_VE13.py是ASA自动程序，p1.txt为RP 1文本文件，i表示第i次执行。

图7. 提高自动化模拟研究流程可靠度的策略。通过与LLM迭代对话并遵循特定设计逻辑，自动化流程的成功率和效率显著提高。左右两图分别展示了未实施和实施策略的场景对比。

3. 自主设计研究计划

图9. Brief-RP ASA根据AI RP设计的流程自动执行得到的结果报告。报告包含丰富和文字和图表信息，提到使用神经网络和随机森林两种方法进行了训练和预测，准确率R-squared值分别达到0.9589和0.9236。此外报告中还对随机森林模型进行了特征重要性分析，并强调了其在可解释性方面的优势。

  除上述例子外，Brief-RP ASA还可广泛应用于其他研究问题，如文中给出的自然灾害频率对草地生态系统的影响，以及几何受限下的聚合物链构象问题例子。尽管其在新问题上的结果可靠性需进一步验证，但随着LLM能力的提升，Brief-RP ASA的潜力无限。

这项研究的亮点总结如下：

  原文链接：https://doi.org/10.1021/acs.jcim.4c01653