CodeScientist：端到端半自动化科学发现系统

CodeScientist是什么？

CodeScientist 是一个端到端的半自动化科学发现系统，主要研究如何通过自动化的方式进行科学发现，特别是通过代码形式表达的科学实验，目的是通过结合遗传突变（使用 LLM-as-a-mutator 方法）对科学文章和代码示例的组合进行变异，从而创造新颖的实验想法。CodeScientist的目标是推动自主科学发现的边界，帮助科学家识别科学知识的空白，并自动生成、测试和验证新的实验来填补这些空白。

通俗来讲，就是科学家们平时要做很多实验来探索未知的事情，但这个过程很费时间。CodeScientist 就像是一个智能助手，它能自动想出新的实验点子，然后自己把实验做出来，最后还能把结果整理成报告。同时它会读很多科学文章和代码，然后用一种聪明的方法（叫遗传突变）来改变这些内容，创造出全新的实验想法。这就像是给科学家们提供了很多新的思路，帮助他们找到以前没发现的知识空白。

CodeScientist 功能特征

• 端到端自动化：CodeScientist 能够自动完成从实验设计到报告生成的全流程，包括生成实验想法、创建实验计划、编写和调试实验代码、运行实验以及生成详细的实验报告。

• 模块化设计：支持自定义代码块和领域特定的论文，使得系统可以轻松适应不同研究领域的需求。用户可以根据自己的研究方向添加特定的代码块和论文，以生成更符合领域需求的实验想法。

• 灵活的运行模式：支持人工参与和完全自动两种模式。在人工参与模式下，人类可以辅助构建代码示例，筛选实验想法，并提供实现想法的简短评论；在完全自动模式下，系统可以自主生成实验想法并运行实验。

• 丰富的数据集：项目提供了大量的实验数据和报告，方便用户进行分析和复现。

• 遗传突变引擎：通过 LLM（大型语言模型）对现有科学文章和代码进行变异，生成新的实验想法，能够探索更广泛的实验空间。

• 实验构建与调试：自动创建实验代码，并在容器中运行和调试这些代码，确保实验的可执行性和可靠性。

CodeScientist 应用场景

自动化实验设计：在数据科学和机器学习领域，自动生成和测试实验假设，快速迭代和验证不同的实验方案，提高研究效率。

科学论文分析：基于现有论文生成新的研究想法和实验设计，帮助研究人员从大量文献中挖掘潜在的研究方向。

教育工具：作为教学工具，帮助学生理解科学实验设计和执行过程，培养学生的科研思维和实验能力。

多领域研究：适用于需要快速迭代和测试大量实验的科学研究场景，尤其是在 ai 代理和虚拟环境领域。

CodeScientist 安装使用

1. 安装环境：

• 安装 Python、Git 和 PyTorch 等基础环境。

• Clone CodeScientist 的源码：git clone https://github.com/allenai/codescientist.git。

• 安装源码所需依赖库，通常可以通过 pip install -r requirements.txt 安装。

2. 配置系统：

• 配置 API 密钥：确保为 CodeScientist 提供的 API 密钥具有硬性限制，并持续监控 API 密钥的使用情况。

• 设置代码块和论文库：根据研究需求，添加自定义的代码块和领域特定的论文。

3. 运行实验：

• 选择运行模式：可以选择人工参与模式或完全自动模式。

• 启动 CodeScientist：运行系统的主程序，开始实验的生成和执行。

• 监控实验进度：通过系统的监控工具查看实验的运行状态和结果。

4. 结果分析：

• 查看实验报告：实验完成后，系统会生成详细的实验报告，包括实验结果和结论。

• 进行元分析：系统会重复每个实验多次，以评估结果的可靠性。

Github项目：https://github.com/allenai/codescientist