node-DeepResearch:Jina AI推出的DeepSearch功能,深入挖掘复杂问题
Jina AI 最近推出一个DeepSearch工具:node-DeepResearch,node-DeepResearch是一个开源的自动化研究工具,可以通过搜索、阅读网页和推理,直到找到问题的答案。适用于自动化信息检索和智能问答任务,结合了搜索引擎和大语言模型(LLM)来提高研究效率。
一、主要功能:
自动搜索和推理:使用搜索引擎查找相关网页,并通过大模型(如 Gemini)推理,生成最终答案。
智能网页阅读:结合 Jina Reader,能够从网页提取关键内容,提升信息获取的精准度。
可配置 API:用户可配置自己的 Gemini API 和 Jina Reader API,以优化查询效果。
二、应用场景:
文献综述:帮助研究人员快速查找和整理相关领域的文献资料,生成文献综述报告。
市场调研:快速收集和分析市场数据,了解竞争对手动态、行业趋势等。
新闻报道:快速收集和整理新闻事件的背景信息、相关报道,帮助记者快速撰写新闻稿件。
学习辅助:帮助学生解答复杂的学术问题,提供学习资料和参考答案。
政策研究:帮助政策制定者收集和分析相关政策的背景信息、实施效果等。
三、主要目标:
自动化信息检索:通过搜索引擎查找相关信息。
多步推理:处理复杂的多步问题,逐步分解并解决问题。
实时进度反馈:提供实时进度更新,使用户能够跟踪查询进展。
灵活性:支持各种类型的查询,从简单的事实性问题到复杂的开放式问题。
四、关键特性
持续搜索与阅读:
基于搜索引擎(如 Brave 或 DuckDuckGo)查找相关信息。
阅读网页内容,直至找到问题的答案或达到预定的 token 预算限制。
多步推理:
分解复杂的问题成多个步骤,并逐个解决这些步骤。
支持长时间的任务处理,确保得到精确的结果。
实时进度反馈:
通过 Web Server API 提供实时进度更新,用户可以通过 HTTP 请求获取查询状态。
灵活的查询方式:
支持多种类型的查询需求,包括简单的问题和复杂的开放式问题。
五、技术原理
语言模型:
使用 Gemini 作为核心语言模型,负责生成回答和推理逻辑。
Gemini 是一个强大的通用语言模型,能够处理多种自然语言任务。
网页内容处理:
利用 Jina Reader 将网页内容转换为适合语言模型处理的纯文本格式。
Jina Reader 是一个开源工具,专用于处理 HTML 网页内容。
搜索与信息提取:
结合搜索引擎获取相关信息。
自动提取有用的网页内容,以便进一步分析和推理。
多步推理流程:
初始化:设置初始上下文和变量。
预算检查:在每一步检查 token 预算是否超出。
生产提示:根据当前问题生成语言模型的输入提示。
模型生成:调用 Gemini 生成回答或下一步动作。
动作处理:根据生成的动作执行相应的操作。
结果评估:评估生成的回答是否满足问题要求,若不满足则继续推理。
循环与终止:如果在预算内找到答案,则结束查询;否则进入“Beast Mode”生成最终答案。
六、如何部署 node-DeepResearch?
1. 安装依赖
# 设置必要的环境变量 export GEMINI_API_KEY=export JINA_API_KEY=jina_ # 从 https://jina.ai/reader 获取免费的 Jina API 密钥 # 克隆仓库并安装依赖 git clone https://github.com/jina-ai/node-DeepResearch.git cd node-DeepResearch npm install
2. 使用命令行运行
# 提交查询请求 npm run dev # 示例 npm run dev "what is the capital of France?" npm run dev "who will be the biggest competitor of Jina AI"
3. 调用API
# 启动 Web Server npm run serve # 访问地址 http://localhost:3000 # 提交查询请求 (示例) curl -X POST http://localhost:3000/api/v1/query \ -H "Content-Type: application/json" \ -d '{"query": "What is the capital of France?"}'
GitHub仓库:https://github.com/jina-ai/node-DeepResearch