ViDoRAG：一款面向视觉文档理解的检索增强生成（RAG）系统

ViDoRAG是什么？

ViDoRAG是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档理解检索增强生成（RAG）系统。它利用多模态混合检索和多智能体迭代推理机制，让视觉文档处理的准确性和效率都得到明显提升，人话就是说，它支持图片类文档的检索，让你可以在一堆包含图片文档中找到，比如“这个产品是什么颜色”或者“这文章讲了啥？”。

ViDoRAG框架

ViDoRAG框架重点在于多智能体协作和动态迭代推理，主要有这些关键部分：

多模态混合检索：把视觉和文本特征结合起来，借助高斯混合模型（GMM）动态调整检索策略，更精准地找到关键信息。

多智能体协作：

• Seeker Agent：能快速筛选出相关的图像或文档片段，给出全局线索。

• Inspector Agent：对筛选出来的结果进行细致审查，生成初步答案。

• Answer Agent：整合初步答案，检查其准确性和一致性后，生成最终答案。

动态检索策略：利用GMM动态调整检索结果的数量，降低计算量，提高检索效率。

功能特点

1. 多模态混合检索：

• 视觉与文本双通道检索：ViDoRAG能同时处理视觉（图像）和文本信息进行检索，更全面地理解文档内容。

• 高斯混合模型（GMM）融合：用GMM动态调整视觉和文本检索结果的权重，根据查询特点选择最优检索策略，减少噪声和计算量。

2. 多智能体协作推理：

• Seeker Agent：快速筛选相关文档或图像片段，缩小搜索范围。

• Inspector Agent：详细审查筛选出的片段，提取关键信息生成初步答案。

• Answer Agent：整合初步答案并验证，生成最终答案。

• 动态迭代推理：多智能体不断协作、迭代，让答案越来越好。

3. 动态检索策略：

• 自适应检索数量：ViDoRAG通过GMM动态调整检索结果数量，避免固定数量检索带来的问题。

• 高效检索流程：能根据查询和文档集合的相似度分布自动优化检索策略，提高检索效率。

4. 复杂文档理解能力：

• 视觉丰富文档支持：可以处理包含文本、图表、表格和复杂版式的文档。

• 多跳推理能力：能处理单跳和多跳推理任务，应对需要跨文档理解的复杂查询。

5. 高准确率与性能：

• 高准确率：在ViDoSeek基准数据集上准确率达到79.4%，比其他基线方法好很多。

• 鲁棒性：多智能体协作和动态检索策略让ViDoRAG处理噪声数据和复杂场景时表现稳定。

应用场景

• 视觉文档处理：适合处理学术文献、报告、手册等视觉丰富文档的场景。

• 问答系统：可作为问答系统的核心模块，快速准确回答问题。

• 智能办公：能帮用户快速提取文档关键信息，提高工作效率 。

GitHub仓库：https://github.com/Alibaba-NLP/ViDoRAG