Fin-R1:一款基于Qwen2.5的金融推理型大语言模型
Fin-R1是什么?
Fin-R1 是一款由上海财经大学统计与数据科学学院张立文教授团队(SUFE-aiFLM-Lab)联合财跃星辰开发的金融领域推理型大语言模型,Fin-R1模型以 Qwen2.5-7B-Instruct 为基座,利用 DeepSeek-R1 框架进行“数据蒸馏”与“双轮质量筛选”,通过高质量思维链数据的监督微调+ 强化学习,有效解决了金融领域中数据碎片化、推理逻辑不可控和业务泛化能力不足等问题,为金融行业的智能化转型提供了有力支持。
模型架构
Fin-R1 采用两阶段架构进行训练:
数据生成阶段:通过数据蒸馏和筛选方法,从多个权威数据源构建高质量的金融推理数据集 Fin-R1-Data。
模型训练阶段:基于 Qwen2.5-7B-Instruct 模型,通过监督微调(SFT)和强化学习(RL)进行训练。
Fin-R1数据集特点
规模与质量:Fin-R1-Data 包含约 60,091 条完整的思考链(CoT),涵盖中英文金融垂直领域的多维度专业知识。
模块化设计:数据集分为金融代码、金融专业知识、金融非推理类业务知识和金融推理类业务知识四大模块。
Fin-R1核心特点
专业领域:专注于金融推理,涵盖金融代码、专业知识、业务知识等多个维度。
数据驱动:基于高质量的金融推理数据集 Fin-R1-Data 进行训练,包含约 60,091 条完整的思考链。
训练方式:采用监督微调(SFT)和强化学习(RL)相结合的方式,确保模型在金融推理任务中的准确性和可靠性。
轻量化设计:参数量仅为 7 亿,但性能表现出色。
性能表现
权威评测:在金融领域权威评测中,平均得分 75.2 分,位居第二。
任务表现:在 FinQA 和 ConvFinQA 任务中分别获得 76.0 分和 85.0 分,位居参评模型第一。
泛化能力:在其他金融基准测试中也展现出强大的跨任务泛化能力。
Fin-R1应用
金融代码:用于实现金融模型、算法和分析任务的编程代码。
金融计算:进行定量分析和计算,为金融决策提供依据。
金融安全合规:防范金融犯罪,确保业务操作符合法规要求。
智能风控:利用 AI 和大数据技术识别和管理金融风险。
ESG 分析:评估企业在环境、社会和治理方面的表现。
Fin-R1使用步骤
下载模型:通过 Hugging Face 页面下载模型权重。
启动服务:使用 vllm 工具启动模型服务。
推理运行:通过 OpenAI API 格式调用模型进行推理。
Fin-R1相关链接
模型下载:https://huggingface.co/SUFE-AIFLM-Lab/Fin-R1
论文:https://arxiv.org/pdf/2503.16252