
FireRedASR
FireRedASR简介
FireRedASR 是由小红书 FireRed 团队于2025年2月9日发布并开源的基于大模型的语音识别模型,它在中文普通话语音识别领域取得了新的SOTA(字错误率CER 3.05%),并支持方言、英语及歌词识别。
FireRedASR的主要功能:
高精度语音识别:FireRedASR-LLM(8.3B参数量)在公开测试集上取得了3.05%的字错误率(CER),成为新的SOTA,相比此前的SOTA模型Seed-ASR(12B+参数)降低了8.4%的错误率。
高效推理:FireRedASR-AED(1.1B参数量)在保持高准确率的同时,显著提升了推理效率,其CER为3.18%。
多场景适配:FireRedASR在短视频、直播、语音输入和智能助手等多种日常场景下表现出色,与业内领先的ASR服务提供商和Paraformer-Large相比,CER相对降低23.7%~40.0%。
歌词识别能力:在需要歌词识别能力的场景中,FireRedASR-LLM的CER实现了50.2%~66.7%的相对降低,展现了极强的适配能力。
多语言支持:FireRedASR支持普通话,在中文方言和英语语音识别方面表现出色,进一步拓宽了其应用范围。
FireRedASR模型两个核心版本:
FireRedASR-LLM
架构:采用Encoder-Adapter-LLM框架,结合大型语言模型Qwen2-7B-Instruct,通过LoRA微调实现端到端语音交互。
性能:在普通话基准测试中CER为3.05%,相比前SOTA模型错误率降低8.4%;歌词识别场景CER相对降低50.2%~66.7%。
特点:参数8.3B,专注极致精度,适合高要求场景如专业字幕生成。
FireRedASR-AED
架构:基于注意力编码器-解码器(Conformer编码器+Transformer解码器),参数1.1B。
性能:CER 3.18%,优于12B参数的Seed-ASR,推理效率更高。
特点:平衡准确率与计算效率,适合实时应用如直播字幕、语音助手。
FireRedASR技术亮点:
多场景适配:在短视频、直播等日常场景中,CER相对降低23.7%~40.0%;支持中文方言和英语。
开源生态:模型与代码已开源(GitHub),采用工业级设计,支持社区二次开发。
训练策略:LLM版本固定大部分参数,仅训练编码器和适配器,保留预训练能力。
FireRedASR的应用场景
智能语音交互:FireRedASR可以应用于智能语音助手、语音输入法等场景,提供高精度的语音识别服务。
多媒体内容理解:FireRedASR在视频字幕生成、歌词识别等多媒体内容理解场景中表现出色。
日常场景应用:FireRedASR在短视频、直播、语音输入和智能助手等多种日常场景下表现出色,与业内领先的ASR服务提供商和Paraformer-Large相比,CER相对降低23.7%~40.0%。
FireRedASR相关链接:
项目地址:https://github.com/FireRedTeam/FireRedASR
论文地址:https://arxiv.org/abs/2501.14350