![SenseVoice](https://www.yjpoo.com/uploads/allimg/20240625/1-240625144455S6.png)
SenseVoice
SenseVoice简介
SenseVoice,一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型,enseVoice专注于高精度多语言语音识别、语音情感识别和音频事件检测,具有多语种、混合语言、音色和情感控制能力,在零样本语音生成、跨语言语音克隆和指令跟踪方面的能力表现优秀。
FunAudioLLM 通过结合先进的语音理解和生成技术,可以处理复杂的语音任务,并在多种语言环境中实现自然交。
SenseVoice可以应用于语音翻译、情感语音聊天、互动播客和富有表现力的有声读物朗读等。
SenseVoice具有音频理解能力,包括语音识别(ASR)、语种识别(LID)、语音情感识别(SER)和声学事件分类(AEC)或声学事件检测(AED)
SenseVoice性能:
多语言语音识别:经过超过40万小时的数据训练,支持50多种语言,识别性能超越Whisper模型。
丰富转录:
拥有优秀的情绪识别能力,在测试数据上达到并超越目前最好的情绪识别模型的效果。
提供声音事件检测能力,支持bgm、掌声、笑声、哭泣、咳嗽、打喷嚏等各种常见人机交互事件的检测。
高效推理:SenseVoice-Small 模型采用非自回归端到端框架,从而实现极低的推理延迟。处理 10 秒的音频仅需 70ms,比 Whisper-Large 快 15 倍。
便捷的Finetuning:提供便捷的Finetuning脚本和策略,让用户根据业务场景轻松解决长尾样本问题。
服务部署:提供服务部署管道,支持多并发请求,客户端语言包括Python、C++、HTML、Java、C#等。
在aiSHELL-1、AISHELL-2、Wenetspeech、Librispeech和Common Voice上测试了多语言语音识别性能和推理效率,中文和粤语,SenseVoice-Small效果好。
github:https://github.com/FunAudioLLM/SenseVoice