Krillin AI:基于LLMs的专业级视频翻译、配音和语音克隆工具
Krillin ai是什么?
Krillin AI是一个基于大型语言模型(LLMs)的专业级视频翻译、配音和语音克隆工具,一键部署全流程,可以生成适配抖音,小红书,哔哩哔哩,视频号,TikTok,Youtube Shorts等平台的内容,支持B站,支持中,英,日,德,土耳其语等等56种语言翻译,通过端到端的工作流程,用户只需点击几次,即可将原始素材转化为跨平台内容。
Krillin AI功能特征
一键启动全流程:无需复杂配置,自动安装依赖,从视频下载到成品输出可一键完成。
多语言支持:支持 56 种语言的翻译,覆盖全球主要语种。
多平台适配:适配抖音、小红书、哔哩哔哩、TikTok、YouTube 等多平台内容格式。
视频获取:集成 yt-dlp,支持从 YouTube、Bilibili 等平台下载视频,也可上传本地视频。
字幕识别与翻译:使用 Whisper 模型进行高精度字幕识别,支持 OpenAI、阿里云等主流供应商的语音和大模型服务。
智能字幕分割对齐:利用自研算法对字幕进行智能分割和对齐,避免错位和上下文丢失。
自定义词汇替换:支持一键替换词汇,适应特定领域语言风格。
专业级翻译:整段翻译引擎,确保上下文一致和语义连贯。
配音和声音克隆:可选默认的男女生音色生成翻译后的视频朗读配音,或者上传本地音频样本克隆音色进行朗读。
视频合成:一键合成横屏和竖屏视频,自动处理宽度超限的字幕。
Krillin AI应用场景
影视爱好者:打破语言壁垒,让影视爱好者能够畅游全球影视世界。
创作者:节省时间和成本,快速产出多语言版本的视频内容。
企业培训与国际交流:帮助跨国企业快速翻译培训视频;在国际会议中实时翻译发言。
Krillin AI使用教程
安装与启动:无需复杂配置,直接安装并启动 Krillin AI。
视频导入:通过集成的 yt-dlp 下载视频,或上传本地视频。
字幕识别与翻译:选择目标语言,Krillin AI 自动进行字幕识别和翻译。
配音与合成:选择配音音色或上传音频样本进行声音克隆,然后一键合成视频。
Krillin AI安装基本步骤
1. 下载可执行文件:
访问Krillin AI的Release页面,找到与你设备系统匹配的可执行文件(如Windows或macOS版本)。
将下载的文件放入一个空文件夹中。
2. 配置文件设置:
在文件夹内创建一个名为config的文件夹。
在config文件夹中创建一个名为config.toml的文件。
从Krillin AI的源代码config目录下复制config-example.toml文件的内容,并将其粘贴到config.toml文件中。
根据你的需求填写配置信息。如果你需要使用OpenAI模型但不会获取API Key,可以加入项目提供的QQ群免费试用。
3. 启动服务:
双击可执行文件,或者在终端中执行该文件来启动服务。
打开浏览器,输入http://127.0.0.1:8888(如果在配置文件中更改了端口,请使用你设置的端口)。
Github项目:https://github.com/krillinai/KrillinAI