Krillin AI:基于LLMs的专业级视频翻译、配音和语音克隆工具

Krillin ai是什么?

Krillin AI是一个基于大型语言模型(LLMs)的专业级视频翻译配音语音克隆工具,一键部署全流程,可以生成适配抖音,小红书,哔哩哔哩,视频号,TikTok,Youtube Shorts等平台的内容,支持B站,支持中,英,日,德,土耳其语等等56种语言翻译,通过端到端的工作流程,用户只需点击几次,即可将原始素材转化为跨平台内容。

Krillin AI:基于LLMs的专业级视频翻译、配音和语音克隆工具.webp

Krillin AI功能特征

  • 一键启动全流程:无需复杂配置,自动安装依赖,从视频下载到成品输出可一键完成。

  • 多语言支持:支持 56 种语言的翻译,覆盖全球主要语种。

  • 多平台适配:适配抖音、小红书、哔哩哔哩、TikTok、YouTube 等多平台内容格式。

  • 视频获取:集成 yt-dlp,支持从 YouTube、Bilibili 等平台下载视频,也可上传本地视频。

  • 字幕识别与翻译:使用 Whisper 模型进行高精度字幕识别,支持 OpenAI、阿里云等主流供应商的语音和大模型服务。

  • 智能字幕分割对齐:利用自研算法对字幕进行智能分割和对齐,避免错位和上下文丢失。

  • 自定义词汇替换:支持一键替换词汇,适应特定领域语言风格。

  • 专业级翻译:整段翻译引擎,确保上下文一致和语义连贯。

  • 配音和声音克隆:可选默认的男女生音色生成翻译后的视频朗读配音,或者上传本地音频样本克隆音色进行朗读。

  • 视频合成:一键合成横屏和竖屏视频,自动处理宽度超限的字幕。

Krillin AI:基于LLMs的专业级视频翻译、配音和语音克隆工具.webp

Krillin AI应用场景

  • 影视爱好者:打破语言壁垒,让影视爱好者能够畅游全球影视世界。

  • 创作者:节省时间和成本,快速产出多语言版本的视频内容。

  • 企业培训与国际交流:帮助跨国企业快速翻译培训视频;在国际会议中实时翻译发言。

Krillin AI使用教程

  1. 安装与启动:无需复杂配置,直接安装并启动 Krillin AI。

  2. 视频导入:通过集成的 yt-dlp 下载视频,或上传本地视频。

  3. 字幕识别与翻译:选择目标语言,Krillin AI 自动进行字幕识别和翻译。

  4. 配音与合成:选择配音音色或上传音频样本进行声音克隆,然后一键合成视频。

Krillin AI安装基本步骤

1. 下载可执行文件:

  • 访问Krillin AI的Release页面,找到与你设备系统匹配的可执行文件(如Windows或macOS版本)。

  • 将下载的文件放入一个空文件夹中。

2. 配置文件设置:

  • 在文件夹内创建一个名为config的文件夹。

  • 在config文件夹中创建一个名为config.toml的文件。

  • 从Krillin AI的源代码config目录下复制config-example.toml文件的内容,并将其粘贴到config.toml文件中。

  • 根据你的需求填写配置信息。如果你需要使用OpenAI模型但不会获取API Key,可以加入项目提供的QQ群免费试用。

3. 启动服务:

  • 双击可执行文件,或者在终端中执行该文件来启动服务。

  • 打开浏览器,输入http://127.0.0.1:8888(如果在配置文件中更改了端口,请使用你设置的端口)。

Github项目:https://github.com/krillinai/KrillinAI

收藏
最新工具
Remio.ai
Remio.ai

一个 AI驱动的个人知识中心,通过自动捕获浏览的网页内容、解析本...

Build Your Own X
Build Your Own X

一个帮助开发者提升编程能力的开源项目,Build Your Ow...

OCRmyPDF
OCRmyPDF

一款开源的命令行工具,用于给扫描的 PDF 文件添加可搜索的OC...

Automa
Automa

一款开源的低代码/无代码浏览器自动化工具,用户可以通过可视化界面...

ScreenPipe
ScreenPipe

一款开源的 AI 驱动屏幕和音频录制工具。它支持 24/7 本地...

​self.so
​self.so

一个由 Nutlope 开发的可以将 LinkedIn 上的个人...

Awesome LangGraph
Awesome LangGraph

一份精心整理的 LangGraph 资源合集,涵盖了基础介绍、入...

VDSpeak
VDSpeak

一个专注于为YouTube视频提供多语言翻译和配音服务的在线工具...

PydanticAI
PydanticAI

一个Pydantic 团队开发的Python代理框架,可以通过生...

AutoGLM沉思
AutoGLM沉思

智谱推出的一款集深度研究与实际操作能力于一体的AI Agent产...