# Dub Studio
**面向 Windows 的免费离线 AI 视频配音工作室 —— 用克隆的声音、翻译字幕和画面文字本地化，把任意视频重新配音成另一种语言。100% 本地运行，零 Python：一个原生 `.exe`（Rust + C++/CUDA），所有模型与引擎一键下载。**
[](LICENSE)
[](https://github.com/timoncool/dub-studio/stargazers)
[](https://github.com/timoncool/dub-studio/releases)
[](https://github.com/timoncool/dub-studio/releases)
[English](README.md) · [Русский](README.ru.md) · **中文** · [Español](README.es.md) · [Português](README.pt.md) · [Français](README.fr.md)
### [🌐 在线演示与前后对比展示 →](https://timoncool.github.io/dub-studio/)
## 实际效果
**[▶ 在网站上观看前后对比视频展示 →](https://timoncool.github.io/dub-studio/#showcase)** — 真实片段，全部在本地 GPU 上端到端完成：不同的视频、模式和语言。
|  |  |  |
|:--:|:--:|:--:|
| 🎙️ **配音** · EN→RU | 🗣️ **旁白配音** · EN→ES | 🈶 **配音** · 画面上的中文 |
|  |  |  |
| 📝 **字幕** · 原语言 | 🎬 **配音** · 宽屏 16:9 | 🔤 **转录** · 说话人分离 |
## 这是什么
**Dub Studio** 把任意视频变成另一种语言的配音版本 —— **克隆说话人本人的音色、翻译字幕、并在画面上就地本地化嵌入文字**。拖入一个片段，智能自动流程先出初稿；随后实时编辑器让你掌控**每一条字幕、声音、模糊框、字体和标题**，即时预览。
默认一切都在**你自己的电脑上本地运行** —— 无云端、无订阅：你的素材和声纹绝不离开电脑。如果电脑较弱（跑不动本地 Gemma/Higgs）或你想要更快更好的效果，繁重的部分（翻译、视觉、TTS、语音识别）可以**可选地**通过 **OpenRouter** 交给云端 —— 每个引擎单独选择（本地 ↔ 云端），并按说话人性别自动分配声音（测试版）。密钥保存在本地，默认全部关闭。
这是**完全原生重写**。没有内嵌 Python、没有 torch、没有 CUDA wheel。整条流水线是 **Rust + 原生 C++/CUDA 引擎（GGUF/ONNX）**：单进程、启动快、显存占用低。模型、引擎、CUDA/VC++ 运行库和 ffmpeg 都由应用在首次运行时**自行一键下载安装**。**本应用是为 NVIDIA 显卡构建并测试的**：配音、翻译和视觉在本地通过 CUDA 运行，字幕通过 NVENC 烧录进视频。分离、说话人分离和识别可以在 CPU 上运行，繁重的阶段也可以交给 OpenRouter，但没有 NVIDIA 的机器不属于经过测试的配置——见下文*各阶段运行在哪里*。
## 面向 AI 智能体
Dub Studio 打开时会在 `http://127.0.0.1:8793/mcp` 提供 MCP 服务：Claude Code、Claude Desktop、Cursor、Codex 等智能体可以通过同一套代码完成窗口能做的一切——用视频文件创建项目、进行分析、逐行修改译文、时间轴和说话人、分配配音、设置字幕样式、添加标题和模糊区域、渲染、把同一视频导出为更多语言、写出 SRT 和 TXT，并把结果保存到文件夹。在设置的 **智能体 (MCP)** 部分可以看到智能体是否已连接，以及要粘贴到客户端的内容。
拿到这个仓库后，智能体可以自行完成安装并操控工作室：
1. 从[最新版本](https://github.com/timoncool/dub-studio/releases/latest)安装工作室并启动。
2. 连接到它的 MCP 服务：
```bash
claude mcp add --transport http dub-studio http://127.0.0.1:8793/mcp
```
其他客户端：`{ "mcpServers": { "dub-studio": { "type": "streamable-http", "url": "http://127.0.0.1:8793/mcp" } } }`
3. 阅读服务器提供的技能说明（资源 `studio://skill`，提示词 `studio`），内容与 [docs/mcp-skill.md](docs/mcp-skill.md) 相同——包含所有工具、基本规则和分步操作——然后从工具 `studio_status` 开始。
[llms.txt](llms.txt) 为会查找它的工具提供同样的信息。若想在 Claude Code 中长期保留该技能，请把 [docs/mcp-skill.md](docs/mcp-skill.md) 保存为 `~/.claude/skills/dub-studio/SKILL.md`。只有本机上的智能体和工作室自己的窗口可以连接。
## 五种模式，随时切换
| 模式 | 作用 |
|------|------|
| 🎙️ **配音** | 完整重新配音到目标语言，**克隆原始音色** —— 按说话人自动分配或自选声音 |
| 🗣️ **旁白（画外音）** | 翻译人声**叠加在减弱的原声之上** —— 原声仍在下方可听，平衡可调 |
| 📝 **字幕** | 烧录**原语言**字幕、保留原声 —— 不配音、不翻译 |
| ✨ **趣味改编** | 给个主题（“像海盗”“像新闻播报”）→ 模型**重写整个脚本**再配音 |
| 🎬 **转录** | 干净的**说话人分离转录**、逐说话人排布、卡拉OK跟随播放、一键生成声音、导出 `.srt`/`.txt` |
加载一次片段，即可在编辑器里送入任意模式。
## 功能
- **声音克隆** —— 克隆原始音色并说出新语言（原生 [Higgs Audio v3](https://huggingface.co/bosonai) 引擎，GGUF）。按说话人自动分配或使用自带声音包。
- **说话人分离** —— 谁在何时说话（NVIDIA **Nemotron 3 Diarization**，最多 8 个声音），每个说话人不同声音。
- **角色选角（测试版）** —— 一个角色就是**「人脸 + 声音」的配对**。应用在整段视频中收集人脸、识别同一个人，并**按共同出现把他绑定到某个说话人**（近景出镜者获得声音，背景旁听者则否）；自动挑选最清晰的一帧作头像，并**为整部剧集保存选角档案** —— 声音和角色描述只需指定一次，**下一集自动套用**。**「真实人脸 / 卡通·动漫」**开关按内容切换人脸识别。
- **可选 ASR 引擎** —— 用 **Parakeet-TDT**（GPU，默认）或 **Whisper**（[Purfview faster-whisper 独立版](https://github.com/Purfview/whisper-standalone-win)，可在 CPU 上运行）转写 —— 在设置里直接选择模型大小（tiny … large-v3-turbo）和量化（compute type）。
- **导入现成字幕** —— 用你自己的 `.srt`/`.ass` 作为精确文稿：文本和时间轴直接取自文件，而非自动识别（说话人仍由声纹分离自动分配）。勾选 **“字幕已是目标语言”** 可连翻译一起跳过 —— 英文视频 + 你的俄语字幕 → 直接生成俄语配音，无需识别与翻译。
- **多语言导出** —— 导出按钮旁的 **▾** 可把一个视频一次导出为多种语言；每种都继承你的全部编辑（字幕排版、样式、模糊框、克隆音色）—— 只重新翻译与配音。
- **保存与重开项目** —— 自动保存、启动页的近期项目列表，一键回到未完成的工作。
- **语音与语言列表可搜索** —— 输入名称的一部分即可从数百个语音或 100+ 种语言中筛选；语言也可按界面语言中的名称匹配。
- **可组合流水线** —— 输入端独立开关：音频（原声 / 配音 / 旁白 / 转写）× 字幕（无 / 原文 / 翻译）× 是否烧录到视频 × 搞笑改写。任意组合 —— 配音但不加字幕、翻译字幕但不配音、用自己的声音做搞笑配音 —— 批量和编辑器中同样适用。
- **画面文字本地化** —— OCR 检测嵌入文字（**PP-OCR** ONNX），**模糊原文**并以匹配风格叠印本地化标题 —— 其他工具没有的功能。
- **翻译 + 视觉风格分析** —— 通过 **Gemma-4 12B**（GGUF，llama.cpp）本地翻译整段转录；视觉流程解析画面排布：字幕风格、标题、品牌、文字区域。
- **SOTA 人声分离** —— **Mel-Band Roformer**（CUDA 上的原生 BSRoformer.cpp）将人声与音乐分离：背景音乐**得以保留**，克隆锁定干净语音。
- **26 种字幕预设** —— karaoke / 逐词 / hormozi / 霓虹等，直接**在你的画面上**渲染（所见即所得，JASSUB 覆盖同一份 ffmpeg 烧录的 `.ass`）。
- **卡拉OK转录** —— 播放视频，转录中当前行与当前**词**同步高亮。
- **实时编辑器** —— 编辑转录、声音、字幕风格、模糊框、标题；**约 0.17 秒/帧预览**，每次修改即时可见。
- **智能重生成** —— 导出时只重新合成你改动过的片段，而非整段。
- **自定义台词** —— 在转录中插入自己的短语；每句都用说话人的克隆声音配音并显示在字幕中。
- **批量处理** —— 文件队列，统一设置，逐文件进度。
- **前后对比** —— 原片与配音并排。
- **100+ 种语言** —— 配音到任何主要语言（西班牙语、中文、日语、阿拉伯语、印地语等），自动检测源语言。
- **任意视频格式** —— MP4、MOV、MKV、WEBM、AVI 等（ffmpeg 解码）。
- **一键安装 + 应用内自动更新** —— 首次运行下载模型、引擎、运行库与 ffmpeg；应用自我更新。
- **可续传下载** —— 大模型（10GB+）断线后从中断处续传，而非重新开始。
- **想在哪算就在哪算** —— 分离、说话人分离和识别各自在 **GPU 与 CPU** 之间独立切换，识别、翻译、视觉和配音还可以交给 **OpenRouter**。下方的*各阶段运行在哪里*表列出了每个阶段实际能用什么。
- **按硬件调优** —— 每个引擎都有多种量化（TTS Q8/Q6/Q4、翻译 Q4…Q8、ASR int8/fp32 或 Whisper tiny…large-v3-turbo、分离 Q8/Q5/Q4），在设置中切换；可限制 prefill 批大小与参考片段时长，以适配 8–12 GB 显卡和 32 GB 内存。
- **整个应用使用你的语言** — 进度、错误、安装、选角以及智能体读取的报告都以窗口的六种语言之一显示。
- **Google Gemini 声音** — 在本地引擎和 OpenRouter 之外可选 Gemini TTS，有独立密钥和实时模型列表；**Batch** 价格减半，停止的渲染会接上同一个已付费批次。
- **说话人数量** — 自动或 1 到 8 人；长录音中的声音统一匹配，录音按约 90 秒的窗口识别。
- **响度均衡** — 默认开启的开关：各句电平一致，配音为 -14 LUFS、-1 dBTP 上限；关闭则混音保持原样。
- **完全便携** —— 不写入用户配置；删除文件夹不留痕迹。
## 截图
主界面 —— 五种模式、所选视频预览、语言选择、任意视频格式：
转录模式 —— 说话人分离转录、逐说话人排布、卡拉OK跟随播放、一键从每个说话人生成声音：
## 环境要求
- **系统：** Windows 10 / 11 (x64)；Linux x86-64 为实验性版本（见 *Linux（实验性）*）
- **显卡：** 显存 8 GB 及以上的 NVIDIA 显卡（提供 8、12、16、24 和 32 GB 的预设）及较新的驱动。本地配音（Higgs Audio）、翻译和视觉（Gemma）通过 CUDA 运行，字幕通过 NVENC 烧录。没有 NVIDIA 时，只有*各阶段运行在哪里*中标为 CPU 或云端的阶段可以运行，且该配置未经测试
- **WebView2** —— Windows 11 已预装；在 Windows 10 上由安装程序下载（若失败见*故障排除*）
- **磁盘：** 默认模型、引擎和运行库约 15 GB（首次运行时获取），另需项目空间；备用量化版本和 Whisper 模型为额外占用
在有 NVIDIA 的机器上，唯一需要手动安装的是较新的 **[NVIDIA 驱动](https://www.nvidia.com/Download/index.aspx)**。其余一切 —— 模型（Higgs Audio v3、Gemma-4 12B + vision、Parakeet-TDT、Nemotron 3 Diarization、Mel-Band Roformer）、引擎、CUDA 运行库与 ffmpeg —— 应用在首次运行时一键下载。
## 快速开始
1. 从 [Releases](https://github.com/timoncool/dub-studio/releases) **下载**便携版并解压到任意文件夹（或用 `-setup.exe` 安装）。
2. **运行** `Dub Studio.exe`。
3. 在**首次运行**面板点击**全部下载** —— 应用获取模型、引擎与运行库（约 15 GB，一次）。若缺 NVIDIA 驱动，按钮会打开下载页。
4. **拖入视频**，选择目标语言 → 自动流程出初稿。在编辑器里微调后点击**导出**。
> 一切都下载并存放在**应用文件夹内**。模型、缓存与项目不会去别处。
改动内容与时间见 [CHANGELOG.md](CHANGELOG.md)，应用顶部的星光按钮也会显示。贡献者与编码代理的规则见 [AGENTS.md](AGENTS.md)。
## 应用会下载的全部内容
“首次运行”面板用一个按钮获取以上全部内容。若处于代理之后，或无法访问 Hugging Face，请在 设置 → **网络** 中设置代理：跟随 Windows、自定义（HTTP、HTTPS、SOCKS5 或 SOCKS4；卖家给的 `host:port:login:password` 可以直接使用）或不使用代理。模型下载、云端请求和应用更新都会经过它。也可以自行下载直接文件，放到最后一列所示的位置（路径从应用文件夹，即包含 `models\` 的文件夹算起），再点击**从文件夹导入**；以压缩包（`.zip`、`.whl`）提供的组件由应用自己下载。
位于所列位置、大小与所列大小完全一致的文件视为已安装；每次下载都会先与该文件固定的 SHA-256 核对后才使用，已经在位的文件在跳过下载前也会同样核对。**从文件夹导入**（在“首次运行”面板和模型设置中）会在你选择的文件夹中按文件名和精确大小查找组件的文件，并以硬链接或复制的方式放到位。以 zip 或 wheel 压缩包提供的组件（引擎、运行库）不会被导入，只有由应用自己下载时才算已安装：应用会在解压出的文件旁保存已核对压缩包的记录。大小和哈希取自应用自己的清单 `crates/dub-server/src/setup.rs`，本表会与其核对。
Visual C++ 运行库和 PP-OCR 模型随发行包提供，不会下载；NVIDIA 驱动需单独安装。
| 组件 | 必要性 | 文件（直接链接） | 大小 | 存放位置 |
|---|---|---|---|---|
| Higgs Audio v3 Q8_0 | 必需 | [q8_0.gguf](https://huggingface.co/drbaph/Higgs-Audio-v3-Studio/resolve/c6e9db5a2062c15accc1b9bfa54d927bbdb124dc/models/higgs-q8_0/q8_0.gguf) → `models\higgs-q8_0\q8_0.gguf`