GLM-TTS 零样本语音克隆 WebUI 使用指南

在当前生成式 AI 快速发展的背景下，语音合成技术正逐步从“能说”迈向“说得像、有情感、可控制”的新阶段。GLM-TTS 作为基于大模型的零样本语音克隆系统，支持仅凭一段几秒的参考音频，即可实现高保真音色复刻，并具备情感迁移与音素级控制能力。本文档围绕其定制化 WebUI 的使用方法进行详细说明，帮助用户快速上手并发挥最大潜力。

---

启动与环境准备

进入项目前，请确保已正确部署运行环境。推荐使用 Conda 管理依赖以避免版本冲突：

cd /root/GLM-TTS
source /opt/miniconda3/bin/activate torch29

激活 torch29 虚拟环境是关键步骤——若未激活，可能出现 CUDA 不兼容或 PyTorch 版本错误等问题。启动服务有两种方式：

推荐方式：使用脚本一键启动

bash start_app.sh

该脚本封装了常见参数和后台日志处理，适合日常使用。

调试模式：直接运行主程序

python app.py

适用于开发者查看实时输出日志或修改代码后测试。

服务启动成功后，在浏览器中访问 http://localhost:7860 即可进入交互界面。如果为远程服务器，请确认端口已开放且防火墙允许通行。

⚠️ 每次重启终端后都需重新激活虚拟环境，建议将激活命令写入 shell profile（如 .bashrc）中简化流程。

---

单条语音合成实战

对于初次使用者，建议从基础语音合成功能入手，熟悉整个流程。

第一步：上传参考音频

点击「参考音频」区域上传你的目标音色样本。理想输入应满足以下条件：
- 时长：3～10 秒为佳，太短难以捕捉特征，过长则可能引入冗余信息。
- 质量：清晰人声，无背景音乐、回声或明显噪音。
- 说话人：单一说话人，避免对话或多角色混杂。
- 格式：WAV、MP3 均可，优先选择无损 WAV 格式。

系统会自动提取音频中的声学特征用于后续克隆。上传后可预览波形图，观察是否有明显静音段或爆音。

第二步：填写参考文本（可选但推荐）

在「参考音频对应的文本」框中填入你认为与音频内容一致的文字。虽然模型支持无文本监督对齐，但提供准确文本能显著提升音色还原度和发音准确性。

例如，如果你上传的是“今天天气真不错”的录音，就在此处输入相同句子。即使不确定全部内容，也可输入部分关键词，系统仍能从中获益。

💡 小技巧：对于专业术语或生僻词，提前标注有助于模型理解上下文语义。

第三步：输入待合成文本

在「要合成的文本」框中输入希望生成的内容。目前支持：
- 中文普通话
- 英文
- 中英混合表达（如 “Hello，你好世界”）

单次建议不超过 200 字。过长文本可能导致显存溢出或语调连贯性下降。对于书籍朗读等长文本任务，建议分段处理。

第四步：高级参数调优

展开「⚙️ 高级设置」可进一步控制生成过程：

参数	说明	推荐值
采样率	决定输出音质。24kHz 更快，32kHz 更细腻	初试用 24000，追求质量切至 32000
随机种子 (seed)	控制生成随机性。固定 seed 可复现结果	调试时设为 42，探索多样性时留空
启用 KV Cache	缓存注意力键值，大幅提升长文本推理速度	强烈建议开启 ✅
采样方法	解码策略选择：ras（随机采样）、greedy（贪心）、topk	默认 ras，稳定输出选 greedy

KV Cache 是加速的关键技术之一。实测表明，在合成 150 字以上文本时，启用缓存可减少约 40% 的延迟。

第五步：开始合成

点击「🚀 开始合成」按钮，等待 5～30 秒（取决于 GPU 性能和文本长度），生成的音频将自动播放，并保存至本地磁盘。

默认输出路径为 @outputs/ 目录，文件名按时间戳命名，如 tts_20251212_113000.wav，便于追溯每次实验记录。

---

批量推理：高效生成大批量音频

当需要为视频配音、制作有声书或构建训练数据集时，手动逐条操作显然效率低下。此时，“批量推理”功能成为生产力利器。

准备任务清单（JSONL 格式）

创建一个 .jsonl 文件，每行是一个独立的合成任务，结构如下：

{"prompt_text": "这是第一段参考文本", "prompt_audio": "examples/prompt/audio1.wav", "input_text": "要合成的第一段文本", "output_name": "output_001"}
{"prompt_text": "这是第二段参考文本", "prompt_audio": "examples/prompt/audio2.wav", "input_text": "要合成的第二段文本", "output_name": "output_002"}

字段解释：
- prompt_audio：必填，参考音频路径（支持相对路径）
- input_text：必填，待合成文本
- prompt_text：可选，对应参考音频的文字内容
- output_name：可选，自定义输出文件名；未指定则按序编号

📌 注意：JSONL 要求每一行为合法 JSON，不能有多余逗号或注释。可用在线工具校验格式。

上传并执行

切换到「批量推理」标签页，点击「上传 JSONL 文件」完成导入。随后设置全局参数：
- 采样率：统一应用于所有任务
- 随机种子：若需一致性输出，建议固定（如 42）
- 输出目录：默认为 @outputs/batch，可自定义

点击「🚀 开始批量合成」后，页面将显示进度条和实时日志。每个任务独立运行，单个失败不会中断整体流程。

完成后，所有音频被打包成 ZIP 文件供下载，极大方便后期整理与分发。

输出结构示例：

@outputs/batch/
├── output_001.wav
├── output_002.wav
└── ...

---

高阶玩法：解锁更多可能性

除了基本功能外，GLM-TTS 还提供了多个面向专业用户的进阶特性。

音素级控制（Phoneme Mode）

某些场景下，标准文本转语音可能会误读多音字（如“重”在“重要” vs “重复”中的不同发音）。为此，系统支持通过 G2P（Grapheme-to-Phoneme）机制实现精细调控。

启用方式（命令行）：

python glmtts_inference.py --data=example_zh --exp_name=_test --use_cache --phoneme

核心配置文件位于 configs/G2P_replace_dict.jsonl，支持自定义替换规则。例如：

{"grapheme": "银行", "phoneme": "yin2 hang2"}
{"grapheme": "行长", "phoneme": "hang2 zhang3"}

添加此类规则后，模型将在推理时优先匹配指定发音，避免歧义。

工程建议：建立团队共享的发音词典，尤其适用于客服语音、教育类产品等对准确性要求高的场景。

流式推理（Streaming Inference）

针对实时对话、虚拟主播等低延迟需求的应用，系统支持流式生成模式。

特点包括：
- 按 chunk 分段输出音频，首段响应更快
- 平均 token 输出速率约为 25 tokens/sec（固定）
- 显存占用更平稳，适合长时间运行

虽然当前 WebUI 尚未完全开放流式接口，但底层 API 已支持，开发者可通过 SDK 集成至自有系统中。

情感迁移能力

真正让 GLM-TTS 脱颖而出的是其情感建模能力。只需提供一段带有情绪色彩的参考音频（如喜悦、悲伤、愤怒），模型便能自动学习并迁移到新文本中。

实践建议：
- 使用语气自然、情感鲜明的样本（避免夸张表演）
- 参考音频与目标文本风格尽量匹配
- 多轮尝试不同 seed 观察情感稳定性

这一特性特别适用于动画配音、游戏角色语音等需要多样化表达的场景。

---

实战技巧与避坑指南

要想获得最佳效果，除了正确操作，还需掌握一些经验法则。

如何挑选优质参考音频？

✅ 推荐做法：
- 室内安静环境下录制
- 使用高质量麦克风（如 USB 电容麦）
- 保持自然语速和情感
- 单人独白，避免交叠语音

❌ 应避免的情况：
- 含背景音乐或环境噪音
- 多人对话片段
- 压缩严重的网络音频（如短视频导出）
- 音量忽大忽小或爆音严重

一句话总结：越干净、越真实，克隆效果越好。

文本输入优化策略

• 善用标点：句号、逗号会影响停顿节奏；感叹号可增强语气强度。
• 分段处理长文本：超过 200 字建议拆分为逻辑段落分别合成，再拼接，效果优于一次性生成。
• 中英混合注意语境：尽量保持语言主次分明，避免频繁切换造成语调断裂。

参数调优思路

目标	推荐配置
快速测试	24kHz + KV Cache + seed=42
高音质输出	32kHz + ras采样
生产一致性	固定 seed + 统一参考音频
探索多样性	多次运行不同 seed

首次使用建议从默认参数开始，逐步调整单一变量观察变化，避免同时改动多项导致无法定位影响因素。

---

常见问题解答（FAQ）

Q1: 生成的音频保存在哪里？

A：基础合成为 @outputs/tts_时间戳.wav；批量任务存于 @outputs/batch/ 目录下，支持打包下载。

Q2: 如何提高音色相似度？

A：三点最关键：
1. 提供高质量、清晰的参考音频；
2. 填写准确的参考文本；
3. 参考音频长度控制在 5～8 秒之间，情感自然。

Q3: 支持哪些语言？

A：主要支持中文普通话和英文，以及二者混合输入。其他语种尚未充分训练，效果不可控。

Q4: 生成速度慢怎么办？

A：可尝试以下优化：
- 切换为 24kHz 采样率；
- 确保启用了 KV Cache；
- 减少单次合成文本长度；
- 检查 GPU 显存是否充足（低于 8GB 可能受限）。

Q5: 如何释放显存？

A：点击界面上的「🧹 清理显存」按钮，系统将卸载模型并释放 GPU 内存，适合多用户切换或资源紧张时使用。

Q6: 批量推理失败怎么排查？

A：按以下顺序检查：
1. JSONL 文件格式是否每行都是合法 JSON；
2. 所有 prompt_audio 路径是否存在且可读；
3. 查看控制台日志定位具体错误；
4. 单个任务失败不影响其余任务，无需重跑全部。

Q7: 对音频质量不满意怎么办？

A：可以尝试：
- 更换参考音频（最重要！）；
- 提高采样率至 32kHz；
- 更改随机种子尝试不同发音变体；
- 检查输入文本是否有错别字或异常符号。

---

性能表现参考

实际体验受硬件配置影响较大，以下是基于 NVIDIA A10G 显卡的典型数据：

文本长度	生成耗时（平均）
<50 字	5～10 秒
50～150 字	15～30 秒
150～300 字	30～60 秒

显存占用情况：
- 24kHz 模式：约 8～10 GB
- 32kHz 模式：约 10～12 GB

因此，建议至少配备 12GB 显存的 GPU 以保证流畅运行，尤其是批量或长文本任务。

---

最佳实践工作流

结合项目经验，推荐以下三阶段流程：

1. 探索与测试阶段

• 使用短文本（10～20 字）快速验证不同参考音频的效果；
• 尝试多种参数组合（如不同 seed、采样率）；
• 记录表现优异的配置方案，形成初步模板。

2. 批量生产阶段

• 提前准备好所有参考音频和文本素材；
• 构建标准化 JSONL 任务文件；
• 使用固定 seed 和统一参数确保输出一致性；
• 利用批量功能一次性处理数百条任务。

3. 质量审核与沉淀

• 人工听取生成结果，标记优秀案例；
• 归档高质量参考音频，建立内部音色库；
• 持续优化 G2P 字典和提示词规范。

这套流程已在多个客户项目中验证有效，显著提升了交付效率与成品质量。

---

技术支持与社区协作

本 WebUI 由 科哥 主导二次开发，旨在降低 GLM-TTS 的使用门槛，推动语音克隆技术落地应用。

如有功能建议、Bug 反馈或定制需求，欢迎联系：

微信：312088415

我们也鼓励用户参与共建，共同完善文档、贡献发音词典或分享优秀案例。

原始项目开源地址：
https://github.com/zai-org/GLM-TTS

---

最后更新：2025-12-20