开源了，绝了。

给大家分享一个效果很棒的文本转语音开源模型：MaskGCT！这是由港中大（深圳）联手趣丸科技联合推出了新一代大规模声音克隆。

与先有的文本转语音模型相比，MaskGCT 生成的语音更自然、更连贯。而且这个开源模型，支持控制生成的语音的总长度、语速、停顿、预期等特征。可以修改已经生成的语音或者支持声音克隆。

话不多少，直接点开下面视频看看效果。

01 音色模仿

可以点开如下视频听听声音模仿的效果，预期、停顿、音色还原的都非常好

，时长00:26

PS：请忽略背景中 dangdang 的杂音，是我在录制的时候我家猫在扒柜子

02 模拟情绪

可以通过声音来辨别人目前处于何种情绪状态，比如愤怒、开心、恐惧等。MaskGCT 对此也实现了精准模拟，请看如下这个例子。

，时长00:23

03 模仿说话风格

咖喱味儿、大舌头的发音，也能精确模拟。

，时长00:34

04 MaskGCT 的架构

MaskGCT（Masked Generative Codec Transformer）的全新非自回归式（NAR）文本到语音（TTS）模型。MaskGCT 的设计旨在解决传统自回归（AR）和非自回归（NAR）TTS系统的不足之处。

MaskGCT采用了两阶段架构：第一阶段模型使用文本预测从语音自监督学习模型中提取的语义 tokens；第二阶段则在语义 tokens 的条件下生成声学 tokens。

MaskGCT 能够实现在没有对齐监督的情况下，可以直接合成出高质量的语音。

支持语音内容编辑，借助遮罩与预测机制，通过对语义tokens的部分遮罩，MaskGCT可以实现零样本语音内容编辑。

能够语音转换，MaskGCT支持零样本语音转换，能够根据参考音频将源语音转换为目标语音的音色，而保持语义内容不变。

05 相关地址

你可以通过如下链接访问论文、上方视频中的案例展示、下载模型、自己进行 Demo 展示。
Git：https://github.com/open-mmlab/Amphion/tree/main/models/tts/maskgct
项目主页：https://maskgct.github.io/
论文链接：https://arxiv.org/abs/2409.00750
Demo：https://huggingface.co/spaces/amphion/maskgct
模型下载：https://huggingface.co/amphion/maskgct
历史盘点
逛逛 GitHub 每天推荐一个好玩有趣的开源项目。历史推荐的开源项目已经收录到 GitHub 项目，欢迎 Star：
地址：https://github.com/Wechat-ggGitHub/Awesome-GitHub-Repo

推荐阅读

1. GitHub 上有什么好玩的项目？
2. 推荐 5 个本周很火的 GitHub 项目
3. 推荐 5 个近期火火火的 GitHub 项目
4. 推荐 5 个令人惊艳的 GitHub 项目