VALL-E X: 多语言文本到语音合成与语音克隆 🔊

English | 中文
微软VALL-E X 零样本语音合成模型的开源实现.
预训练模型现已向公众开放，供研究或应用使用。

VALL-E X 是一个强大而创新的多语言文本转语音（TTS）模型，最初由微软发布。虽然微软最初在他们的研究论文中提出了该概念，但并未发布任何代码或预训练模型。我们认识到了这项技术的潜力和价值，复现并训练了一个开源可用的VALL-E X模型。我们很乐意与社区分享我们的预训练模型，让每个人都能体验到次世代TTS的威力。 🎧
更多细节请查看 model card.

📖 目录

• 🚀 更新日志
• 📢 功能特点
• 💻 本地安装
• 🎧 在线Demo
• 🐍 使用方法
• ❓ FAQ
• 🧠 TODO

🚀 Updates

2023.09.10

• 支持AR decoder的batch decoding以实现更稳定的生成结果

2023.08.30

• 将EnCodec解码器替换成了Vocos解码器，提升了音质。 (感谢@v0xie)

2023.08.23

• 加入了长文本生成功能

2023.08.20

• 加入了中文版README

2023.08.14

• 预训练模型权重已发布，从这里下载。

💻 本地安装

使用pip安装，必须使用Python 3.10，CUDA 11.7 ~ 12.0，PyTorch 2.0+

git clone https://github.com/Plachtaa/VALL-E-X.git
cd VALL-E-X
pip install -r requirements.txt

注意：如果需要制作prompt，需要安装 ffmpeg 并将其所在文件夹加入到环境变量PATH中

第一次运行程序时，会自动下载相应的模型。如果下载失败并报错，请按照以下步骤手动下载模型。

（请注意目录和文件夹的大小写）

1.检查安装目录下是否存在checkpoints文件夹，如果没有，在安装目录下手动创建checkpoints文件夹（./checkpoints/）。

2.检查checkpoints文件夹中是否有vallex-checkpoint.pt文件。如果没有，请从这里 手动下载vallex-checkpoint.pt文件并放到checkpoints文件夹里。

3.检查安装目录下是否存在whisper文件夹，如果没有，在安装目录下手动创建whisper文件夹（./whisper/）。

4.检查whisper文件夹中是否有medium.pt文件。如果没有，请从这里 手动下载medium.pt文件并放到whisper文件夹里。

🎧 在线Demo

如果你不想在本地安装，你可以在线体验VALL-E X的功能，点击下面的任意一个链接即可开始体验。

📢 功能特点

VALL-E X 配备有一系列尖端功能：

1. 多语言 TTS: 可使用三种语言 - 英语、中文和日语 - 进行自然、富有表现力的语音合成。

2. 零样本语音克隆: 仅需录制任意说话人的短短的 3~10 秒录音，VALL-E X 就能生成个性化、高质量的语音，完美还原他们的声音。

3. 语音情感控制: VALL-E X 可以合成与给定说话人录音相同情感的语音，为音频增添更多表现力。

4. 零样本跨语言语音合成: VALL-E X 可以合成与给定说话人母语不同的另一种语言，在不影响口音和流利度的同时，保留该说话人的音色与情感。以下是一个使用日语母语者进行英文与中文合成的样例： 🇯🇵 🗣

5. 口音控制: VALL-E X 允许您控制所合成音频的口音，比如说中文带英语口音或反之。 🇨🇳 💬

6. 声学环境保留: 当给定说话人的录音在不同的声学环境下录制时，VALL-E X 可以保留该声学环境，使合成语音听起来更加自然。

你可以访问我们的demo页面 来浏览更多示例!

💻 Python中的使用方法

from utils.generation import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
from IPython.display import Audio

# download and load all models
preload_models()

# generate audio from text
text_prompt = """
Hello, my name is Nose. And uh, and I like hamburger. Hahaha... But I also have other interests such as playing tactic toast.
"""
audio_array = generate_audio(text_prompt)

# save audio to disk
write_wav("vallex_generation.wav", SAMPLE_RATE, audio_array)

# play text in notebook
Audio(audio_array, rate=SAMPLE_RATE)

text_prompt = """
    チュソクは私のお気に入りの祭りです。 私は数日間休んで、友人や家族との時間を過ごすことができます。
"""
audio_array = generate_audio(text_prompt)

text_prompt = """
    [EN]The Thirty Years' War was a devastating conflict that had a profound impact on Europe.[EN]
    [ZH]这是历史的开始。 如果您想听更多，请继续。[ZH]
"""
audio_array = generate_audio(text_prompt, language='mix')

text_prompt = """
I am an innocent boy with a smoky voice. It is a great honor for me to speak at the United Nations today.
"""
audio_array = generate_audio(text_prompt, prompt="dingzhen")

from utils.prompt_making import make_prompt

### Use given transcript
make_prompt(name="paimon", audio_prompt_path="paimon_prompt.wav",
                transcript="Just, what was that? Paimon thought we were gonna get eaten.")

### Alternatively, use whisper
make_prompt(name="paimon", audio_prompt_path="paimon_prompt.wav")

from utils.generation import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav

# download and load all models
preload_models()

text_prompt = """
Hey, Traveler, Listen to this, This machine has taken my voice, and now it can talk just like me!
"""
audio_array = generate_audio(text_prompt, prompt="paimon")

write_wav("paimon_cloned.wav", SAMPLE_RATE, audio_array)

python -X utf8 launch-ui.py

🛠️ 硬件要求及推理速度

VALL-E X 可以在CPU或GPU上运行 (pytorch 2.0+, CUDA 11.7 ~ CUDA 12.0).

若使用GPU运行，你需要至少6GB的显存。

⚙️ Details

VALL-E X 与 Bark, VALL-E and AudioLM类似, 使用GPT风格的模型以自回归方式预测量化音频token，并由EnCodec解码.
与 Bark 相比:

• ✔ 轻量: 3️⃣ ✖ 更小,
• ✔ 快速: 4️⃣ ✖ 更快,
• ✔ 中文&日文的更高质量
• ✔ 跨语言合成时没有外国口音
• ✔ 开放且易于操作的声音克隆
• ❌ 支持的语言较少
• ❌ 没有用于合成音乐及特殊音效的token

支持的语言

❓ FAQ

在哪里可以下载checkpoint?

• 当您第一次运行程序时,我们使用wget将模型下载到./checkpoints/目录里。
• 如果第一次运行时下载失败，请从这里手动下载模型，并将文件放在./checkpoints/里。

需要多少显存?

• 6GB 显存(GPU VRAM) - 几乎所有NVIDIA GPU都满足要求.

为什么模型无法生成长文本?

• 当序列长度增加时，Transformer的计算复杂度呈二次方增长。因此，所有训练音频都保持在22秒以下。请确保音频提示（audio prompt）和生成的音频的总长度小于22秒以确保可接受的性能。

更多...

🧠 待办事项

• 添加中文 README
• 长文本生成
• 用Vocos解码器替换Encodec解码器
• 微调以实现更好的语音自适应
• 给非python用户的.bat脚本
• 更多...

🙏 感谢

• VALL-E X paper for the brilliant idea
• lifeiteng's vall-e for related training code
• bark for the amazing pioneering work in neuro-codec TTS model

⭐️ 表示出你的支持

如果您觉得VALL-E X有趣且有用，请在GitHub上给我们一颗星！ ⭐️ 它鼓励我们不断改进模型并添加令人兴奋的功能。

📜 License

VALL-E X 使用 MIT License.

有问题或需要帮助？ 可以随便 open an issue 或加入我们的 Discord

Happy voice cloning! 🎤