TTS
v0.22.0
請使用我們的專用管道進行提問和討論。如果公開分享幫助，那麼幫助就會更有價值，讓更多的人可以從中受益。
| 類型 | 平台 |
|---|---|
| 錯誤報告 | GitHub 問題追蹤器 |
| ？功能請求和想法 | GitHub 問題追蹤器 |
| ? 使用問題 | GitHub 討論 |
| ？一般性討論 | GitHub 討論或 Discord |
| 類型 | 連結 |
|---|---|
| 文件 | 閱讀文件 |
| ？安裝 | TTS/自述文件.md |
| ? 貢獻 | 貢獻.md |
| ？路線圖 | 主要發展計劃 |
| 已發布型號 | TTS 版本和實驗模型 |
| ？文件 | TTS 論文 |
帶下劃線的“TTS*”和“Judy*”是未開源發布的內部TTS 模型。他們來這裡是為了展示潛力。以點為前綴的模型（.Jofish、.Abe 和 .Janice）是真實的人聲。
Trainer API 。dataset_analysis下管理 Text2Speech 資料集的工具。您還可以幫助我們實現更多模型。
?TTS 在 Ubuntu 18.04 上測試， Python >= 3.9, < 3.12。 。
如果您只對使用已發布的 ?TTS 模型合成語音感興趣，從 PyPI 安裝是最簡單的選擇。
pip install TTS如果您計劃編碼或訓練模型，請克隆 ?TTS 並在本地安裝。
git clone https://github.com/coqui-ai/TTS
pip install -e .[all,dev,notebooks] # Select the relevant extras如果您使用的是 Ubuntu (Debian)，您也可以執行以下命令進行安裝。
$ make system-deps # intended to be used on Ubuntu (Debian). Let us know if you have a different OS.
$ make install如果您使用的是 Windows，?@GuyPaddock 在此編寫了安裝說明。
您也可以嘗試 TTS，無需安裝 docker 映像。只需執行以下命令，您無需安裝即可執行 TTS。
docker run --rm -it -p 5002:5002 --entrypoint /bin/bash ghcr.io/coqui-ai/tts-cpu
python3 TTS/server/server.py --list_models # To get the list of available models
python3 TTS/server/server.py --model_name tts_models/en/vctk/vits # To start a server然後，您可以在此處享受 TTS 伺服器有關 docker 映像（例如 GPU 支援）的更多詳細資訊可以在此處找到
import torch
from TTS . api import TTS
# Get device
device = "cuda" if torch . cuda . is_available () else "cpu"
# List available ?TTS models
print ( TTS (). list_models ())
# Init TTS
tts = TTS ( "tts_models/multilingual/multi-dataset/xtts_v2" ). to ( device )
# Run TTS
# ❗ Since this model is multi-lingual voice cloning model, we must set the target speaker_wav and language
# Text to speech list of amplitude values as output
wav = tts . tts ( text = "Hello world!" , speaker_wav = "my/cloning/audio.wav" , language = "en" )
# Text to speech to a file
tts . tts_to_file ( text = "Hello world!" , speaker_wav = "my/cloning/audio.wav" , language = "en" , file_path = "output.wav" ) # Init TTS with the target model name
tts = TTS ( model_name = "tts_models/de/thorsten/tacotron2-DDC" , progress_bar = False ). to ( device )
# Run TTS
tts . tts_to_file ( text = "Ich bin eine Testnachricht." , file_path = OUTPUT_PATH )
# Example voice cloning with YourTTS in English, French and Portuguese
tts = TTS ( model_name = "tts_models/multilingual/multi-dataset/your_tts" , progress_bar = False ). to ( device )
tts . tts_to_file ( "This is voice cloning." , speaker_wav = "my/cloning/audio.wav" , language = "en" , file_path = "output.wav" )
tts . tts_to_file ( "C'est le clonage de la voix." , speaker_wav = "my/cloning/audio.wav" , language = "fr-fr" , file_path = "output.wav" )
tts . tts_to_file ( "Isso é clonagem de voz." , speaker_wav = "my/cloning/audio.wav" , language = "pt-br" , file_path = "output.wav" )將source_wav中的語音轉換為target_wav中的語音
tts = TTS ( model_name = "voice_conversion_models/multilingual/vctk/freevc24" , progress_bar = False ). to ( "cuda" )
tts . voice_conversion_to_file ( source_wav = "my/source.wav" , target_wav = "my/target.wav" , file_path = "output.wav" )這樣，您就可以使用 ?TTS 中的任何模型來克隆聲音。
tts = TTS ( "tts_models/de/thorsten/tacotron2-DDC" )
tts . tts_with_vc_to_file (
"Wie sage ich auf Italienisch, dass ich dich liebe?" ,
speaker_wav = "target/speaker.wav" ,
file_path = "output.wav"
)對於 Fairseq 模型，請使用以下名稱格式： tts_models/<lang-iso_code>/fairseq/vits 。您可以在此處找到語言 ISO 代碼，並在此處了解 Fairseq 模型。
# TTS with on the fly voice conversion
api = TTS ( "tts_models/deu/fairseq/vits" )
api . tts_with_vc_to_file (
"Wie sage ich auf Italienisch, dass ich dich liebe?" ,
speaker_wav = "target/speaker.wav" ,
file_path = "output.wav"
)tts在命令列上合成語音。
您可以使用經過訓練的模型或從提供的清單中選擇模型。
如果不指定任何模型，則使用基於 LJSpeech 的英文模型。
列出提供的型號：
$ tts --list_models
取得模型資訊（tts_models 和 vocoder_models）：
依類型/名稱查詢： model_info_by_name 使用 --list_models 中的名稱。
$ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"
例如：
$ tts --model_info_by_name tts_models/tr/common-voice/glow-tts
$ tts --model_info_by_name vocoder_models/en/ljspeech/hifigan_v2
按類型/idx 查詢：model_query_idx 使用--list_models 中對應的idx。
$ tts --model_info_by_idx "<model_type>/<model_query_idx>"
例如：
$ tts --model_info_by_idx tts_models/3
依全名查詢型號資訊：
$ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"
使用預設模型運行 TTS：
$ tts --text "Text for TTS" --out_path output/path/speech.wav
運行 TTS 並輸出生成的 TTS wav 檔案資料：
$ tts --text "Text for TTS" --pipe_out --out_path output/path/speech.wav | aplay
使用預設聲碼器模型運行 TTS 模型：
$ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav
例如：
$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --out_path output/path/speech.wav
使用清單中的特定 TTS 和聲碼器模型運行：
$ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --vocoder_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav
例如：
$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --vocoder_name "vocoder_models/en/ljspeech/univnet" --out_path output/path/speech.wav
運行您自己的 TTS 模型（使用 Griffin-Lim Vocoder）：
$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav
運行您自己的 TTS 和聲碼器模型：
$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav
--vocoder_path path/to/vocoder.pth --vocoder_config_path path/to/vocoder_config.json
列出可用的發言人並在其中選擇一個 <speaker_id>：
$ tts --model_name "<language>/<dataset>/<model_name>" --list_speaker_idxs
使用目標說話者 ID 運行多說話人 TTS 模型：
$ tts --text "Text for TTS." --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>" --speaker_idx <speaker_id>
運行您自己的多揚聲器 TTS 模型：
$ tts --text "Text for TTS" --out_path output/path/speech.wav --model_path path/to/model.pth --config_path path/to/config.json --speakers_file_path path/to/speaker.json --speaker_idx <speaker_id>
$ tts --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>" --source_wav <path/to/speaker/wav> --target_wav <path/to/reference/wav>
|- notebooks/ (Jupyter Notebooks for model evaluation, parameter selection and data analysis.)
|- utils/ (common utilities.)
|- TTS
|- bin/ (folder for all the executables.)
|- train*.py (train your target model.)
|- ...
|- tts/ (text to speech models)
|- layers/ (model layer definitions)
|- models/ (model definitions)
|- utils/ (model specific utilities.)
|- speaker_encoder/ (Speaker Encoder models.)
|- (same)
|- vocoder/ (Vocoder models.)
|- (same)
