LocalAIVoiceChatダウンロード - LocalAIVoiceChatソースコードのダウンロード

LocalAIVoiceChat

AI ソースコード

Initial Release

ダウンロード

ローカルAIボイスチャット

カスタマイズ可能な AI の個性と音声を使用して、PC 上で完全にローカルな AI によるリアルタイムの会話を提供します。

ヒント:最先端の音声ソリューションに興味がある人は、 Linguflex もご覧ください。話すことで環境を制御できるようにするもので、現在利用可能なオープンソースアシスタントの中で最も高機能で洗練されたものの 1 つです。

注: 「一般合成エラー: isin() が無効な引数の組み合わせを受け取りました」エラーが発生した場合、これは新しいトランスフォーマーライブラリによって Coqui TTS との非互換性が導入されたことが原因です (ここを参照)。古いトランスフォーマーバージョンにダウングレードしてください: pip install transformers==4.38.2 、または RealtimeTTS を最新バージョンpip install realtimetts==0.4.1にアップグレードしてください。

プロジェクトについて

強力な Zephyr 7B 言語モデルをリアルタイムの音声合成およびテキスト読み上げライブラリと統合して、高速で魅力的な音声ベースのローカルチャットボットを作成します。

Local.AI.Talkbot.GithubClip.mov

ヒント: llama.cpp のインストールで問題が発生した場合は、私の LocalEmotionalAIVoiceChat プロジェクトも参照してください。感情を認識したリアルタイムのテキスト読み上げ出力が含まれており、複数の LLM プロバイダーオプションがあります。さまざまな AI モデルで使用することもできます。

技術スタック

llama_cppと Zephyr 7B
- ラマベースの言語モデルのライブラリインターフェイス
Faster_whisper を使用したリアルタイム STT
- リアルタイム音声テキスト変換ライブラリ
Coqui XTTS を使用したRealtimeTTS
- リアルタイム音声合成ライブラリ

注意事項

このソフトウェアは実験的なアルファ版の状態にあり、実稼働環境での安定性を提供しません。合成に使用されている現在の XTTS モデルには依然として不具合があり、Zephyr も、7B モデルとしては非常に優れていますが、もちろん GPT 4、Claude、Perplexity の応答品質と競合することはできません。

これは、ローカルリアルタイムチャットボットの初期バージョンを提供する最初の試みとして受け止めてください。

アップデート

Coqui XTTS 2.0 モデルへのアップデート
RealtimeTTS のバグ修正 (Coqui モデルのダウンロードが正しく動作しなかった)

前提条件

これをリアルタイムで実行するには、約 8 GB VRAM を備えた GPU が必要です。

nVidia ユーザー向け

NVIDIA CUDA ツールキット 11.8 :
- NVIDIA CUDA ツールキットアーカイブにアクセスします。
- バージョン 11.x を選択し、指示に従ってダウンロードしてインストールします。
CUDA 11.x 用の NVIDIA cuDNN 8.7.0 :
- NVIDIA cuDNN アーカイブに移動します。
- 「cuDNN v8.7.0 (2022 年 11 月 28 日)、CUDA 11.x 用」を見つけてダウンロードします。
- 付属のインストールガイドに従ってください。

AMDユーザー向け

ROCm v.5.7.1 をインストールする
- ROCm SDK バージョン 5.7.1 をダウンロード
- 付属のインストールガイドに従ってください。
FFmpeg :
オペレーティングシステムに応じて FFmpeg をインストールします。
- Ubuntu/Debian :
```
sudo apt update && sudo apt install ffmpeg
```
- アーチ Linux :
```
sudo pacman -S ffmpeg
```
- macOS (自作) :
```
brew install ffmpeg
```
- Windows (チョコレート) :
```
choco install ffmpeg
```
- ウィンドウズ (スクープ) :
```
scoop install ffmpeg
```

インストール手順

リポジトリのクローンを作成するか、ソースコードパッケージをダウンロードします。
ラマ.cppをインストールする
- (AMD ユーザーの場合) 次の手順の前に、環境変数LLAMA_HIPBLAS値をonに設定します。
- 公式の方法:
```
 pip install llama - cpp - python - - force - reinstall - - upgrade - - no - cache - dir - - verbose
```
- 公式インストールが機能しない場合は、多くのプラットフォームや環境に優れたホイールを提供する text-generation-webui をインストールしてください。
リアルタイムライブラリをインストールする
- 主要なライブラリをインストールします。
```
 pip install RealtimeSTT == 0.1 . 7
pip install RealtimeTTS == 0.2 . 7
```
ここから zephyr-7b-beta.Q5_K_M.gguf をダウンロードします。
- Creation_params.json を開き、ダウンロードしたモデルへのファイルパスをmodel_pathに入力します。
- n_gpu_layers (0 ～ 35、VRAM が多い場合は増やします) と n_threads (CPU スレッドの数。利用可能なすべてのコアを使用するのではなく、TTS 用に一部を残しておくことをお勧めします) を調整します。

依存関係の競合が発生した場合は、競合するライブラリの特定のバージョンをインストールします。

 pip install networkx == 2.8 . 8
pip install typing_extensions == 4.8 . 0
pip install fsspec == 2023.6 . 0
pip install imageio == 2.31 . 6
pip install numpy == 1.24 . 3
pip install requests == 2.31 . 0

アプリケーションの実行

 python ai_voicetalk_local.py

カスタマイズ

AIの性格を変える

chat_params.json を開いてトークシナリオを変更します。

AI音声の変更

ai_voicetalk_local.py を開きます。
次の行を見つけます: coqui_engine = CoquiEngine(cloning_reference_wav="女性.wav", language="en")
「雌.wav」を、クローンする音声を含む wave ファイル (44100 または 22050 Hz モノラル 16 ビット) のファイル名に変更します。

発話終了検出

2 番目の文に到達する前に最初の文が書き起こされた場合は、AudioToTextRecorder で post_speech_silence_duration を上げます: AudioToTextRecorder(model="tiny.en", language="en", spinner=False, post_speech_silence_duration = 1.5)