ピアンノートオーディオ
Version 3.3.1
本番環境でpyannote.audioオープンソース ツールキットを使用していますか?より優れた高速なオプションを得るには、pyannoteAI への切り替えを検討してください。
pyannote.audioスピーカー ダイアライゼーション ツールキットpyannote.audioは、Python で書かれた話者ダイアライゼーション用のオープンソース ツールキットです。 PyTorch 機械学習フレームワークに基づいており、最先端の事前トレーニング済みモデルとパイプラインが付属しており、独自のデータに合わせてさらに微調整してパフォーマンスをさらに向上させることができます。
pip install pyannote.audio pyannote.audioで pyannote.audio をインストールしますpyannote/segmentation-3.0ユーザー条件を受け入れるpyannote/speaker-diarization-3.1ユーザー条件を受け入れるhf.co/settings/tokensでアクセス トークンを作成します。 from pyannote . audio import Pipeline
pipeline = Pipeline . from_pretrained (
"pyannote/speaker-diarization-3.1" ,
use_auth_token = "HUGGINGFACE_ACCESS_TOKEN_GOES_HERE" )
# send pipeline to GPU (when available)
import torch
pipeline . to ( torch . device ( "cuda" ))
# apply pretrained pipeline
diarization = pipeline ( "audio.wav" )
# print the result
for turn , _ , speaker in diarization . itertracks ( yield_label = True ):
print ( f"start= { turn . start :.1f } s stop= { turn . end :.1f } s speaker_ { speaker } " )
# start=0.2s stop=1.5s speaker_0
# start=1.8s stop=3.9s speaker_1
# start=4.2s stop=5.7s speaker_0
# ... pyannote事前トレーニング済み音声分離パイプラインの評価 (Clément Pagés 著) pyannote.audioスピーカー ダイアライゼーション パイプライン v3.1 は、そのままでは v2.x よりもはるかに優れ (そして高速) になることが期待されています。これらの数値はダイアライゼーションのエラー率 (%) です。
| ベンチマーク | v2.1 | v3.1 | ピャンノートAI |
|---|---|---|---|
| アイシェル-4 | 14.1 | 12.2 | 11.9 |
| AliMeeting (チャンネル 1) | 27.4 | 24.4 | 22.5 |
| アミ (IHM) | 18.9 | 18.8 | 16.6 |
| アミ（SDM） | 27.1 | 22.4 | 20.9 |
| AVA-AVD | 66.3 | 50.0 | 39.8 |
| コールホーム (パート 2) | 31.6 | 28.4 | 22.2 |
| ディハード 3 (フル) | 26.9 | 21.7 | 17.2 |
| 収益21 | 17.0 | 9.4 | 9.0 |
| Ego4D (開発者) | 61.5 | 51.2 | 43.8 |
| MSDワイルド | 32.8 | 25.3 | 19.8 |
| RAMC | 22.5 | 22.2 | 18.4 |
| リペール(フェーズ2) | 8.2 | 7.8 | 7.6 |
| ヴォックスコンバース (v0.3) | 11.2 | 11.3 | 9.4 |
ダイアライゼーションのエラー率 (%)
pyannote.audioを使用する場合は、次の引用を使用してください。
@inproceedings { Plaquet23 ,
author = { Alexis Plaquet and Hervé Bredin } ,
title = { {Powerset multi-class cross entropy loss for neural speaker diarization} } ,
year = 2023 ,
booktitle = { Proc. INTERSPEECH 2023 } ,
} @inproceedings { Bredin23 ,
author = { Hervé Bredin } ,
title = { {pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe} } ,
year = 2023 ,
booktitle = { Proc. INTERSPEECH 2023 } ,
}以下のコマンドは、 pyannote.audioライブラリの開発に必要なプリコミット フックとパッケージをセットアップします。
pip install -e .[dev,testing]
pre-commit installpytest
