audio pyannote

Vous utilisez la boîte à outils open source pyannote.audio en production ? Pensez à passer à pyannoteAI pour des options meilleures et plus rapides.

boîte à outils de diarisation des haut-parleurs pyannote.audio

pyannote.audio est une boîte à outils open source écrite en Python pour la diarisation des locuteurs. Basé sur le framework d'apprentissage automatique PyTorch, il est livré avec des modèles et des pipelines pré-entraînés de pointe, qui peuvent être affinés davantage en fonction de vos propres données pour des performances encore meilleures.

TL;DR

1. Installez pyannote.audio avec pip install pyannote.audio
2. Accepter les conditions d'utilisation pyannote/segmentation-3.0
3. Accepter les conditions d'utilisation pyannote/speaker-diarization-3.1
4. Créez un jeton d'accès sur hf.co/settings/tokens .

 from pyannote . audio import Pipeline
pipeline = Pipeline . from_pretrained (
    "pyannote/speaker-diarization-3.1" ,
    use_auth_token = "HUGGINGFACE_ACCESS_TOKEN_GOES_HERE" )

# send pipeline to GPU (when available)
import torch
pipeline . to ( torch . device ( "cuda" ))

# apply pretrained pipeline
diarization = pipeline ( "audio.wav" )

# print the result
for turn , _ , speaker in diarization . itertracks ( yield_label = True ):
    print ( f"start= { turn . start :.1f } s stop= { turn . end :.1f } s speaker_ { speaker } " )
# start=0.2s stop=1.5s speaker_0
# start=1.8s stop=3.9s speaker_1
# start=4.2s stop=5.7s speaker_0
# ... 

Points forts

• ? pipelines (et modèles) pré-entraînés sur ? moyeu modèle
• ? performances de pointe (voir Benchmark)
• ? API Python d'abord
• ⚡ Formation multi-GPU avec pytorch-lightning

Documentation

• Journal des modifications
• Questions fréquemment posées
• Modèles
  • Tâches disponibles expliquées
  • Appliquer un modèle pré-entraîné
  • Formation, mise au point et apprentissage par transfert
• Pipelines
  • Explication des pipelines disponibles
  • Appliquer un pipeline pré-entraîné
  • Adapter un pipeline pré-entraîné à vos propres données
  • Former un pipeline
• Contribuer
  • Ajout d'un nouveau modèle
  • Ajouter une nouvelle tâche
  • Ajout d'un nouveau pipeline
  • Partager des modèles et des pipelines pré-entraînés
• Blogue
  • 2022-12-02 > "Comment j'ai atteint la 1ère place à Ego4D 2022, la 1ère place à Albayzin 2022 et la 6ème place aux défis de diarisation des intervenants VoxSRC 2022"
  • 2022-10-23 > « Un modèle de segmentation des locuteurs pour les gouverner tous »
  • 05/08/2021 > "Détection d'activité vocale en streaming avec pyannote.audio"
• Vidéos
  • Introduction à la diarisation des intervenants / École d'été JSALT 2023 / 90 min
  • Modèle de segmentation des locuteurs / Interspeech 2021 / 3 min
  • Première version de pyannote.audio / ICASSP 2020 / 8 min
• Contributions de la communauté (non gérées par l'équipe principale)
  • 05/04/2024 > Diarisation du locuteur hors ligne (speaker-diarisation-3.1) par Simon Ottenhaus
  • 2024-09-24 > Évaluation des pipelines de séparation vocale pré-entraînés pyannote par Clément Pagés

Référence

Prêt à l'emploi, le pipeline de diarisation des haut-parleurs pyannote.audio v3.1 devrait être bien meilleur (et plus rapide) que la v2.x. Ces chiffres sont des taux d'erreur de diarisation (en %) :

Référence	v2.1	v3.1	pyannoteAI
AISHELL-4	14.1	12.2	11.9
AliMeeting (canal 1)	27.4	24.4	22,5
AMI (IHM)	18.9	18,8	16.6
AMI (SDM)	27.1	22.4	20.9
AVA-AVD	66,3	50,0	39,8
APPEL À LA MAISON (partie 2)	31,6	28.4	22.2
DIHARD 3 (complet)	26,9	21.7	17.2
Gains21	17,0	9.4	9.0
Ego4D (dév.)	61,5	51.2	43,8
MSD Sauvage	32,8	25.3	19,8
RAMC	22,5	22.2	18.4
REPERE (phase2)	8.2	7.8	7.6
VoxConverse (v0.3)	11.2	11.3	9.4

Taux d'erreur de diarisation (en %)

Citations

Si vous utilisez pyannote.audio veuillez utiliser les citations suivantes :

 @inproceedings { Plaquet23 ,
  author = { Alexis Plaquet and Hervé Bredin } ,
  title = { {Powerset multi-class cross entropy loss for neural speaker diarization} } ,
  year = 2023 ,
  booktitle = { Proc. INTERSPEECH 2023 } ,
}

 @inproceedings { Bredin23 ,
  author = { Hervé Bredin } ,
  title = { {pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe} } ,
  year = 2023 ,
  booktitle = { Proc. INTERSPEECH 2023 } ,
}

Développement

Les commandes ci-dessous configureront les hooks et les packages de pré-validation nécessaires au développement de la bibliothèque pyannote.audio .

pip install -e .[dev,testing]
pre-commit install

Test

pytest