áudio de nota de piano

Usando o kit de ferramentas de código aberto pyannote.audio na produção? Considere mudar para pyannoteAI para opções melhores e mais rápidas.

kit de ferramentas de diarização de alto-falante pyannote.audio

pyannote.audio é um kit de ferramentas de código aberto escrito em Python para diarização de alto-falantes. Baseado na estrutura de aprendizado de máquina PyTorch, ele vem com modelos e pipelines pré-treinados de última geração, que podem ser ajustados ainda mais aos seus próprios dados para um desempenho ainda melhor.

DR

1. Instale pyannote.audio com pip install pyannote.audio
2. Aceite as condições do usuário pyannote/segmentation-3.0
3. Aceite as condições do usuário pyannote/speaker-diarization-3.1
4. Crie um token de acesso em hf.co/settings/tokens .

 from pyannote . audio import Pipeline
pipeline = Pipeline . from_pretrained (
    "pyannote/speaker-diarization-3.1" ,
    use_auth_token = "HUGGINGFACE_ACCESS_TOKEN_GOES_HERE" )

# send pipeline to GPU (when available)
import torch
pipeline . to ( torch . device ( "cuda" ))

# apply pretrained pipeline
diarization = pipeline ( "audio.wav" )

# print the result
for turn , _ , speaker in diarization . itertracks ( yield_label = True ):
    print ( f"start= { turn . start :.1f } s stop= { turn . end :.1f } s speaker_ { speaker } " )
# start=0.2s stop=1.5s speaker_0
# start=1.8s stop=3.9s speaker_1
# start=4.2s stop=5.7s speaker_0
# ... 

Destaques

• ? pipelines (e modelos) pré-treinados em ? centro de modelo
• ? desempenho de última geração (ver Benchmark)
• ? Primeira API Python
• ⚡ treinamento multi-GPU com pytorch-lightning

Documentação

• Registro de alterações
• Perguntas frequentes
• Modelos
  • Tarefas disponíveis explicadas
  • Aplicando um modelo pré-treinado
  • Treinamento, ajuste fino e aprendizagem por transferência
• Gasodutos
  • Pipelines disponíveis explicados
  • Aplicando um pipeline pré-treinado
  • Adaptando um pipeline pré-treinado aos seus próprios dados
  • Treinando um pipeline
• Contribuindo
  • Adicionando um novo modelo
  • Adicionando uma nova tarefa
  • Adicionando um novo pipeline
  • Compartilhando modelos e pipelines pré-treinados
• Blogue
  • 2022-12-02 > "Como alcancei o 1º lugar no Ego4D 2022, o 1º lugar no Albayzin 2022 e o 6º lugar nos desafios de diarização de alto-falantes do VoxSRC 2022"
  • 2022-10-23 > "Um modelo de segmentação de alto-falantes para governar todos eles"
  • 2021-08-05 > "Streaming de detecção de atividade de voz com pyannote.audio"
• Vídeos
  • Introdução à diarização de alto-falantes / Escola de verão JSALT 2023 / 90 min
  • Modelo de segmentação de alto-falantes / Interspeech 2021 / 3 min
  • Primeiro lançamento de pyannote.audio / ICASSP 2020 / 8 min
• Contribuições da comunidade (não mantidas pela equipe principal)
  • 2024-04-05 > Diarização de alto-falante offline (speaker-diarization-3.1) por Simon Ottenhaus
  • 2024-09-24 > Avaliando pipelines de separação de fala pré-treinados pyannote por Clément Pagés

Referência

Pronto para uso, espera-se que o pipeline de diarização de alto-falante pyannote.audio v3.1 seja muito melhor (e mais rápido) do que v2.x. Esses números são taxas de erro de diarização (em%):

Referência	v2.1	v3.1	pyannoteAI
AISHELL-4	14.1	12.2	11.9
AliMeeting (canal 1)	27.4	24,4	22,5
AMI (IHM)	18,9	18,8	16.6
AMI (SDM)	27.1	22.4	20,9
AVA-AVD	66,3	50,0	39,8
CALLHOME (parte 2)	31,6	28,4	22.2
DIHARD 3 (completo)	26,9	21.7	17.2
Lucro21	17,0	9.4	9,0
Ego4D (desenvolvedor)	61,5	51.2	43,8
MSDWild	32,8	25.3	19,8
RAMC	22,5	22.2	18.4
REPERE (fase 2)	8.2	7,8	7.6
VoxConverse (v0.3)	11.2	11.3	9.4

Taxa de erro de diarização (em%)

Citações

Se você usar pyannote.audio use as seguintes citações:

 @inproceedings { Plaquet23 ,
  author = { Alexis Plaquet and Hervé Bredin } ,
  title = { {Powerset multi-class cross entropy loss for neural speaker diarization} } ,
  year = 2023 ,
  booktitle = { Proc. INTERSPEECH 2023 } ,
}

 @inproceedings { Bredin23 ,
  author = { Hervé Bredin } ,
  title = { {pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe} } ,
  year = 2023 ,
  booktitle = { Proc. INTERSPEECH 2023 } ,
}

Desenvolvimento

Os comandos abaixo configurarão ganchos e pacotes de pré-commit necessários para desenvolver a biblioteca pyannote.audio .

pip install -e .[dev,testing]
pre-commit install

Teste

pytest