Descarga de SpeechTransProgress - Descarga del código fuente SpeechTransProgress

SpeechTransProgress

Código Fuente de IA

1.0.0

Descargar

Progreso de la traducción de voz de un extremo a otro

Tutorial

Tutorial EACL 2021: Traducción de voz
Blog: Introducción a la traducción de voz de un extremo a otro
Documento temático de ACL 2020: La traducción de voz y la promesa de un extremo a otro: un balance de dónde estamos
Charla de la encuesta INTERSPEECH 2019: Traducción del lenguaje hablado

Datos

Cuerpo	Dirección	Objetivo	Duración	Licencia
COVOST 2	{Fr, De, Es, Ca, It, Ru, Zh, Pt, Fa, Et, Mn, Nl, Tr, Ar, Sv, Lv, Sl, Ta, Ja, Id, Cy} -> En y En -> {De, Ca, Zh, Fa, Et, Mn, Tr, Ar, Sv, Lv, Sl, Ta, Ja, Id, Cy}	Texto	2880h	CC0
cvss	{Fr, De, Es, Ca, It, Ru, Zh, Pt, Fa, Et, Mn, Nl, Tr, Ar, Sv, Lv, Sl, Ta, Ja, Id, Cy} -> En	Texto y voz	19:00 horas	CC POR 4.0
mTEDx	{Es, Fr, Pt, It, Ru, El} -> En, {Fr, Pt, It} -> Es, Es -> {Fr, It}, {Es,Fr} -> Pt	Texto	765h	CC BY-NC-ND 4.0
COVOST	{Fr, De, Nl, Ru, Es, It, Tr, Fa, Sv, Mn, Zh} -> En	Texto	700h	CC0
MUST-C y MUST-Cine	En -> {De, Es, Fr, It, Nl, Pt, Ro, Ru, Ar, Cs, Fa, Tr, Vi, Zh}	Texto	504h	CC BY-NC-ND 4.0
Cómo2	En -> Punto	Texto	300h	Youtube y CC BY-SA 4.0
LibriSpeech aumentada	En -> Fr	Texto	236h	CC POR 4.0
Europarl-ST	{En, Fr, De, Es, It, Pt, Pl, Ro, Nl} -> {En, Fr, De, Es, It, Pt, Pl, Ro, Nl}	Texto	280h	CC BY-NC 4.0
Kosp2e	Ko -> En	Texto	198h	CC mixto
Pescador + Llamada a casa	Es -> En	Texto	160h+20h	PMA
Masa	paralelo entre En, Es, Eu, Fi, Fr, Hu, Ro y Ru	Texto y voz	172h	Biblia.es
LibriVoxDeEn	De -> En	Texto	110h	CC BY-NC-SA 4.0
Prabhupadavani	paralelo entre En, Fr, De, Gu, Hi, Hu, Id, It, Lv, Lt, Ne, Fa, Pl, Pt, Ru, Sl, Sk, Es, Se, Ta, Te, Tr, Bg, Hr, da y nl	Texto	94h
BSTC	Zh -> En	Texto	68h
LibroS2S	De <-> En	Texto y voz	52h/57h	CC BY-NC-SA 4.0

Kit de herramientas

ESPNet-ST
Fairseq S2T
NeurST

Papel

2023

[arXiv] Ajuste del modelo de lenguaje grande para la traducción de voz de un extremo a otro
[arXiv] Mejora de la traducción del habla mediante el aprendizaje contrastivo multimodal intermodal
[arXiv] Traducción multilingüe de voz a voz a múltiples idiomas de destino
[ICCV] MixSpeech: Autoaprendizaje multimodal con mezcla de transmisiones audiovisuales para la traducción y el reconocimiento visual del habla
[INTERSPEECH] MuAViC: un corpus audiovisual multilingüe para un reconocimiento de voz sólido y una traducción de voz a texto sólida
[INTERSPEECH] Traducción modular de voz a texto para transferencia intermodal Zero-Shot
[INTERSPEECH] Traducción de voz conjunta y reconocimiento de entidad nombrada
[INTERSPEECH] StyleS2ST: Transferencia de estilo Zero-shot para traducción directa de voz a voz
[INTERSPEECH] Destilación de conocimientos sobre la traducción de voz de un extremo a otro en tareas conjuntas
[INTERSPEECH] GigaST: un corpus de traducción de pseudovoz de 10.000 horas
[INTERSPEECH] Interconexión: conexión efectiva entre codificador y decodificador previamente entrenados para traducción de voz
[INTERSPEECH] AlignAtt: uso de alineaciones de traducción de audio basadas en la atención como guía para la traducción simultánea de voz
[INTERSPEECH] Búsqueda incremental de haz en bloque para traducción simultánea de voz con compensación controlable entre calidad y latencia
[INTERSPEECH] HK-LegiCoST: Aprovechamiento de las transcripciones no literales para la traducción de voz
[INTERSPEECH] Aprender cuándo hablar: compensaciones entre latencia y calidad para la traducción simultánea de voz a voz con modelos sin conexión
[ICML] Capacitación previa para la traducción de voz: CTC cumple con el transporte óptimo
[ACL] UnitY: Traducción directa de voz a voz de dos pasadas con unidades discretas
[ACL] Traducción de voz no supervisada simple y eficaz
[ACL] BLASER: Una métrica de evaluación de traducción de voz a voz sin texto
[ACL] SpeechMatrix: un corpus extraído a gran escala de traducciones multilingües de voz a voz
[ACL] Comprender y reducir la brecha de modalidades en la traducción de voz
[ACL] Traducción inversa para traducción de voz a texto sin transcripciones
[ACL] AV-TranSpeech: traducción audiovisual robusta de voz a voz
[ACL] WACO: Aprendizaje contrastivo alineado con palabras para la traducción de voz
[ACL] La atención como guía para la traducción simultánea de voz
[Hallazgos de ACL] Traducción de voz a voz para un lenguaje no escrito del mundo real
[Hallazgos de ACL] CKDST: Destile de manera integral y efectiva el conocimiento desde la traducción automática hasta la traducción de voz de un extremo a otro
[Hallazgos de ACL] Los modelos de difusión dúplex mejoran la traducción de voz a voz
[Hallazgos de ACL] DUB: retrotraducción de unidades discretas para traducción de voz
[Hallazgos de ACL] Traducción de voz simultánea de un extremo a otro con segmentación diferenciable
[Hallazgos de ACL] Transformador de memoria implícita para traducción de voz simultánea computacionalmente eficiente
[Hallazgos de ACL] Transcripción y traducción conjuntas de discursos: pseudoetiquetado con datos fuera de distribución
[ICASSP] Traducción directa de voz a voz sin texto con representación de voz discreta
[ICASSP] M3ST: Mezcla en tres niveles para traducción de voz
[Hallazgos de EACL] Generación de voz sintética a partir de SpokenVocab para traducción de voz
[AAAI] Mejora de la traducción de voz de un extremo a otro aprovechando los datos auxiliares de voz y texto

2022

[arXiv] AdaTranS: Adaptación con reducción basada en límites para la traducción de voz de un extremo a otro
[arXiv] Traducción directa de voz a voz sin anotaciones textuales utilizando funciones de cuello de botella
[arXiv] ArzEn-ST: un corpus de traducción de voz de tres vías para árabe egipcio con cambio de código - inglés
[arXiv] Traducción de voz simultánea multilingüe
[arXiv] Prabhupadavani: datos de traducción de voz con código mixto para 25 idiomas
[Hallazgos del EMNLP] ¿La traducción simultánea de voz necesita modelos simultáneos?
[Hallazgos de EMNLP] RedApt: un adaptador para codificación WAV2VEC 2, traducción de voz más rápida y más pequeña sin comprometer la calidad
[INTERSPEECH] Transformador de transmisión en bloque para la comprensión del lenguaje hablado y la traducción simultánea del habla
[INTERSPEECH] Combinación de funciones espectrales y autosupervisadas para el reconocimiento y la traducción de voz con bajos recursos
[INTERSPEECH] Traducción de voz de extremo a extremo en streaming a gran escala con transductores neuronales
[INTERSPEECH] Optimización de la segmentación del habla mediante corpus de voz bilingüe segmentado para la traducción de voz de un extremo a otro
[INTERSPEECH] Aprovechar los datos no supervisados y débilmente supervisados para mejorar la traducción directa de voz a voz
[INTERSPEECH] SHAS: Acercándose a la segmentación óptima para la traducción de voz de un extremo a otro
[INTERSPEECH] Exploración de la integración y el disparo continuos para la traducción adaptativa simultánea del habla
[INTERSPEECH] M-Adapter: Adaptación de modalidad para traducción de voz a texto de un extremo a otro
[NAACL] Traducción de voz a voz sin texto sobre datos reales
[ICML] Revisando la traducción de voz a texto de un extremo a otro desde cero
[ICML] Translatotron 2: traducción directa y robusta de voz a voz
[ACL] Aprender cuándo traducir para transmisión de voz
[ACL] Muestra, traducción y recombinación: aprovechamiento de las alineaciones de audio para el aumento de datos en la traducción de voz de un extremo a otro
[ACL] UniST: modelo unificado de extremo a extremo para traducción de voz en streaming y sin streaming
[ACL] Traducción directa de voz a voz con unidades discretas
[ACL] STEMM: Autoaprendizaje con combinación múltiple de voz y texto para traducción de voz
[Hallazgos de ACL] Traducción de voz de extremo a extremo para voz con conmutación de código
[LREC] CVSS Corpus y traducción masiva multilingüe de voz a voz
[LREC] LibriS2S: un corpus de traducción de voz a voz alemán-inglés
[ICASSP] Abordar la escasez de datos en la traducción de voz utilizando técnicas de traducción automática multilingüe de disparo cero
[NN] Mejora del aumento de datos para la traducción de voz a texto de bajos recursos con paráfrasis diversa
[AAAI] Regularización de la traducción de voz de un extremo a otro con un acuerdo de descomposición triangular

2021

[arXiv] Transformador eficiente para traducción directa de voz
[arXiv] Traducción de voz de disparo cero
[arXiv] Traducción directa simultánea de voz a voz con atención monotónica variacional de múltiples cabezas
[ASRU] Fast-MD: traducción rápida de voz de extremo a extremo con múltiples decodificadores y intermedios ocultos no autorregresivos
[ASRU] Evaluación de métricas de evaluación para la traducción de voz a voz
[ASRU] Habilitación de la traducción multilingüe de idiomas hablados Zero-shot con codificadores y decodificadores específicos del idioma
[ICNLSP] Más allá de la detección de actividad de voz: segmentación de audio híbrida para traducción directa de voz
[INTERSPEECH] Impacto de las estrategias de codificación y segmentación en la traducción de voz simultánea de un extremo a otro
[EMNLP] Speechformer: Reducción de la pérdida de información en la traducción directa del habla
[EMNLP] ¿Es "moby dick" una ballena o un pájaro? Entidades nombradas y terminología en la traducción de voz
[EMNLP] El aprendizaje mutuo mejora la traducción de voz de un extremo a otro
[INTERSPEECH] Traducción de voz de un extremo a otro mediante capacitación progresiva multimodal
[INTERSPEECH] CoVoST 2 y la traducción masiva de voz a texto multilingüe
[INTERSPEECH] El corpus TEDx multilingüe para el reconocimiento y la traducción de voz
[INTERSPEECH] Aprendizaje auto y semisupervisado a gran escala para la traducción de voz
[INTERSPEECH] Kosp2e: Corpus de traducción del habla coreana al inglés
[INTERSPEECH] AlloST: traducción de voz de bajos recursos sin transcripción de origen
[INTERSPEECH] SpecRec: una solución alternativa para mejorar la traducción de voz a texto de un extremo a otro mediante la reconstrucción de espectrogramas
[INTERSPEECH] La codificación óptima de los sesgos inductivos en el transformador mejora la traducción de voz de un extremo a otro
[INTERSPEECH] Pérdida basada en ASR posterior para traducción de voz de un extremo a otro de múltiples tareas
[AMTA] Traducción de voz simultánea para subtitulado en vivo: del retraso a la visualización
[ACL] Codificación acústica y textual apilada: integración de modelos previamente entrenados en codificadores de traducción de voz
[ACL] Traducción de voz multilingüe con ajuste eficiente de modelos previamente entrenados
[ACL] Ajuste del adaptador ligero para traducción de voz multilingüe
[ACL] Traducción de voz en cascada versus traducción directa: ¿Siguen marcando la diferencia las diferencias?
[ACL] Mejorar la traducción de voz mediante la comprensión y el aprendizaje de la tarea de traducción de texto auxiliar
[ACL] Más allá de la traducción de voz de un extremo a otro a nivel de oración: el contexto ayuda
[Hallazgos de ACL] Traducción directa simultánea de voz a texto asistida por ASR de transmisión sincronizada
[Hallazgos de ACL] AdaST: Adaptación dinámica de los estados del codificador en el decodificador para la traducción de voz a texto de un extremo a otro
[Hallazgos de ACL] RealTranS: traducción de voz simultánea de extremo a extremo con transformador convolucional de contracción ponderada
[Hallazgos de ACL] Aprendizaje del espacio semántico compartido para la traducción de voz a texto
[Hallazgos de ACL] Investigación de la capacidad de reordenamiento en la traducción de voz de un extremo a otro no autorregresiva basada en CTC
[Hallazgos de ACL] Cómo dividir: el efecto de la segmentación de palabras en el sesgo de género en la traducción de voz
[Demostración de ACL] NeurST: kit de herramientas de traducción neuronal del habla
[ICML] Codificación acústica y de texto fusionada para traducción de voz y preentrenamiento bilingüe multimodal
[NAACL] Destilación bidireccional de conocimientos de origen y destino para la traducción de voz de un extremo a otro
[NAACL] Intermedios ocultos que se pueden buscar para modelos de un extremo a otro de tareas de secuencia descomponibles
[NAACL AutoSimTrans] BSTC: un conjunto de datos de traducción de voz chino-inglés a gran escala
[AmericasNLP] Corpus de traducción de voz náhuatl-español de las tierras altas de Puebla para documentación de lenguas en peligro de extinción
[ICASSP] Aprendizaje multitarea consciente de tareas para tareas de voz a texto
[ICASSP] Un marco general de aprendizaje multitarea para aprovechar datos de texto para tareas de voz a texto
[ICASSP] Un estudio empírico de estrategias de decodificación de traducción simultánea de voz de un extremo a otro
[ICASSP] Transmisión simultánea de traducción de voz con transformador de memoria aumentada
[ICASSP] Orthros: traducción de voz de extremo a extremo no autorregresiva con decodificador dual
[ICASSP] Modelos en cascada con retroalimentación cíclica para traducción directa de voz
[ICASSP] Modelos de Transformers capacitados conjuntamente para la traducción del lenguaje hablado
[ICASSP] Uso eficiente de datos de un extremo a otro en el procesamiento del lenguaje hablado
[EACL] Compresión basada en CTC para traducción directa de voz
[EACL] Modelos de transmisión para el reconocimiento y la traducción conjuntos de voz
[IberSPEECH] mintzai-ST: Corpus y líneas base para la traducción del habla vasco-español
[AAAI] Decodificación consecutiva para traducción de voz a texto
[AAAI] UWSpeech: Traducción de voz a voz para lenguajes no escritos
[AAAI] "Escuchar, comprender y traducir": la triple supervisión desacopla la traducción de voz a texto de un extremo a otro
[SLT] Capacitación integral e integrada para traducción de voz en cascada
[SLT] Traducción directa de voz a voz basada en transformador con transcodificador

2020

[arXiv] Cerrando la brecha de modalidades para la traducción de voz a texto
[arXiv] CSTNet: Red contrastiva de traducción de voz para el aprendizaje autosupervisado de la representación del habla
[CLiC-IT] Sobre la destilación de conocimientos para la traducción directa de voz
[COLING] Transformador de decodificador dual para reconocimiento automático de voz conjunto y traducción de voz multilingüe
[COLING] Generación de sistemas de traducción directa del habla con conciencia de género
[AACL] SimulMT a SimulST: Adaptación de la traducción simultánea de texto a la traducción simultánea de voz de un extremo a otro
[Demostración de AACL] fairseq S2T: modelado rápido de voz a texto con fairseq
[EMNLP] Entrenamiento previo eficaz de un decodificador de traducción de voz con datos de traducción automática
[Hallazgos del EMNLP] Selección de funciones adaptables para la traducción de voz de un extremo a otro
[AMTA] Sobre la segmentación de objetivos para la traducción directa de voz
[INTERSPEECH] Reconocimiento y traducción de voz secuencia a secuencia de baja latencia mediante selección de hipótesis parcial
[INTERSPEECH] Codificación posicional relativa para reconocimiento de voz y traducción directa
[INTERSPEECH] Traducción contextualizada de discurso segmentado automáticamente
[INTERSPEECH] Autoformación para la traducción de voz de un extremo a otro
[INTERSPEECH] Mejora del aprendizaje por transferencia interlingüe para el reconocimiento de voz de un extremo a otro con traducción de voz
[INTERSPEECH] Las representaciones autosupervisadas mejoran la traducción de voz de un extremo a otro
[INTERSPEECH] Investigación de la capacitación previa autosupervisada para la traducción de voz de un extremo a otro
[TACL] Transcripción y traducción coherentes del habla
[ACL] ¿Peor WER, pero mejor BLEU? Aprovechar la incrustación de palabras como intermedio en la traducción de voz multitarea de un extremo a otro
[ACL] Las funciones del teléfono mejoran la traducción de voz
[ACL] Capacitación previa al plan de estudios para la traducción de voz de un extremo a otro
[ACL] SimulSpeech: traducción simultánea de voz a texto de un extremo a otro
[ACL] ¿Género en peligro? Evaluación de la tecnología de traducción de voz en el corpus MuST-SHE
[Tema de ACL] La traducción de voz y la promesa de un extremo a otro: un balance de dónde estamos
[Demostración de ACL] ESPnet-ST: kit de herramientas de traducción de voz todo en uno
[LREC] CoVoST: un corpus multilingüe diverso de traducción de voz a texto
[LREC] MuST-Cinema: un corpus de voz a subtítulos
[LREC] MaSS: un corpus multilingüe amplio y limpio de expresiones habladas alineadas con oraciones extraídas de la Biblia
[LREC] LibriVoxDeEn: un corpus para la traducción y el reconocimiento de voz del alemán al inglés
[ICASSP] Europarl-ST: un corpus multilingüe para la traducción de voz de debates parlamentarios
[ICASSP] Adaptación del modelo basado en instancias para la traducción directa de voz
[ICASSP] Traducción directa de voz a texto eficiente en datos con metaaprendizaje independiente de la modalidad
[ICASSP] Análisis de la capacitación previa de ASR para la traducción de voz a texto de bajos recursos
[ICASSP] Traducción de voz de extremo a extremo con manipulación de vocabulario autónoma
[AAAI] Cerrando la brecha entre la capacitación previa y el ajuste para la traducción de voz de un extremo a otro
[AAAI] Reconocimiento de voz sincrónico y traducción de voz a texto con decodificación interactiva

2019

[ASRU] Traducción de voz multilingüe de un extremo a otro de uno a muchos
[ASRU] Traducción de voz multilingüe de extremo a extremo
[ASRU] Traducción de voz a voz entre idiomas desconocidos no transcritos
[ASRU] Un estudio comparativo sobre la traducción de voz a texto de un extremo a otro
[IWSLT] Aprovechamiento de datos de capacitación indirectos para la traducción automática de voz de un extremo a otro: trucos del oficio
[IWSLT] Sobre el uso de SpecAugment para la traducción de voz de un extremo a otro
[INTERSPEECH] Traducción de voz de un extremo a otro con destilación de conocimientos
[INTERSPEECH] Adaptación de Transformer a la traducción de lenguaje hablado de un extremo a otro
[INTERSPEECH] Traducción directa de voz a voz con un modelo de secuencia a secuencia
[ACL] Exploración de las representaciones del habla a nivel de fonemas para la traducción del habla de un extremo a otro
[ACL] Modelos de paso de atención para una traducción de voz de un extremo a otro, sólida y eficiente en el uso de datos
[NAACL] La capacitación previa sobre reconocimiento de voz de altos recursos mejora la traducción de voz a texto de bajos recursos
[NAACL] MuST-C: un corpus de traducción de voz multilingüe
[NAACL] Traducciones fluidas a partir de un discurso disfluente en la traducción de voz de un extremo a otro
[ICASSP] Aprovechamiento de datos débilmente supervisados para mejorar la traducción de voz a texto de un extremo a otro
[ICASSP] Hacia la traducción de voz a texto no supervisada
[ICASSP] Hacia la traducción de voz a texto de un extremo a otro con decodificación de dos pasos

2018

[NIPS] How2: un conjunto de datos a gran escala para la comprensión del lenguaje multimodal
[IberSPEECH] Traducción de voz de extremo a extremo con Transformer
[INTERSPEECH] Traducción de voz a texto de bajos recursos
[LREC] Aumento de Librispeech con traducciones al francés: un corpus multimodal para la evaluación de la traducción directa del habla
[NAACL] Aprendizaje multitarea vinculado para la traducción neuronal del habla
[ICASSP] Traducción de voz automática de extremo a extremo de audiolibros

2017

[INTERSPEECH] Los modelos secuencia a secuencia pueden traducir directamente discursos extranjeros
[INTERSPEECH] Aprendizaje curricular estructurado para la traducción de voz inglés-japonés de principio a fin
[EACL] Hacia la traducción de voz a texto sin reconocimiento de voz

2016

[Taller NIPS] Escuche y traduzca: una prueba de concepto para la traducción de voz a texto de un extremo a otro
[NAACL] Un modelo atencional para la traducción de voz sin transcripción