Скачать sherpa onnx - скачать исходный код sherpa onnx

sherpa onnx

С/С++

v1.10.34

Скачать

Поддерживаемые функции

Распознавание речи	Синтез речи
✔️	✔️

Идентификация говорящего	Диаизация спикера	Проверка динамиков
✔️	✔️	✔️

Идентификация разговорного языка	Аудио теги	Обнаружение голосовой активности
✔️	✔️	✔️

Определение ключевых слов	Добавить пунктуацию
✔️	✔️

Поддерживаемые платформы

Архитектура	Андроид	iOS	Окна	macOS	Linux	ГармонияОС
х64	✔️		✔️	✔️	✔️	✔️
х86	✔️		✔️
рука64	✔️	✔️	✔️	✔️	✔️	✔️
рука32	✔️				✔️	✔️
рискв64					✔️

Поддерживаемые языки программирования

1. С++	2. С	3. Питон	4. JavaScript
✔️	✔️	✔️	✔️

5. Ява	6. С#	7. Котлин	8. Свифт
✔️	✔️	✔️	✔️

9. Иди	10. Дарт	11. Ржавчина	12. Паскаль
✔️	✔️	✔️	✔️

Информацию о поддержке Rust см. на странице sherpa-rs.

Он также поддерживает WebAssembly.

Введение

Этот репозиторий поддерживает локальный запуск следующих функций.

Преобразование речи в текст (т. е. ASR); поддерживаются как потоковая, так и непотоковая передача
Преобразование текста в речь (т. е. TTS)
Диаизация спикера
Идентификация говорящего
Проверка динамиков
Идентификация разговорного языка
Аудио теги
ВАД (например, силеро-вад)
Определение ключевых слов

на следующих платформах и операционных системах:

x86, x86_64 , 32-битный ARM, 64-битный ARM (arm64, aarch64), RISC-V (riscv64)
Linux, macOS, Windows, openKylin
Андроид, WearOS
iOS
ГармонияОС
NodeJS
Веб-сборка
Малиновый Пи
РВ1126
ЛичиПи4А
ВидениеПять 2
旭日X3派
爱芯派
и т. д.

со следующими API

С++, С, Питон, Го, C#
Java, Котлин, JavaScript
Свифт, Руст
Дарт, Объект Паскаль

Ссылки на пространства Huggingface

Вы можете посетить следующие разделы Huggingface, чтобы попробовать sherpa-onnx, ничего не устанавливая. Все, что вам нужно, это браузер.

Описание	URL-адрес
Диаизация спикера	Нажмите на меня
Распознавание речи	Нажмите на меня
Распознавание речи с помощью Whisper	Нажмите на меня
Синтез речи	Нажмите на меня
Создать субтитры	Нажмите на меня
Аудио теги	Нажмите на меня
Идентификация разговорного языка с помощью Whisper	Нажмите на меня

У нас также есть пространства, созданные с использованием WebAssembly. Они перечислены ниже:

Описание	Обнимающее пространство	МодельОбласть пространства
Обнаружение голосовой активности с помощью silero-vad	Нажмите на меня	地址
Распознавание речи в реальном времени (китайский + английский) с помощью Zipformer	Нажмите на меня	地址
Распознавание речи в реальном времени (китайский + английский) с помощью Paraformer	Нажмите на меня	地址
Распознавание речи в реальном времени (китайский + английский + кантонский диалект) с помощью Paraformer-large	Нажмите на меня	地址
Распознавание речи в реальном времени (английский)	Нажмите на меня	地址
VAD + распознавание речи (китайский + английский + корейский + японский + кантонский диалект) с помощью SenseVoice	Нажмите на меня	地址
VAD + распознавание речи (английский) с помощью Whisper tiny.en	Нажмите на меня	地址
VAD + распознавание речи (английский) с Moonshine tiny	Нажмите на меня	地址
VAD + распознавание речи (английский) с помощью Zipformer, обученного с помощью GigaSpeech	Нажмите на меня	地址
VAD + распознавание речи (китайский) с помощью Zipformer, обученного с помощью WenetSpeech	Нажмите на меня	地址
VAD + распознавание речи (японский) с помощью Zipformer, обученного с помощью ReazonSpeech	Нажмите на меня	地址
VAD + распознавание речи (тайский) с помощью Zipformer, обученного с помощью GigaSpeech2	Нажмите на меня	地址
Распознавание речи VAD + (китайский 多种方言) с моделью TeleSpeech-ASR CTC	Нажмите на меня	地址
VAD + распознавание речи (английский + китайский, 及多种中文方言) с Paraformer-large	Нажмите на меня	地址
VAD + распознавание речи (английский + китайский, 及多种中文方言) с Paraformer-small	Нажмите на меня	地址
Синтез речи (английский)	Нажмите на меня	地址
Синтез речи (немецкий)	Нажмите на меня	地址
Диаизация спикера	Нажмите на меня	地址

Ссылки на готовые APK-файлы Android

Вы можете найти готовые APK-файлы Android для этого репозитория в следующей таблице.

Описание	URL-адрес	中国用户
Диаизация спикера	Адрес	点此
Потоковое распознавание речи	Адрес	点此
Преобразование текста в речь	Адрес	点此
Обнаружение голосовой активности (VAD)	Адрес	点此
VAD + непотоковое распознавание речи	Адрес	点此
Двухпроходное распознавание речи	Адрес	点此
Аудио теги	Адрес	点此
Аудио теги (WearOS)	Адрес	点此
Идентификация говорящего	Адрес	点此
Идентификация разговорного языка	Адрес	点此
Определение ключевых слов	Адрес	点此

Ссылки на готовые приложения Flutter

Распознавание речи в реальном времени

Описание	URL-адрес	中国用户
Потоковое распознавание речи	Адрес	点此

Преобразование текста в речь

Описание	URL-адрес	中国用户
Android (arm64-v8a, Armeabi-v7a, x86_64)	Адрес	点此
Линукс (х64)	Адрес	点此
macOS (x64)	Адрес	点此
macOS (арм64)	Адрес	点此
Windows (x64)	Адрес	点此

Примечание. Вам необходимо выполнить сборку из исходного кода для iOS.

Ссылки на готовые приложения Lazarus

Создание субтитров

Описание	URL-адрес	中国用户
Создать субтитры (生成字幕)	Адрес	点此

Ссылки на предварительно обученные модели

Описание	URL-адрес
Распознавание речи (речь в текст, ASR)	Адрес
Преобразование текста в речь (TTS)	Адрес
ВАД	Адрес
Определение ключевых слов	Адрес
Аудио теги	Адрес
Идентификация говорящего (Speaker ID)	Адрес
Идентификация разговорного языка (Language ID)	Посмотрите многоязычные модели Whisper ASR из приложения «Распознавание речи».
Пунктуация	Адрес
Сегментация динамиков	Адрес

Некоторые предварительно обученные модели ASR (потоковая передача)

Пожалуйста, посмотрите

https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-transducer/index.html
https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-paraformer/index.html
https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-ctc/index.html

для большего количества моделей. В следующей таблице перечислены лишь НЕКОТОРЫЕ из них.

Имя	Поддерживаемые языки	Описание
sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20	китайский, английский	См. также
sherpa-onnx-streaming-zipformer-small-bilingual-zh-en-2023-02-16	китайский, английский	См. также
sherpa-onnx-streaming-zipformer-zh-14M-2023-02-23	китайский	Подходит для процессора Cortex A7. См. также
sherpa-onnx-streaming-zipformer-en-20M-2023-02-17	Английский	Подходит для процессора Cortex A7. См. также
sherpa-onnx-streaming-zipformer-корейский-2024-06-16	корейский	См. также
sherpa-onnx-streaming-zipformer-fr-2023-04-14	Французский	См. также

Некоторые предварительно обученные модели ASR (без потоковой передачи)

Пожалуйста, посмотрите

https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-transducer/index.html
https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-paraformer/index.html
https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-ctc/index.html
https://k2-fsa.github.io/sherpa/onnx/pretrained_models/telespeech/index.html
https://k2-fsa.github.io/sherpa/onnx/pretrained_models/whisper/index.html

для большего количества моделей. В следующей таблице перечислены лишь НЕКОТОРЫЕ из них.

Имя	Поддерживаемые языки	Описание
Шепот крошечный.ru	Английский	См. также
Самогон крошечный	Английский	См. также
sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17	китайский, кантонский, английский, корейский, японский	支持多种中文方言. См. также
sherpa-onnx-paraformer-zh-2024-03-09	китайский, английский	也支持多种中文方言. См. также
sherpa-onnx-zipformer-ja-reazonspeech-2024-08-01	японский	См. также
sherpa-onnx-nemo-transducer-giga-am-russian-2024-10-24	Русский	См. также
sherpa-onnx-nemo-ctc-giga-am-russian-2024-10-24	Русский	См. также
sherpa-onnx-zipformer-ru-2024-09-18	Русский	См. также
sherpa-onnx-zipformer-корейский-2024-06-24	корейский	См. также
sherpa-onnx-zipformer-thai-20 июня 2024 г.	тайский	См. также
sherpa-onnx-telespeech-ctc-int8-zh-2024-06-04	китайский	支持多种方言. См. также