Hugging Face и NVIDIA объединяют усилия, чтобы запустить революционную услугу «Вывод как услуга», которая использует технологию NVIDIA NIM для значительного ускорения развертывания и прототипирования моделей искусственного интеллекта. Сервис был официально представлен на конференции SIGGRAPH2024, что ознаменовало значительное повышение эффективности развертывания моделей ИИ. Разработчики могут легко получать доступ и развертывать мощные модели искусственного интеллекта с открытым исходным кодом, такие как модели искусственного интеллекта Llama2 и Mistral, через Hugging Face Hub, а микросервисы NVIDIA NIM обеспечивают оптимальную производительность этих моделей.
Недавно платформа с открытым исходным кодом Hugging Face и NVIDIA анонсировали новый потрясающий сервис — Inference-as-a-Service, который будет основан на технологии NVIDIA NIM. Запуск нового сервиса позволяет разработчикам быстрее создавать прототипы, использовать модели искусственного интеллекта с открытым исходным кодом, представленные в Hugging Face Hub, и эффективно их развертывать.
Об этой новости было объявлено на проходящей конференции SIGGRAPH2024. Эта конференция собрала большое количество экспертов в области компьютерной графики и интерактивных технологий. Тогда же было объявлено о сотрудничестве NVIDIA и Hugging Face, которое открыло новые возможности для разработчиков. С помощью этого сервиса разработчики могут легко развертывать мощные модели больших языков (LLM), такие как модели искусственного интеллекта Llama2 и Mistral, а микросервисы NVIDIA NIM обеспечивают оптимизацию этих моделей.
В частности, при доступе как NIM модель Llama3 с 7 миллиардами параметров может обрабатываться в пять раз быстрее, чем при развертывании на стандартной системе графического процессора NVIDIA H100 с тензорными ядрами, что, несомненно, является огромным улучшением. Кроме того, эта новая услуга также поддерживает «Поезд в облаке DGX» (Train on DGX Cloud), который в настоящее время доступен на Hugging Face.
NIM от NVIDIA — это набор микросервисов искусственного интеллекта, оптимизированных для вывода, охватывающих базовые модели искусственного интеллекта NVIDIA и модели сообщества с открытым исходным кодом. Это значительно повышает эффективность обработки токенов с помощью стандартных API и расширяет инфраструктуру NVIDIA DGX Cloud, ускоряя скорость отклика и стабильность приложений искусственного интеллекта.
Облачная платформа NVIDIA DGX специально создана для генеративного искусственного интеллекта и предоставляет надежную и ускоренную вычислительную инфраструктуру, помогающую разработчикам перейти от прототипа к производству без долгосрочных обязательств. Сотрудничество между Hugging Face и NVIDIA будет способствовать дальнейшему укреплению сообщества разработчиков, и Hugging Face также недавно объявила, что ее команда добилась прибыльности, достигнув размера команды в 220 человек, и запустила серию небольших языковых моделей SmolLM.
Основные моменты:
Hugging Face и NVIDIA запускают услугу «вывод как услуга», чтобы повысить эффективность обработки токенов моделей искусственного интеллекта в пять раз.
Новый сервис поддерживает быстрое развертывание мощных моделей LLM и оптимизирует процесс разработки.
Облачная платформа NVIDIA DGX обеспечивает ускоренную инфраструктуру для генеративного искусственного интеллекта, упрощая производственный процесс для разработчиков.
Сотрудничество Hugging Face и NVIDIA предоставляет разработчикам ИИ эффективную и удобную среду для развертывания и обучения моделей посредством вывода как услуги и облачной платформы NVIDIA DGX, что значительно снижает порог разработки приложений ИИ и ускоряет применение технологий ИИ. способствовал энергичному развитию индустрии искусственного интеллекта.