Startup Pipeshift запустила новую сквозную платформу, предназначенную для более эффективной помощи предприятиям, развернуть и масштабировать генеративные модели искусственного интеллекта с открытым исходным кодом. Платформа совместима с различными облачными средами и локальными графическими процессорами, значительно улучшая скорость вывода и снижение затрат, решая проблему эффективного переключения между несколькими моделями предприятиями. Он принимает модульную фондовую структуру двигателя двигателя, которая позволяет гибко комбинации различных компонентов вывода для оптимизации производительности вывода без утомительной инженерной работы. Это, несомненно, является большой выгодой для предприятий, сталкивающихся с проблемами в развертывании и управлении моделями ИИ.
Недавно стартап Pipeshift запустил новую сквозную платформу, предназначенную для более эффективной помощи предприятиям, развертыванию и масштабированию с открытым исходным кодом. Платформа не только работает в какой-либо облачной среде или локальном графическом процессоре, но и значительно улучшает скорость вывода и снижает затраты.
Благодаря быстрому развитию технологии искусственного интеллекта многие компании сталкиваются с проблемой эффективного переключения между несколькими моделями. Традиционно, команды должны создать сложную систему MLOPS, которая включает в себя несколько ссылок, таких как приобретение вычислительных ресурсов, модельная подготовка, точная настройка и развертывание уровня производства. Управление инфраструктурой.
Arko Chattopadhyay, соучредитель и генеральный директор Pipeshift, отметил, что разработка гибкого модульного двигателя рассуждений часто требует многолетнего опыта, а решения Pipeshift предназначены для упрощения этого процесса с помощью его модульного двигателя рассуждений. Платформа использует структуру, называемую Magic (модульная архитектура кластера GPU), которая позволяет командам гибко объединять различные компоненты вывода в соответствии с конкретными требованиями к рабочей нагрузке, тем самым оптимизируя производительность вывода без необходимости громоздкой техники.
Например, розничная компания Fortune 500, после использования платформы Pipeshift, интегрирует четыре модели, которые первоначально потребовали четыре независимых экземпляра GPU для выполнения одного экземпляра GPU. Таким образом, компания не только достигла пятикратного увеличения скорости рассуждений, но и снизила затраты на инфраструктуру на 60%. Это достижение позволяет компаниям оставаться конкурентоспособными на быстро растущем рынке.
Pipeshift достиг ежегодных соглашений о лицензировании с 30 компаниями и планирует запустить инструменты, чтобы помочь группам создавать и масштабировать наборы данных в будущем. Это еще больше ускорит процесс эксперимента и подготовки данных и повысит производительность клиентов.
Официальный вход: https://pipeshift.com/
Очки:
Модульный двигатель Pipeshift может значительно сократить использование графического процессора по выводу ИИ и снизить затраты до 60%.
Через магическую структуру предприятия могут быстро объединить компоненты вывода, улучшить скорость вывода и снизить инженерную нагрузку.
Pipeshift сотрудничает с несколькими компаниями и в будущем выпустит больше инструментов, чтобы помочь компаниям более эффективно управлять рабочими нагрузками искусственного интеллекта.
Благодаря его эффективным, гибким и экономически эффективным характеристикам платформа Pipeshift предоставляет предприятиям эффективное решение для упрощения развертывания и управления моделями ИИ, на что стоит обратить внимание. Его будущее развитие и запуск новых инструментов также стоит ожидать.