인공 지능의 급속한 발전으로 인해 기업은 AI 애플리케이션을 적극적으로 탐색하게 되었습니다. 그러나 AI 모델을 프로덕션 환경에 배포하는 데는 많은 어려움이 따릅니다. 통계에 따르면 생성 AI 파일럿 프로젝트의 최대 90%가 생산 단계에 진입하는 데 어려움을 겪고 있으며 조정 문제가 주요 병목 현상이 되었습니다. Downcodes의 편집자는 Simplismart AI가 어떻게 이러한 업계 문제를 해결하고 엔드투엔드 기계 학습 운영 플랫폼을 통해 놀라운 결과를 달성하는지 설명합니다.
오늘날 인공지능(AI)의 급속한 발전 시대에 주요 기업들은 더 높은 투자 수익을 얻기 위해 AI 기술을 생산 환경에 적용하는 데 총력을 기울이고 있습니다. 그러나 시장에 다양한 고급 AI 모델이 있음에도 불구하고 팀은 이를 배포할 때 여전히 많은 어려움에 직면합니다.
Everest Group의 CEO인 Peter Bendor-Samuel은 생성 AI 파일럿 프로젝트의 90%가 생산에 들어가지 못할 것이라고 추정합니다. 또한 Gartner는 2025년 말까지 많은 생성 AI 프로젝트가 개념 증명 이후 폐기될 수 있다고 예측합니다.
이러한 과제 중 가장 큰 장애물은 조정입니다. 팀에는 모든 작업을 수행할 리소스가 부족하여 엄격하고 값비싼 타사 API에 의존해야 하는 경우가 많습니다. 이러한 격차를 메우기 위해 Simplismart AI는 최근 모델 미세 조정에서 배포 및 모니터링에 이르기까지 전체 조정 프로세스를 가속화하도록 설계된 엔드투엔드 기계 학습 운영 플랫폼을 출시하기 위해 700만 달러의 자금을 모금했습니다.
Simplismart가 시중의 다른 기계 학습 운영 솔루션과 차별화되는 점은 개인화된 소프트웨어에 최적화된 추론 엔진입니다. 엔진은 모델을 매우 빠르게 배포하여 성능을 크게 향상시키고 관련 비용을 절감할 수 있습니다. Simplismart의 공동 창립자인 Amitranshu Jain은 하드웨어 최적화 없이 Llama3.18B 모델의 처리량이 초당 501개 토큰에 도달하여 다른 추론 엔진을 훨씬 능가한다고 말했습니다.
AI를 내부적으로 배포할 때 팀은 컴퓨팅 성능 확보, 모델 성능 최적화, 인프라 확장, 비용 효율성 등 여러 병목 현상에 직면해야 합니다. Simplismart의 플랫폼은 전체 작업 흐름을 표준화하여 사용자가 필요에 따라 고도로 최적화된 오픈 소스 모델을 미세 조정, 배포 및 관찰할 수 있도록 합니다.
사용자는 Simplismart의 공유 인프라를 사용하거나 자신의 컴퓨팅 리소스를 가져와 자신의 인프라와 배포를 쉽게 구성할 수 있습니다. 또한 플랫폼의 직관적인 대시보드를 통해 사용자는 GPU, 머신 유형, 확장 범위와 같은 매개변수를 설정할 수 있습니다. 또한 플랫폼은 모니터링 기능을 제공하므로 사용자는 SLA(서비스 수준 계약)를 추적하고 모델의 실제 성능을 모니터링할 수 있습니다.
현재 심플리스마트는 30개 기업 고객과 파트너십을 구축했으며, 머신러닝 운영 플랫폼의 성능을 더욱 향상시킬 계획이다. 회사는 새로운 자금 조달 라운드를 사용하여 연구 개발을 촉진하고, AI 추론 속도를 향상시키며, 향후 15개월 이내에 연간 수익을 약 100만 달러에서 1,000만 달러로 늘리기 위해 노력하기를 희망합니다.
가장 밝은 부분:
생성적 AI 파일럿 프로젝트의 90%는 조정 문제가 가장 큰 장애물로 인해 생산 단계에 진입하는 데 어려움을 겪을 것입니다.
Simplismart의 개인화된 추론 엔진은 하드웨어 최적화 없이 초당 501개의 토큰 처리량을 달성합니다.
회사는 30개 기업 고객과 협력 관계를 구축했으며 15개월 이내에 연간 매출을 천만 달러로 늘리는 것을 목표로 하고 있습니다.
Simplismart AI의 성공 사례는 AI 배포 문제를 해결하기 위한 새로운 아이디어를 제공합니다. 개인화된 추론 엔진과 엔드투엔드 플랫폼은 모델 배포의 효율성과 성능을 크게 향상시킵니다. 저는 심플리스마트가 앞으로도 AI 분야에서 계속해서 혁신을 이루고 더 많은 기업에 힘을 실어주리라 믿습니다.