Startup Pipeshift는 기업이 오픈 소스 생성 AI 모델을보다 효율적으로 훈련, 배포 및 확장하고 확장하도록 설계된 새로운 엔드 투 엔드 플랫폼을 시작했습니다. 이 플랫폼은 다양한 클라우드 환경 및 온-프레미스 GPU와 호환되며 추론 속도를 크게 향상시키고 비용을 줄이고 엔터프라이즈의 여러 모델 간의 효율적인 전환 문제를 해결합니다. 모듈 식 추론 엔진 매직 프레임 워크를 채택하여 다양한 추론 구성 요소의 유연한 조합으로 지루한 엔지니어링 작업없이 추론 성능을 최적화 할 수 있습니다. 이것은 의심 할 여지없이 AI 모델을 배포하고 관리하는 데 어려움을 겪고있는 기업에게 큰 이점입니다.
최근 Startup Pipeshift는 기업이 오픈 소스 생성 AI 모델을보다 효율적으로 훈련, 배치 및 확장하고 확장하도록 설계된 새로운 엔드 투 엔드 플랫폼을 시작했습니다. 이 플랫폼은 클라우드 환경이나 온 프레미스 GPU에서 실행될뿐만 아니라 추론 속도를 크게 향상시키고 비용을 줄입니다.
AI 기술의 빠른 개발로 많은 회사들이 여러 모델간에 효율적으로 전환하는 방법에 대한 도전에 직면하고 있습니다. 전통적으로 팀은 컴퓨팅 리소스 획득, 모델 교육, 미세 조정 및 생산 수준 배포와 같은 여러 링크를 포함하는 복잡한 MLOPS 시스템을 구축해야합니다. 인프라 관리 비용이 증가하고 있습니다.
Pipeshift의 공동 창립자이자 CEO 인 Arko Chattopadhyay는 유연한 모듈 식 추론 엔진을 개발하는 데 종종 수년간의 경험이 필요하며 Pipeshift의 솔루션은 모듈 식 추론 엔진 으로이 프로세스를 단순화하도록 설계되었다고 언급했습니다. 이 플랫폼은 Magic (GPU 추론 클러스터 모듈 식 아키텍처)이라는 프레임 워크를 채택하여 팀이 특정 워크로드 요구 사항에 따라 다양한 추론 구성 요소를 유연하게 결합하여 번거로운 엔지니어링없이 추론 성능을 최적화 할 수 있습니다.
예를 들어, Fortune 500 Retail Company는 Pipeshift 플랫폼을 사용한 후 원래 4 개의 독립 GPU 인스턴스가 단일 GPU 인스턴스로 실행되는 4 가지 모델을 통합합니다. 이러한 방식으로 회사는 추론 속도가 5 배 증가했을뿐만 아니라 인프라 비용을 60%감소 시켰습니다. 이 성과를 통해 기업은 빠르게 성장하는 시장에서 경쟁력을 유지할 수 있습니다.
Pipeshift는 30 개의 회사와 연간 라이센스 계약에 도달했으며 팀이 향후 데이터 세트를 구축하고 확장 할 수 있도록 도구를 시작할 계획입니다. 이를 통해 실험 및 데이터 준비 프로세스를 더욱 가속화하고 고객 생산성을 향상시킵니다.
공식 입구 : https://pipeshift.com/
전철기:
Pipeshift의 모듈 식 추론 엔진은 AI 추론의 GPU 사용량을 크게 줄이고 비용을 최대 60%줄일 수 있습니다.
Magic Framework를 통해 기업은 추론 구성 요소를 신속하게 결합하고 추론 속도를 개선하며 엔지니어링 부담을 줄일 수 있습니다.
Pipeshift는 여러 회사와 파트너 관계를 맺었으며 앞으로 회사가 AI 워크로드를보다 효율적으로 관리 할 수 있도록 더 많은 도구를 시작할 것입니다.
Pipeshift 플랫폼은 효율적이고 유연하며 비용 효율적인 특성을 갖춘 AI 모델의 배포 및 관리를 단순화하기위한 효과적인 솔루션을 제공합니다. 미래의 개발과 새로운 도구의 출시도 기대할 가치가 있습니다.