mixtral offloading

mixtral offloading

이 프로젝트는 Mixtral-8x7B 모델의 효율적인 추론을 구현합니다.

어떻게 작동하나요?

요약하면 다음과 같은 기술 조합을 통해 Mixtral-8x7B 모델의 효율적인 추론을 달성합니다.

• HQQ를 사용한 혼합 양자화 . 우리는 모델을 결합된 GPU 및 CPU 메모리에 맞추기 위해 주의 계층과 전문가를 위한 별도의 양자화 방식을 적용합니다.
• MoE 오프로딩 전략 . 레이어당 각 전문가는 별도로 오프로드되고 필요할 때만 GPU로 팩을 가져옵니다. 인접한 토큰에 대한 활성화를 계산할 때 GPU-RAM 통신을 줄이기 위해 활성 전문가를 LRU 캐시에 저장합니다.

우리의 방법과 결과에 대한 자세한 내용은 기술 보고서를 참조하십시오.

달리기

이 데모를 사용해 보려면 데모 노트북(./notebooks/demo.ipynb)을 사용하거나

현재로서는 모델을 로컬로 실행하는 데 사용할 수 있는 명령줄 스크립트가 없습니다. 하지만 데모 노트북을 참고하여 만들 수 있습니다. 즉, 기여를 환영합니다!

작업 진행 중

기술 보고서에 설명된 일부 기술은 아직 이 저장소에서 사용할 수 없습니다. 그러나 우리는 가까운 시일 내에 이에 대한 지원을 추가하기 위해 적극적으로 노력하고 있습니다.

앞으로 제공될 기능 중 일부는 다음과 같습니다.

• 다른 양자화 방법 지원
• 추측에 기반한 전문가 프리페치