인공 지능 분야에서 효율적인 모델 추론이 필수적입니다. 개발자는 다양한 하드웨어 플랫폼에서 대형 언어 모델을 실행하는 방법을 지속적으로 탐색하고 있습니다. 최근 개발자 인 Andrei David는 놀라운 성과를 거두었습니다. 그는 Meta Ai Llama 2 모델을 거의 20 년 동안의 Xbox 360 게임 콘솔에 성공적으로 이식하여 새로운 가능성을 제공합니다. 이는 PowerPC 아키텍처, 메모리 제한 및 엔디 언 변환과 같은 많은 도전을 극복했으며 낮은 리소스 환경에서 대형 언어 모델을 실행하는 데 귀중한 경험을 제공합니다.
오늘날 인공 지능 기술의 빠른 개발로 다양한 하드웨어에서 효율적인 모델 추론을 달성하는 방법은 개발자에게 중요한 과제가되었습니다. 최근 개발자 인 Andrei David는 거의 20 년의 Xbox360 게임 콘솔에서 영감을 얻었습니다.
David는 소셜 미디어 플랫폼 X에서 자신의 업적을 공유하여 자신이 직면 한 도전이 크다고 말했습니다. Xbox360의 PowerPC CPU는 Big-Endian 아키텍처를 사용합니다. 즉, 모델 구성과 가중치가로드되면 많은 엔디 언 변환이 수행되어야합니다. 또한 David는 이러한 노화 하드웨어에서 원활하게 작동 할 수 있도록 원래 코드의 깊이로 조정 및 최적화해야합니다.
메모리 관리는 또한 그가 해결해야 할 주요 문제입니다. LLAMA2 모델의 크기는 60MB에 도달하고 Xbox360의 메모리 아키텍처는 통합 메모리이므로 CPU 및 GPU가 동일한 메모리를 공유해야합니다. 이것은 메모리를 설계 할 때 David를 매우 신중하게 만듭니다. 그는 Xbox360의 메모리 한계가 당시에는 매우 앞으로 나아 갔지만 아키텍처는 매우 앞으로 나아 갔으며 현대 게임 콘솔과 APU의 표준 메모리 관리 기술을 나타냅니다.
코딩 및 최적화를 반복 한 후 David는 마침내 Xbox360에서 LLAMA2 모델을 성공적으로 실행했습니다. "Sleeping Joe Say". LLAMA2 모델에는 700 행의 C 코드가 있고 외부 의존성이 없으므로 특정 필드의 사용자 정의 하에서 "놀라운"강력한 성능을 보여줍니다.
다른 개발자들에게 David의 성공은 그들에게 새로운 방향을 주었다. 일부 사용자는 Xbox360의 512MB 메모리가 얼굴을 껴안는 Smollm과 같은 다른 소규모 LLM의 구현을 지원할 수 있다고 제안했습니다. David는 이것을 환영합니다. 앞으로 Xbox360에서 LLM에 대한 더 많은 실험 결과를 볼 수 있습니다.
David의 성공적인 사례는 개발자에게 새로운 아이디어와 영감을 제공하며, 이는 자원이 제한된 장치에서도 영리한 최적화 및 코드 조정을 통해 대형 언어 모델을 실행할 수 있음을 증명합니다. 이는 Edge Computing 분야에서 인공 지능 기술의 추가 개발을 촉진 할뿐만 아니라 향후보다 혁신적인 응용 분야를위한 무제한 가능성을 제공합니다. 앞으로 우리는 더 비슷한 혁신을보고 인공 지능 기술을 더 넓은 범위의 응용 시나리오로 가져 오기를 기대합니다.