올해 7월 말, 제2회 중국컴퓨터연맹(CCF) 칩 컨퍼런스가 상하이에서 열렸다. 이번 컨퍼런스에는 컴퓨터 및 마이크로일렉트로닉스 분야의 칩 관련 연구 및 기술 개발에 종사하는 국내외 전문가, 학자, 연구자, 기업 관계자 2천여 명이 참석해 칩 설계 및 EDA, 새로운 시스템 아키텍처, 내결함성 컴퓨팅, 신흥 컴퓨터 공학 및 이론 혁신, 기술 연구 및 개발, 응용 시연 및 기술 및 기타 측면의 산업 개발 주제.
이번 칩 컨퍼런스의 아키텍처 위원회가 주최한 "CCFTCarch 맞춤형 컴퓨팅 챌린지"(소비자급 그래픽 카드를 위한 LLM 배포 가속)에서 남서교통대학교 Feng Li 교수가 이끄는 연구팀은 에지 추론 최적화의 우수성에 의존했습니다. 대형모델로 성능이 우수하여 국내 2위를 차지하였습니다.
이번 대회에서 Feng Li 팀은 운영자 융합 기술을 포함하여 대형 모델의 에지 추론이 직면한 문제를 해결하기 위해 일련의 혁신적인 기술을 채택했습니다. 이 기술은 비디오 메모리의 빈번한 읽기 및 쓰기를 줄이고 여러 개의 독립적인 컴퓨팅 작업을 병합하여 컴퓨팅 효율성을 크게 향상시킵니다.
Feng Li에 따르면 팀은 연산자 융합을 통해 계산 시간을 80% 이상 단축하는 데 성공했으며 컴퓨팅 리소스의 활용 효율성을 크게 향상시켰습니다. 또한 팀은 일부 계산을 부동 소수점 연산에서 고정 소수점 연산으로 변환하기 위해 정밀 양자화 기술을 구현했습니다. 이로 인해 어느 정도 정확도가 떨어지지만 여전히 컴퓨팅 속도가 크게 향상되고 에너지 소비가 줄어듭니다.
Feng Li는 이번 대회의 성공은 팀원 간의 긴밀한 협력과 불가분의 관계에 있다고 강조했습니다. 참가한 학생들은 대형 모형 분야에 대한 경험이 부족했음에도 불구하고 남다른 학습 능력과 탐구에 대한 용기를 보여주었습니다. 최고의 국제 학자들과의 협력, 특히 브리스톨 대학교와의 국경 간 교류를 통해 학생들은 시야를 넓혔을 뿐만 아니라 귀중한 경험을 축적했습니다. Feng Li는 다음과 같이 말했습니다: "우리 학생들은 매우 어리지만 열정이 넘치고 도전에 직면할 용기가 있습니다. 광범위한 문헌 읽기와 기술 세미나를 통해 그들은 관련 분야의 최신 발전을 빠르게 파악하고 이론적 지식을 실제 결과로 전환했습니다. "
Feng Li는 향후 개발 방향에 대해 이야기하면서 대형 모델 기술의 발전, 특히 개인 정보 보호 및 민영화 배포에 대한 수요 증가로 인해 팀의 연구 결과가 광범위한 응용 가능성을 갖게 될 것이라고 말했습니다. 예를 들어 금융, 교통, 항공 등의 분야에서는 많은 민감한 데이터가 클라우드로 전송되어 처리되기에 적합하지 않고 로컬에서 분석되므로 효율적인 대형 모델 에지 추론 기술이 필요합니다. Feng Li는 팀이 현재 여러 기업 및 연구 기관과 적극적으로 협력하고 있으며, 연구 결과를 네트워크 보안 취약성 분석 및 트래픽 빅데이터 처리에 적용하여 과학 연구 결과의 상용화를 촉진하는 데 전념하고 있다고 밝혔습니다.