В конце июля этого года в Шанхае прошла вторая конференция Китайской компьютерной федерации (CCF) по чипам. Около двух тысяч отечественных и зарубежных экспертов, ученых, исследователей и представителей бизнеса, занимающихся исследованиями в области микросхем и разработкой технологий в области компьютеров и микроэлектроники, приняли участие в конференции, чтобы обсудить проектирование микросхем и EDA, новую системную архитектуру, отказоустойчивые вычисления, новые компьютерные разработки и теоретические инновации, технологические исследования и разработки, демонстрация приложений и темы промышленного развития в области технологий и других аспектов.
На мероприятии «CCFTCarch Custom Computing Challenge» (ускорение развертывания LLM для видеокарт потребительского уровня), организованном Комитетом по архитектуре этой конференции по микросхемам, исследовательская группа под руководством профессора Фэн Ли из Юго-Западного университета Цзяотун полагалась на свои достижения в оптимизации вывода краев большие модели показали отличные результаты и заняли второе место в стране.
В этом соревновании команда Фэн Ли применила ряд инновационных технологий для решения проблем, с которыми сталкиваются рассуждения о краях в больших моделях, включая технологию объединения операторов. Эта технология уменьшает частое чтение и запись видеопамяти и значительно повышает эффективность вычислений за счет объединения нескольких независимых вычислительных операций.
По словам Фэн Ли, благодаря объединению операторов команда успешно сократила время вычислений более чем на 80%, значительно повысив эффективность использования вычислительных ресурсов. Кроме того, команда внедрила технологию прецизионного квантования для преобразования некоторых вычислений из операций с плавающей запятой в операции с фиксированной запятой. Хотя это и приводит к определенной потере точности, все же достигается существенное увеличение скорости вычислений и снижение энергопотребления.
Фэн Ли подчеркнул, что успех этого конкурса неотделим от тесного сотрудничества между членами команды. Хотя участвующим студентам не хватало опыта в области создания больших моделей, они проявили исключительные способности к обучению и смелость к исследованиям. Благодаря сотрудничеству с ведущими международными учеными, особенно благодаря трансграничному обмену с Бристольским университетом, студенты не только расширили свой кругозор, но и накопили ценный опыт. Фэн Ли сказал: «Наши студенты очень молоды, но они полны энтузиазма и имеют смелость решать проблемы. Благодаря обширному чтению литературы и техническим семинарам они быстро усвоили последние разработки в смежных областях и превратили теоретические знания в практические результаты. "
Говоря о будущем направлении развития, Фэн Ли сказал, что с развитием технологий больших моделей, особенно с растущим спросом на защиту конфиденциальности и приватизированное развертывание, результаты исследований группы будут иметь широкие перспективы применения. Например, в таких областях, как финансы, транспорт и авиация, многие конфиденциальные данные не подходят для передачи в облако для обработки, а анализируются локально, что требует эффективной технологии вывода границ большой модели. Фэн Ли сообщил, что в настоящее время команда активно сотрудничает с рядом компаний и исследовательских институтов и стремится применять результаты исследований для анализа уязвимостей сетевой безопасности и обработки больших данных трафика, чтобы способствовать коммерциализации результатов научных исследований.