No final de julho deste ano, a segunda Conferência de Chips da Federação de Computação da China (CCF) foi realizada em Xangai. Quase dois mil especialistas, acadêmicos, pesquisadores e representantes empresariais nacionais e estrangeiros envolvidos em pesquisa relacionada a chips e desenvolvimento de tecnologia nas áreas de informática e microeletrônica participaram da conferência para discutir design de chips e EDA, nova arquitetura de sistema, computação tolerante a falhas, engenharia de computação emergente e inovação teórica, pesquisa e desenvolvimento tecnológico, demonstração de aplicações e tópicos de desenvolvimento industrial em tecnologia e outros aspectos.
No "CCFTCarch Custom Computing Challenge" (aceleração de implantação LLM para placas gráficas de consumo) organizado pelo Comitê de Arquitetura desta conferência de chips, a equipe de pesquisa liderada pelo Professor Feng Li da Southwest Jiaotong University confiou em sua excelência em otimização de inferência de borda de modelos grandes. Excelente desempenho e conquistou o segundo lugar no país.
Nesta competição, a equipe de Feng Li adotou uma série de tecnologias inovadoras para enfrentar os desafios enfrentados pelo raciocínio de ponta em modelos grandes, incluindo a tecnologia de fusão de operadores. Esta tecnologia reduz a leitura e gravação frequentes de memória de vídeo e melhora significativamente a eficiência computacional ao mesclar múltiplas operações computacionais independentes.
De acordo com Feng Li, por meio da fusão de operadores, a equipe reduziu com sucesso o tempo de cálculo em mais de 80%, melhorando significativamente a eficiência de utilização dos recursos computacionais. Além disso, a equipe implementou tecnologia de quantização de precisão para converter alguns cálculos de operações de ponto flutuante em operações de ponto fixo. Embora isto provoque uma perda de precisão até certo ponto, ainda consegue um aumento substancial na velocidade de computação e uma redução no consumo de energia.
Feng Li enfatizou que o sucesso desta competição é inseparável da estreita cooperação entre os membros da equipa. Embora os alunos participantes não tivessem experiência na área de grandes modelos, demonstraram extraordinária capacidade de aprendizagem e coragem para explorar. Através da cooperação com académicos internacionais de topo, especialmente intercâmbios transfronteiriços com a Universidade de Bristol, os estudantes não só alargaram os seus horizontes, mas também acumularam uma experiência valiosa. Feng Li disse: "Nossos alunos são muito jovens, mas estão cheios de entusiasmo e têm a coragem de enfrentar desafios. Através de extensa leitura de literatura e seminários técnicos, eles rapidamente compreenderam os últimos desenvolvimentos em áreas relacionadas e transformaram o conhecimento teórico em resultados práticos. "
Falando sobre a direção do desenvolvimento futuro, Feng Li disse que com o avanço da tecnologia de grandes modelos, especialmente a crescente demanda por proteção de privacidade e implantação privatizada, os resultados da pesquisa da equipe terão amplas perspectivas de aplicação. Por exemplo, em áreas como finanças, transporte e aviação, muitos dados confidenciais não são adequados para transmissão à nuvem para processamento, mas são analisados localmente, o que requer tecnologia eficiente de inferência de borda de modelos grandes. Feng Li revelou que a equipe está atualmente cooperando ativamente com diversas empresas e instituições de pesquisa e está comprometida em aplicar os resultados da pesquisa à análise de vulnerabilidades de segurança de rede e ao processamento de big data de tráfego para promover a comercialização dos resultados da pesquisa científica.