Fin juillet de cette année, la deuxième conférence sur les puces de la China Computer Federation (CCF) s'est tenue à Shanghai. Près de deux mille experts, universitaires, chercheurs et représentants d'entreprises nationaux et étrangers engagés dans la recherche et le développement technologique liés aux puces dans les domaines de l'informatique et de la microélectronique ont assisté à la conférence pour discuter de la conception des puces et de l'EDA, de la nouvelle architecture système, de l'informatique tolérante aux pannes, L'ingénierie informatique émergente et l'innovation théorique, la recherche et le développement technologique, la démonstration d'applications et les sujets de développement industriel dans le domaine de la technologie et d'autres aspects.
Lors du « CCFTCarch Custom Computing Challenge » (accélération du déploiement LLM pour les cartes graphiques grand public) organisé par le comité d'architecture de cette conférence sur les puces, l'équipe de recherche dirigée par le professeur Feng Li de l'université Southwest Jiaotong s'est appuyée sur son excellence en matière d'optimisation de l'inférence de bord des grands modèles. Excellentes performances et a remporté la deuxième place dans le pays.
Dans ce concours, l'équipe de Feng Li a adopté une série de technologies innovantes pour relever les défis rencontrés par le raisonnement de pointe dans les grands modèles, notamment la technologie de fusion par opérateurs. Cette technologie réduit les lectures et écritures fréquentes de la mémoire vidéo et améliore considérablement l'efficacité informatique en fusionnant plusieurs opérations informatiques indépendantes.
Selon Feng Li, grâce à la fusion des opérateurs, l'équipe a réussi à réduire le temps de calcul de plus de 80 %, améliorant considérablement l'efficacité d'utilisation des ressources informatiques. En outre, l’équipe a mis en œuvre une technologie de quantification de précision pour convertir certains calculs d’opérations à virgule flottante en opérations à virgule fixe. Même si cela entraîne dans une certaine mesure une perte de précision, cela permet néanmoins d'augmenter considérablement la vitesse de calcul et de réduire la consommation d'énergie.
Feng Li a souligné que le succès de cette compétition est indissociable de l'étroite coopération entre les membres de l'équipe. Même si les étudiants participants manquaient d’expérience dans le domaine des grands modèles, ils ont fait preuve d’une capacité d’apprentissage extraordinaire et d’un courage d’exploration. Grâce à la coopération avec des universitaires internationaux de premier plan, notamment grâce aux échanges transfrontaliers avec l'Université de Bristol, les étudiants ont non seulement élargi leurs horizons, mais ont également accumulé une expérience précieuse. Feng Li a déclaré : « Nos étudiants sont très jeunes, mais ils sont pleins d'enthousiasme et ont le courage de relever les défis. Grâce à des lectures approfondies de la littérature et des séminaires techniques, ils ont rapidement saisi les derniers développements dans des domaines connexes et ont transformé leurs connaissances théoriques en résultats pratiques. "
Parlant de l'orientation future du développement, Feng Li a déclaré qu'avec l'avancement de la technologie des grands modèles, en particulier la demande croissante de protection de la vie privée et de déploiement privatisé, les résultats de recherche de l'équipe auront de larges perspectives d'application. Par exemple, dans des domaines tels que la finance, les transports et l'aviation, de nombreuses données sensibles ne peuvent pas être transmises vers le cloud pour être traitées, mais sont analysées localement, ce qui nécessite une technologie efficace d'inférence périphérique à grand modèle. Feng Li a révélé que l'équipe coopère actuellement activement avec un certain nombre d'entreprises et d'institutions de recherche et s'engage à appliquer les résultats de la recherche à l'analyse des vulnérabilités de sécurité des réseaux et au traitement du Big Data afin de promouvoir la commercialisation des résultats de la recherche scientifique.