A finales de julio de este año, se celebró en Shanghai la segunda Conferencia de Chips de la Federación China de Computadoras (CCF). Casi dos mil expertos, académicos, investigadores y representantes empresariales nacionales y extranjeros dedicados a la investigación y el desarrollo de tecnología relacionados con chips en los campos de la informática y la microelectrónica asistieron a la conferencia para discutir el diseño de chips y EDA, la nueva arquitectura de sistemas, la informática tolerante a fallos, Ingeniería informática emergente e innovación teórica, investigación y desarrollo de tecnología, demostración de aplicaciones y temas de desarrollo industrial en tecnología y otros aspectos.
En el "CCFTCarch Custom Computing Challenge" (aceleración de implementación de LLM para tarjetas gráficas de consumo) organizado por el Comité de Arquitectura de esta conferencia de chips, el equipo de investigación dirigido por el profesor Feng Li de la Universidad Southwest Jiaotong confió en su excelencia en la optimización de la inferencia de borde de modelos grandes Excelente desempeño y obtuvo el segundo lugar en el país.
En esta competencia, el equipo de Feng Li adoptó una serie de tecnologías innovadoras para abordar los desafíos que enfrenta el razonamiento de vanguardia en modelos grandes, incluida la tecnología de fusión de operadores. Esta tecnología reduce la lectura y escritura frecuentes de la memoria de video y mejora significativamente la eficiencia informática al fusionar múltiples operaciones informáticas independientes.
Según Feng Li, a través de la fusión de operadores, el equipo acortó con éxito el tiempo de cálculo en más del 80%, mejorando en gran medida la eficiencia de utilización de los recursos informáticos. Además, el equipo implementó tecnología de cuantificación de precisión para convertir algunos cálculos de operaciones de punto flotante a operaciones de punto fijo. Aunque esto provoca una cierta pérdida de precisión, aún así se consigue un aumento sustancial de la velocidad de cálculo y una reducción del consumo de energía.
Feng Li enfatizó que el éxito de esta competencia es inseparable de la estrecha cooperación entre los miembros del equipo. Aunque los estudiantes participantes carecían de experiencia en el campo de los modelos grandes, demostraron una extraordinaria capacidad de aprendizaje y coraje para explorar. A través de la cooperación con los mejores académicos internacionales, especialmente los intercambios transfronterizos con la Universidad de Bristol, los estudiantes no sólo ampliaron sus horizontes, sino que también acumularon una valiosa experiencia. Feng Li dijo: "Nuestros estudiantes son muy jóvenes, pero están llenos de entusiasmo y tienen el coraje de enfrentar desafíos. A través de extensas lecturas de literatura y seminarios técnicos, rápidamente captaron los últimos avances en campos relacionados y transformaron el conocimiento teórico en resultados prácticos. "
Hablando sobre la dirección del desarrollo futuro, Feng Li dijo que con el avance de la tecnología de modelos grandes, especialmente la creciente demanda de protección de la privacidad y la implementación privatizada, los resultados de la investigación del equipo tendrán amplias perspectivas de aplicación. Por ejemplo, en campos como las finanzas, el transporte y la aviación, muchos datos confidenciales no son adecuados para su transmisión a la nube para su procesamiento, sino que se analizan localmente, lo que requiere una tecnología eficiente de inferencia de borde de modelos grandes. Feng Li reveló que el equipo actualmente coopera activamente con varias empresas e instituciones de investigación y está comprometido a aplicar los resultados de la investigación al análisis de vulnerabilidades de seguridad de la red y al procesamiento de big data del tráfico para promover la comercialización de los resultados de la investigación científica.