Ende Juli dieses Jahres fand in Shanghai die zweite Chip-Konferenz der China Computer Federation (CCF) statt. Fast zweitausend in- und ausländische Experten, Wissenschaftler, Forscher und Unternehmensvertreter, die sich mit Chip-bezogener Forschung und Technologieentwicklung in den Bereichen Computer und Mikroelektronik befassen, nahmen an der Konferenz teil, um Chipdesign und EDA, neue Systemarchitektur, fehlertolerantes Computing zu diskutieren. aufkommende Computertechnik und theoretische Innovation, Technologieforschung und -entwicklung, Anwendungsdemonstration und industrielle Entwicklungsthemen in Technologie und anderen Aspekten.
Bei der „CCFTCarch Custom Computing Challenge“ (LLM-Bereitstellungsbeschleunigung für Grafikkarten der Endverbraucherklasse), die vom Architekturausschuss dieser Chipkonferenz organisiert wurde, vertraute das Forschungsteam unter der Leitung von Professor Feng Li von der Southwest Jiaotong University auf seine Exzellenz in der Kanteninferenzoptimierung von große Modelle. Hervorragende Leistung und gewann den zweiten Platz im Land.
In diesem Wettbewerb hat das Team von Feng Li eine Reihe innovativer Technologien eingeführt, um die Herausforderungen zu bewältigen, denen sich das Edge Reasoning in großen Modellen gegenübersieht, einschließlich der Operator-Fusion-Technologie. Diese Technologie reduziert das häufige Lesen und Schreiben des Videospeichers und verbessert die Recheneffizienz erheblich, indem mehrere unabhängige Rechenvorgänge zusammengeführt werden.
Laut Feng Li konnte das Team durch die Operatorfusion die Berechnungszeit erfolgreich um mehr als 80 % verkürzen und so die Nutzungseffizienz der Rechenressourcen erheblich verbessern. Darüber hinaus implementierte das Team eine Präzisionsquantisierungstechnologie, um einige Berechnungen von Gleitkommaoperationen in Festkommaoperationen umzuwandeln. Dies führt zwar zu einem gewissen Genauigkeitsverlust, erreicht aber dennoch eine deutliche Steigerung der Rechengeschwindigkeit und eine Reduzierung des Energieverbrauchs.
Feng Li betonte, dass der Erfolg dieses Wettbewerbs untrennbar mit der engen Zusammenarbeit zwischen den Teammitgliedern verbunden sei. Obwohl es den teilnehmenden Studierenden an Erfahrung im Bereich großer Modelle mangelte, zeigten sie außerordentliche Lernfähigkeit und Mut zur Erkundung. Durch die Zusammenarbeit mit internationalen Spitzenwissenschaftlern, insbesondere durch den grenzüberschreitenden Austausch mit der University of Bristol, erweiterten die Studierenden nicht nur ihren Horizont, sondern sammelten auch wertvolle Erfahrungen. Feng Li sagte: „Unsere Studenten sind sehr jung, aber sie sind voller Enthusiasmus und haben den Mut, sich Herausforderungen zu stellen. Durch umfangreiche Literaturlektüre und technische Seminare erfassten sie schnell die neuesten Entwicklungen in verwandten Bereichen und setzten theoretisches Wissen in praktische Ergebnisse um.“ "
In Bezug auf die zukünftige Entwicklungsrichtung sagte Feng Li, dass die Forschungsergebnisse des Teams mit der Weiterentwicklung der Großmodelltechnologie, insbesondere der steigenden Nachfrage nach Datenschutz und privatisierter Bereitstellung, breite Anwendungsaussichten haben werden. Beispielsweise eignen sich in Bereichen wie Finanzen, Transport und Luftfahrt viele sensible Daten nicht für die Übertragung in die Cloud zur Verarbeitung, sondern werden lokal analysiert, was eine effiziente Edge-Inference-Technologie für große Modelle erfordert. Feng Li gab bekannt, dass das Team derzeit aktiv mit einer Reihe von Unternehmen und Forschungseinrichtungen zusammenarbeitet und sich dafür einsetzt, Forschungsergebnisse auf die Schwachstellenanalyse der Netzwerksicherheit und die Big-Data-Verarbeitung im Datenverkehr anzuwenden, um die Kommerzialisierung wissenschaftlicher Forschungsergebnisse zu fördern.