Pada akhir Juli tahun ini, Konferensi Chip Federasi Komputer Tiongkok (CCF) kedua diadakan di Shanghai. Hampir dua ribu pakar, cendekiawan, peneliti, dan perwakilan bisnis dalam dan luar negeri yang terlibat dalam penelitian terkait chip dan pengembangan teknologi di bidang komputer dan mikroelektronika menghadiri konferensi tersebut untuk membahas desain chip dan EDA, arsitektur sistem baru, komputasi toleransi kesalahan, teknik komputer yang sedang berkembang dan inovasi teoretis, penelitian dan pengembangan teknologi, demonstrasi aplikasi dan topik pengembangan industri di bidang teknologi dan aspek lainnya.
Pada "CCFTCarch Custom Computing Challenge" (percepatan penerapan LLM untuk kartu grafis tingkat konsumen) yang diselenggarakan oleh Komite Arsitektur konferensi chip ini, tim peneliti yang dipimpin oleh Profesor Feng Li dari Universitas Southwest Jiaotong mengandalkan keunggulannya dalam optimalisasi inferensi tepi dari model besar. Performa luar biasa dan memenangkan tempat kedua di negara ini.
Dalam kompetisi ini, tim Feng Li mengadopsi serangkaian teknologi inovatif untuk mengatasi tantangan yang dihadapi oleh penalaran tepi dalam model-model besar, termasuk teknologi fusi operator. Teknologi ini mengurangi frekuensi membaca dan menulis memori video dan secara signifikan meningkatkan efisiensi komputasi dengan menggabungkan beberapa operasi komputasi independen.
Menurut Feng Li, melalui fusi operator, tim berhasil mempersingkat waktu penghitungan hingga lebih dari 80%, sehingga sangat meningkatkan efisiensi pemanfaatan sumber daya komputasi. Selain itu, tim menerapkan teknologi kuantisasi presisi untuk mengubah beberapa perhitungan dari operasi floating-point menjadi operasi fixed-point. Meskipun hal ini menyebabkan hilangnya akurasi sampai batas tertentu, hal ini masih menghasilkan peningkatan besar dalam kecepatan komputasi dan pengurangan konsumsi energi.
Feng Li menegaskan, keberhasilan kompetisi ini tidak terlepas dari eratnya kerja sama antar anggota tim. Meskipun siswa yang berpartisipasi kurang memiliki pengalaman di bidang model besar, mereka menunjukkan kemampuan belajar yang luar biasa dan keberanian untuk bereksplorasi. Melalui kerja sama dengan para sarjana internasional terkemuka, khususnya pertukaran lintas batas dengan University of Bristol, para mahasiswa tidak hanya memperluas wawasan mereka, tetapi juga mengumpulkan pengalaman berharga. Feng Li berkata: "Siswa kami masih sangat muda, tetapi mereka sangat antusias dan berani menghadapi tantangan. Melalui pembacaan literatur yang ekstensif dan seminar teknis, mereka dengan cepat memahami perkembangan terkini di bidang terkait dan mengubah pengetahuan teoretis menjadi hasil praktis. "
Berbicara tentang arah pengembangan di masa depan, Feng Li mengatakan bahwa dengan kemajuan teknologi model besar, terutama meningkatnya permintaan akan perlindungan privasi dan penerapan yang diprivatisasi, hasil penelitian tim akan memiliki prospek penerapan yang luas. Misalnya, di bidang keuangan, transportasi, dan penerbangan, banyak data sensitif yang tidak cocok untuk dikirim ke cloud untuk diproses, tetapi dianalisis secara lokal, sehingga memerlukan teknologi inferensi tepi model besar yang efisien. Feng Li mengungkapkan bahwa tim saat ini aktif bekerja sama dengan sejumlah perusahaan dan lembaga penelitian, serta berkomitmen untuk menerapkan hasil penelitian pada analisis kerentanan keamanan jaringan dan pemrosesan lalu lintas data besar untuk mendorong komersialisasi hasil penelitian ilmiah.