O Laboratório IPADS da Universidade Jiao Tong de Xangai lançou recentemente a estrutura PowerInfer. Essa conquista inovadora melhorou significativamente a eficiência operacional de grandes modelos de linguagem em hardware de consumo. A estrutura PowerInfer pode aumentar a velocidade de inferência do 80GA100 em 11 vezes sem exigir quantização do modelo e manter a precisão do FP16. Isso significa que rodar grandes modelos de linguagem em computadores pessoais não é mais um sonho distante, proporcionando forte suporte técnico para a popularização e aplicação de grandes modelos.
O Laboratório IPADS da Universidade Jiao Tong de Xangai lançou a estrutura PowerInfer, que aumenta a velocidade da inferência ao vivo do 80GA100 em 11 vezes, sem a necessidade de quantificação. Usando a precisão do FP16 para resolver o gargalo da execução de modelos grandes em computadores pessoais. PowerInfer foi calorosamente recebido e fornece uma nova solução para a aplicação de modelos grandes em hardware de consumo.
O lançamento do framework PowerInfer resolve o problema da lenta velocidade de execução de grandes modelos em computadores pessoais, marcando um passo em direção a um estágio mais conveniente e extenso para a aplicação de grandes modelos. Sua eficiência e conveniência promoverão enormemente a aplicação e o desenvolvimento de tecnologia de grandes modelos, trazendo experiências mais ricas e possibilidades mais amplas para usuários e desenvolvedores individuais.