Лаборатория IPADS Шанхайского университета Цзяо Тонг недавно выпустила платформу PowerInfer. Это революционное достижение значительно повысило эффективность работы больших языковых моделей на оборудовании потребительского уровня. Платформа PowerInfer может увеличить скорость вывода 80GA100 в 11 раз, не требуя квантования модели и сохраняя точность FP16. Это означает, что запуск больших языковых моделей на персональных компьютерах больше не является далекой мечтой, обеспечивая мощную техническую поддержку для популяризации и применения больших моделей.
Лаборатория IPADS Шанхайского университета Цзяо Тонг выпустила платформу PowerInfer, которая увеличивает скорость живого вывода 80GA100 в 11 раз без необходимости количественного анализа. Использование точности FP16 для решения проблем, связанных с запуском больших моделей на персональных компьютерах. PowerInfer был тепло встречен и представляет собой новое решение для применения больших моделей на оборудовании потребительского уровня.
Выпуск фреймворка PowerInfer решает проблему медленной скорости работы больших моделей на персональных компьютерах, знаменуя собой шаг к более удобному и обширному этапу применения больших моделей. Его эффективность и удобство будут во многом способствовать применению и развитию технологий больших моделей, предоставляя более богатый опыт и более широкие возможности отдельным пользователям и разработчикам.