Аньхойский инженерный университет, Наньянский технологический университет и Университет Лихай совместно запустили привлекательную мультимодальную большую модель — TinyGPT-V. Примечательной особенностью этой модели является ее удивительная экономичность: ее производительность сравнима с моделями с десятками миллиардов параметров, но для завершения обучения ей требуется только 24G GPU, что значительно снижает порог ресурса. Это, несомненно, большое преимущество для отдельных лиц и учреждений, которые хотят проводить крупномасштабные модельные исследования и приложения с ограниченными ресурсами. Архитектура TinyGPT-V в основном состоит из большой языковой модели Phi-2, визуального кодировщика и уровня линейной проекции. Результаты оценки производительности под разными углами также демонстрируют его сильные стороны в различных задачах визуального языка.
Исследователи из Аньхойского инженерного университета, Наньянского технологического университета и Университета Лихай открыли исходный код большой мультимодальной модели — TinyGPT-V. Ее производительность сравнима с моделями с десятками миллиардов параметров, а для обучения требуется только графический процессор 24G. TinyGPT-V в основном состоит из трех основных блоков: большой языковой модели Phi-2, визуального кодировщика и уровня линейной проекции. Исследователи провели многостороннюю оценку производительности TinyGPT-V, показав ее высокую производительность при выполнении множества задач визуального языка.
Открытый исходный код TinyGPT-V предоставляет новые идеи и возможности для исследования и применения мультимодальных больших моделей, а также знаменует собой значительный прогресс в снижении порога для обучения больших моделей. В будущем мы можем ожидать появления большего количества подобных высокоэффективных и недорогих крупных моделей, что будет способствовать дальнейшей популяризации и развитию технологий искусственного интеллекта. Его эффективная работа в условиях ограниченных ресурсов принесла хорошие новости как академическим кругам, так и промышленности.