В этой статье рассматриваются восемь ключевых этапов разработки модели Beanbao с момента ее выпуска 15 мая 2024 года, демонстрируя ее замечательные характеристики в распознавании речи, создании музыки, создании видео, редактировании изображений, возможностях программирования, понимании текста, визуальном восприятии и т. д. прогресс. От первоначального прорыва в области распознавания речи до окончательной реализации универсальной модели Doubao-pro, соответствующей возможностям GPT-4, модель Doubao достигла замечательных результатов всего за 230 дней, продемонстрировав высокую техническую мощь и потенциал развития. В статье подробно описаны технологические прорывы и сценарии применения на каждом этапе, а также проиллюстрированы картинками некоторые его функции.
1. Прорывы в распознавании речи и выражении эмоцийВ июле модель Дубао добилась крупного прорыва в области распознавания речи: она может понимать смешанные разговоры на более чем 20 диалектах и обладает способностью думать во время прослушивания. Мало того, он научился выражать эмоции в разговорах, может свободно вмешиваться во взаимодействиях и даже сохраняет человеческие речевые привычки, такие как глотание и акцент. Основная технология, лежащая в основе этого, — модель распознавания речи Seed-ASR и базовая модель генерации речи Seed-TTS. Эти модели объединяют более широкий спектр данных и цепочек рассуждений, что дает им чрезвычайно сильные возможности обобщения.
В сентябре большая модель Doubao творчески реализовала концепцию «группы AI». От написания песен до исполнения и вокального пения, Doubao Master овладел более чем 10 навыками создания музыки и может привнести неожиданное вдохновение в создание музыки. В основе лежит технология Seed-Music, которая сочетает в себе преимущества языковых моделей и моделей диффузии для реализации универсальной структуры для создания музыки и обладает чрезвычайно высокой управляемостью при редактировании.
В том же месяце модель кресла-мешка еще больше раздвинула границы творения, будучи способной следовать сложным подсказкам, создавать многопредметные видеоролики высокой четкости и точно управлять углом камеры. С помощью двух моделей генерации видео, PixelDance и Seaweed, Doubao Big Model может одновременно создавать высококачественные видео и звуковые эффекты, предоставляя создателям более реалистичный и мечтательный визуальный опыт.
4. Обновление возможностей редактирования и создания изображений.В ноябре компания Doubao Big Model освоила возможности «P-изображения одним предложением» и «создания плакатов одним щелчком мыши». Пользователям нужны только простые текстовые команды для точного редактирования изображений и генерации текста. Благодаря непрерывно итеративной графовой модели Винсента SeedEdit Doubao может точно представлять сложные сцены и обеспечивать редактирование изображений на естественном языке.
5. Скачок в навыках программированияВ декабре возможности программирования Дубао значительно улучшились, и он стал программистом искусственного интеллекта и аналитиком данных. С помощью Doubao MarsCode пользователи могут легко осуществлять написание кода, обработку данных и визуальный анализ. Модель большого кода Doubao Doubao-coder глубоко поддерживает 16 языков программирования и может удовлетворить потребности полнофункционального программирования, такого как интерфейсная и серверная разработка, а также машинное обучение.
6. Экстремальные возможности понимания и обработки текста.Большая модель Doubao также преодолевает ограничения контекстного окна, увеличивая его до 3 миллионов слов, способных обрабатывать более крупный текст и с задержкой обработки всего 15 секунд на миллион токенов. Благодаря алгоритмам связанных данных, таким как STRING, большая модель Beanbao может быстро получить обширные внешние знания и обеспечить более точное понимание.
7. Прорывы в визуальном восприятии и глубоком мышленииВ середине декабря большая модель кресла-мешка обрела зрительное восприятие и смогла объединить несколько чувств для более глубокого мышления. Он может не только точно понимать изображения, но и выполнять сложные операции, например, фотографировать математическую задачу, демонстрируя свои превосходные возможности кросс-модального обучения и рассуждения.
8. Полностью модернизированная общая модель Doubao-pro.В середине декабря генеральная модель Doubao Doubao-pro была полностью модернизирована, ее возможности были полностью приведены в соответствие с GPT-4, и она научилась «размышлять» в процессе ответа. Это обновление повышает точность понимания и качество генерации Doubao-pro, делая его эффективным «шестиугольным воином» со сбалансированной производительностью в различных способностях и становясь еще одним эталоном в области искусственного интеллекта.
В этом году команда Doubao Big Model добилась значительного прогресса в фундаментальных исследованиях в области искусственного интеллекта. Команда опубликовала 57 статей и выступала на ведущих конференциях, таких как ICLR, CVPR и NeurIPS. Кроме того, команда Doubao Big Model тесно сотрудничает со многими ведущими университетами и создала совместные лаборатории для содействия развитию технологий искусственного интеллекта.
Большая модель кресла-мешка — это не только прорыв в технологиях, но и широко используемый во многих отраслях промышленности. Благодаря Volcano Engine Doubao Big Model обслуживает более 30 отраслей, а среднее количество ежедневных вызовов токенов превышает 4 триллиона, что в 33 раза больше, чем с момента выпуска в мае.
Официальный адрес: https://mp.weixin.qq.com/s/KVfu86njzyK2iK4j6VJONw.
В целом, быстрое развитие и широкое применение модели «мешка с фасолью» указывает на огромный потенциал технологии искусственного интеллекта в различных областях, и стоит с нетерпением ждать ее дальнейшего развития.