2024년 Doubao 대형 모델 출시의 8가지 주요 순간: AI 떠오르는 스타에서 포괄적인 혁신까지

이 기사에서는 2024년 5월 15일 출시 이후 Beanbao 모델의 8가지 주요 개발 단계를 검토하여 음성 인식, 음악 제작, 비디오 생성, 이미지 편집, 프로그래밍 기능, 텍스트 이해, 시각적 인식 등에서 놀라운 성능을 보여줍니다. 진전. 초기 음성 인식 혁신부터 GPT-4 기능과 연계된 Doubao-pro 범용 모델의 최종 구현에 이르기까지 Doubao 모델은 단 230일 만에 놀라운 결과를 달성하여 강력한 기술적 강점과 개발 잠재력을 입증했습니다. 이 기사에서는 각 단계의 기술적 혁신과 적용 시나리오를 자세히 설명하고 일부 기능을 그림으로 설명합니다.

Doubao 모델은 7월에 음성 인식 분야에서 획기적인 발전을 이루었습니다. 20개 이상의 방언으로 이루어진 혼합 대화를 이해할 수 있고 들으면서 생각할 수 있는 능력을 갖추고 있습니다. 그뿐만 아니라, 대화에서 감정을 표현하는 법을 배웠고, 상호 작용에 자유롭게 끼어들 수 있으며, 심지어 삼키기나 억양과 같은 인간의 언어 습관도 그대로 유지합니다. 이를 뒷받침하는 핵심 기술은 빈백 음성 인식 모델인 Seed-ASR과 음성 생성 기본 모델인 Seed-TTS입니다. 이러한 모델은 광범위한 데이터와 추론 체인을 통합하여 매우 강력한 일반화 기능을 제공합니다.

지난 9월 두바오(Doubao) 대형 모델이 'AI 밴드' 컨셉을 창의적으로 구현했다. 작곡부터 퍼포먼스 생성, 보컬 가창까지 Doubao Master는 10개 이상의 음악 창작 기술을 습득했으며 음악 창작에 예상치 못한 영감을 가져올 수 있습니다. 그 뒤에 있는 기술은 언어 모델과 확산 모델의 장점을 결합하여 음악 생성을 위한 보편적인 프레임워크를 구현하고 편집 제어 가능성이 매우 높은 Seed-Music 프레임워크입니다.

같은 달, 빈백 모델은 창작의 경계를 더욱 뛰어넘어 복잡한 프롬프트 단어를 따르고, 여러 주제의 고화질 비디오를 생성하고, 카메라 각도를 정확하게 제어할 수 있었습니다. 두 가지 비디오 생성 모델인 PixelDance와 Seaweed의 도움으로 Doubao Big Model은 고품질 비디오 및 음향 효과를 동시에 생성하여 제작자에게 보다 현실적이고 몽환적인 시각적 경험을 제공할 수 있습니다.

11월, Doubao Big Model은 '한 문장 P-사진'과 '원클릭 포스터 생성' 기능을 마스터했습니다. 사용자는 정확한 이미지 편집 및 텍스트 생성을 수행하기 위해 간단한 텍스트 명령만 필요합니다. 지속적으로 반복되는 Vincent 그래프 모델 SeedEdit을 통해 Doubao는 복잡한 장면을 정확하게 표현하고 자연어 기반 이미지 편집을 제공할 수 있습니다.

12월에 들어서면서 Doubao의 프로그래밍 능력이 크게 향상되어 AI 프로그래머이자 데이터 분석가가 되었습니다. Doubao MarsCode를 통해 사용자는 코드 작성, 데이터 처리 및 시각적 분석을 쉽게 구현할 수 있습니다. Doubao의 대형 코드 모델 Doubao-coder는 16개 프로그래밍 언어를 심층적으로 지원하며 프런트엔드 및 백엔드 개발, 기계 학습 등 풀 스택 프로그래밍 요구 사항을 충족할 수 있습니다.

Doubao 대형 모델은 또한 컨텍스트 창의 한계를 돌파하여 300만 단어로 늘리고 더 큰 텍스트를 처리할 수 있으며 백만 토큰당 처리 지연 시간이 15초에 불과합니다. Beanbao 대형 모델은 STRING과 같은 연계 데이터 알고리즘을 통해 방대한 외부 지식을 빠르게 습득하고 보다 정확한 이해 기능을 제공할 수 있습니다.

12월 중순, 대형 빈백 모델은 시각적 인식을 달성했으며, 심층적인 사고를 위해 다양한 감각을 통합할 수 있었습니다. 이미지를 정확하게 이해할 수 있을 뿐만 아니라 미적분학 수학 문제를 촬영하는 등 복잡한 작업도 수행하여 뛰어난 교차 모달 학습 및 추론 능력을 보여줍니다.

12월 중순, Doubao 일반 모델 Doubao-pro가 완전히 업그레이드되었으며 그 기능은 GPT-4와 완전히 일치했으며 답변 과정에서 "반영"하는 방법을 학습했습니다. 이번 업그레이드는 Doubao-pro의 이해 정확도와 생성 품질을 향상시켜 다양한 능력에서 균형 잡힌 성능을 갖춘 효율적인 "육각형 전사"로 만들고 AI 분야의 또 다른 벤치마크가 됩니다.

올해 Doubao Big Model 팀은 기초 AI 연구에서 상당한 진전을 이루었습니다. 팀은 57개의 논문을 발표했으며 ICLR, CVPR 및 NeurIPS와 같은 주요 컨퍼런스에 출연했습니다. 또한 Doubao Big Model 팀은 AI 기술 개발을 촉진하기 위해 여러 최고의 대학과 심층적인 협력을 맺고 공동 연구소를 설립했습니다.

대형 콩주머니 모델은 기술의 획기적인 발전일 뿐만 아니라 많은 산업 분야에서 널리 사용됩니다. Doubao Big Model은 Volcano Engine을 통해 30개 이상의 산업에 서비스를 제공하고 일일 평균 토큰 호출은 5월 출시 당시보다 33배 증가한 4조를 초과합니다.

공식 주소: https://mp.weixin.qq.com/s/KVfu86njzyK2iK4j6VJONw

전체적으로 볼 때, 빈백 모델의 급속한 발전과 광범위한 적용은 인공지능 기술이 다양한 분야에서 엄청난 잠재력을 갖고 있음을 의미하며, 앞으로의 발전을 기대해볼 만하다.