9월 5일, 홍콩과기대학교 이사회 의장이자 국립공정원 외국 학자인 Shun Xiangyang은 2024년 포괄회의에서 대규모 모델 산업 구현에 대한 8가지 생각을 공유했습니다. ·번드 컨퍼런스. 그는 AI 에이전트 시대의 도래가 갑자기 모든 워크플로우를 대체하는 마술적이고 강력한 모델이 아닐 것이라고 믿습니다. 기술, 엔지니어링, 시장의 지속적인 통합이 수반되며 마침내 기대를 뛰어넘는 서비스를 인간에게 제공하게 됩니다.
"오늘날 대규모 모델과 딥 러닝을 수행할 때 가장 먼저 중요한 것은 컴퓨팅 능력을 갖추는 것입니다." 그는 2010년 이후 대형 모델에 필요한 컴퓨팅 성능이 6~7배나 늘어났다고 지적했다. 지난 몇 년간 안정세를 보였으며 매년 약 4배씩 성장하고 있습니다. 모델이 점점 커지고, 매개변수의 개수도 점점 늘어나고, 매개변수가 늘어날수록 컴퓨팅 파워에 대한 수요도 평탄한 방향으로 늘어나고 있다. 그는 전체 컴퓨터 칩 산업의 발전이 원래의 '무어의 법칙'에서 '황의 법칙'으로 바뀌었다고 봅니다. 무어의 법칙에 따르면 컴퓨팅 성능은 18개월마다 두 배로 증가합니다. 이제 GPU가 AI 컴퓨팅 성능을 해마다 두 배로 끌어올릴 것으로 예측됩니다. "카드 얘기를 하면 마음이 아프지만, 카드가 없으면 감정이 없습니다. 예전에는 가난이 상상력을 제한한다는 말이 있었는데 이제는 가난이 상상력을 왜곡할 수도 있습니다. 상상할 수 있는 것은 다를 수도 있습니다." Shen Xiangyang은 감동의 한숨을 쉬었습니다. 공개된 정보에 따르면 GPT3의 훈련 데이터는 2T의 토큰(처리량)에 도달했고, GPT4의 훈련 데이터는 약 12T에 도달했습니다. Shun Xiangyang의 예측에 따르면 GPT5의 훈련 데이터는 200T에 도달할 수 있습니다. 현재 인터넷에 있는 데이터는 미래 모델 교육의 요구 사항을 충족시키기에는 거리가 멀기 때문에 더 많은 데이터를 마이닝할 수 있는 방법을 고민해야 합니다. 인공지능 분야에서 데이터는 모델의 '연료'로 간주되며, 모델은 이 데이터로부터 유용한 정보를 학습하고 추출해야 합니다. 따라서 데이터의 양, 품질 및 다양성은 모델의 정확성과 성능에 직접적인 영향을 미칩니다. Shen Xiangyang은 과거에는 인터넷의 핵심 축적으로서 대부분의 데이터가 Google에서 검색 엔진을 만드는 데 사용되었으며 앞으로는 이러한 데이터가 대형 모델을 훈련하는 데 사용될 것이라고 말했습니다. "지난 40년 동안 인터넷에서 축적된 데이터는 바로 그런 AI 순간을 위한 것 같습니다." 다음은 무엇입니까? Shen Xiangyang은 대형 모델 산업의 미래 발전 경로가 매우 명확하며 앞으로는 이전의 대형 언어 모델에서 다중 모드 모델, 그리고 월드 모델로 이동할 것이라고 믿습니다. 기술적으로 말하자면, 우리는 이해와 세대를 통합하는 길을 택해야 합니다. "미래는 확실히 구체화된 지능과 로봇의 방향으로 움직일 것입니다. 특별한 형태 중 하나는 자율 주행입니다." 실제로 업계에는 월드 모델에 대한 표준 정의가 없습니다. OpenAI가 출시한 Sora 모델은 업계에서 '월드 모델'에 대한 논의를 촉발시켰습니다. OpenAI는 이를 현실 세계를 이해하고 시뮬레이션할 수 있는 모델의 기반으로 간주하며, 그 역량이 AGI(Artificial General Intelligence)를 달성하는 데 중요한 이정표라고 믿습니다. 그러나 Shun Xiangyang은 "Sora 모델은 매우 훌륭하지만 그렇게 강력하지는 않습니다. 그 안에 있는 물리적 특성은 보장할 수 없으며 세계 모델이 될 수 없습니다"라고 믿습니다. 생각 4: 대형 모델이 수천 개의 산업 분야를 휩쓸고 있습니다. 대형 모델은 일반 대형 모델, 산업 대형 모델, 기업 대형 모델, 개인 대형 모델로 나눌 수 있습니다. Shen Xiangyang은 범용 대형 모델이 AI의 기초이며 범용 대형 모델을 교육하려면 최소 10,000칼로리가 필요하다고 지적했습니다. 업계 대형 모델은 도메인 응용 프로그램의 기반이며 킬로칼로리 수준의 교육이 필요합니다. 기업 데이터의 가치를 재발견하려면 수백 칼로리의 교육이 필요합니다. 이러한 대형 모델은 컴퓨팅 성능에 대한 요구 사항이 매우 높습니다. "가장 흥미로운 점은 대규모 개인 모델입니다. 예를 들어 Lenovo와 Microsoft는 AIPC를 홍보하고 있으며 Apple의 Apple Intelligence는 모두 개인 지능 방향으로 발전하고 있습니다." 올해 7월 말 현재 중국에는 197개의 대형 모델이 등록되었으며, 그 중 일반 대형 모델이 30%, 산업용 대형 모델이 70%를 차지합니다. "업계에서는 대형 모델이 대다수를 차지하고 있으며 앞으로는 확실히 더 많아질 것입니다." 생각 5: AI 에이전트 - 비전부터 구현까지 2024년 5월, 마이크로소프트 창립자 빌 게이츠는 AI 에이전트가 모든 사람이 컴퓨터와 상호 작용하는 방식을 바꿀 뿐만 아니라 소프트웨어 산업을 전복시키고 아이콘 클릭에 대한 명령 입력 이후 가장 큰 컴퓨팅 혁명을 가져올 것이라고 공개적으로 밝혔습니다. Shun Xiangyang은 이 견해에 동의했습니다. 그는 인공지능 시대에 정말 놀라운 슈퍼애플리케이션은 바로 AI Agent라고 믿습니다. AI Agent의 비전부터 구현까지의 과정에서는 항상 요구 사항에 집중하고 모델의 기능을 깊이 이해하며 AI가 깊이 참여하는 워크플로를 구축해야 합니다. "오늘날 회사에서 일한다면 전체 작업 흐름이 매우 복잡합니다. ChatGPT는 매우 강력하지만 Agent 수준에 도달하기에는 거리가 멀습니다. 단 하나의 돌파구만 달성할 뿐입니다. 진정으로 앞으로 나아가려면 전체 작업 흐름입니다."라고 그는 말했습니다. AI 거버넌스는 매우 중요합니다. 올해 세계인공지능회의(WAIC)의 주제는 AI 거버넌스에 관한 것입니다. 이 문제에 대해 다양한 국가들이 다양한 견해를 가지고 있습니다. AI의 발전은 사람, 기업, 정부 감독, 사회 발전 및 기타 측면에 큰 영향을 미쳤으며 보안 거버넌스에 대한 대중의 우려를 불러일으켰습니다. "인공지능 개발에서 다음으로 중요한 지점이 있다고 생각합니다. 세계 여러 나라의 관점에서 볼 때 주권 인공지능 구축이 필요하고, 주권 인공지능 뒤에는 주권 인공지능의 발전을 지원하는 주권 클라우드가 있어야 합니다. 인공 지능." Shen Xiangyang이 표현했습니다. 생각 7: 인간과 기계의 관계를 다시 생각해보세요 "GPT가 가져온 영향 중 인간-컴퓨터 상호작용의 충격은 얼마나 됩니까? 그리고 기계 지능의 발전은 얼마나 됩니까?" Shen Xiangyang은 인간과 기계의 관계를 재고해야 한다고 믿습니다. 그는 AI가 인간에게 기술과 공생할 수 있는 새로운 맥락을 제공하며, 인간-컴퓨터 상호작용의 새로운 방식은 'AI와 IA'의 통합과 발전을 가리킨다고 지적했다. IA(Intelligent Augmentation)는 인간 중심의 AI 개발 경로를 나타냅니다. 인간을 대체하기보다는 인간의 능력을 향상시키기 위해 기술을 사용하는 데 중점을 두고 인간과 AI 간의 협력 관계를 강조합니다. "뉴욕타임스 칼럼니스트 존 마크오프(John Markoff)는 지난 수십 년 동안의 컴퓨터 개발에서 진정한 승자는 인간과 컴퓨터의 상호작용에 있었다고 언급했습니다. 기술이 무엇이든 궁극적인 목표는 인간이 기계를 더 잘 사용할 수 있도록 돕는 것입니다. Shen Xiang Yang은 "AI 시대에 인간-컴퓨터 상호 작용의 가장 중요한 측면은 ChatGPT처럼 대화입니다. ChatGPT와 Microsoft가 AI 시대에 가장 위대한 회사가 될 수 있을까요?"라고 말했습니다. 말하다." 오늘날 GPT의 발전이 본격화되고 있지만 사실 지능에 대한 사람들의 이해는 여전히 매우 제한적입니다. 물리학과 달리 광대한 별이 빛나는 하늘부터 작은 양자까지 모든 것이 통일된 이론으로 설명될 수 있습니다. 오늘날 딥 러닝의 많은 것들은 설명할 수 없고 견고성이 없습니다. "지능의 본질은 신경망과 기호 시스템 사이의 100년 된 싸움입니다." Shen Xiangyang은 "오늘날 인공 지능의 개발은 아직 비교적 초기 단계이지만 업계에는 이미 많은 응용 프로그램이 있습니다. 나는 그것을 하겠다고 결심했고 미래에 대해 확신을 갖고 있다”고 말했다.
