Yuanshi Intelligence(RWKV)는 파괴적인 생성 AI 아키텍처를 활용하여 2023년 12월 엔젤 라운드 파이낸싱에서 수천만 위안을 받아 가치를 두 배로 높였습니다. 이번 자금 조달은 스카이림 캐피탈이 주도했으며, 자금은 주로 팀 구축, 기술 연구 개발, 제품 상용화에 사용될 예정입니다. RWKV 아키텍처는 전통적인 Transformer 아키텍처에 대한 혁신적인 시도로 기존 대규모 언어 모델의 효율성과 정확성의 결함을 해결하는 것을 목표로 하며 AI 분야의 새로운 가능성을 여는 데 전념하고 있습니다.
2022년 글로벌 생성 AI 물결을 배경으로 Yuanshi Intelligence(RWKV)는 Skyrim Capital이 투자한 2023년 12월 엔젤 라운드 파이낸싱에서 수천만 위안을 완료했습니다. 이번 펀딩 이후 회사 가치는 두 배로 올랐고, 자금은 팀 확장, 신구조 연구개발, 제품 상용화 등에 사용될 예정이다.
RWKV의 출현은 기존 Transformer 아키텍처에 대한 강력한 도전입니다. LLM(Large Language Model)의 개발로 인해 모델의 매개변수 규모가 점점 커지고 있지만 환상, 정확성 등의 문제에 대한 단점은 항상 해결하기 어렵습니다. 따라서 RWKV 창립 팀은 효율성과 유연성을 높이기 위해 완전히 새로운 아키텍처를 탐색하기로 결정했습니다.
RWKV의 디자인 컨셉은 Transformer와 완전히 다릅니다. 공동 창업자인 Luo Xuan은 기존 Transformer 모델은 토큰을 생성할 때마다 이전 텍스트를 다시 읽어야 하는 반면, RWKV는 각 토큰의 상태를 기록할 필요가 없으므로 계산량이 크게 줄어든다고 말했습니다. RWKV는 RNN(Recurrent Neural Network)의 장점을 결합하여 효율성과 언어 모델링 기능의 획기적인 발전을 달성합니다.
이 혁신적인 아키텍처의 장점은 RWKV가 제한된 상태 공간에서 정보를 처리할 수 있다는 것입니다. 강화 학습 방법을 통해 모델은 이전 텍스트를 검토해야 하는 시기를 자동으로 결정하여 메모리 능력을 향상시킬 수 있습니다. RWKV는 기존 모델과 비교하여 여러 벤치마크 테스트에서 탁월한 성능을 발휘하여 언어 학습 효율성이 향상되었음을 입증했습니다.
현재 RWKV는 0.1B부터 14B까지 모델 트레이닝을 완료했으며, 해외 커뮤니티에 32B 프리뷰 모델을 공개한 상태다. 앞으로 Yuanshi Intelligence는 2025년에 70B 이상의 매개변수를 갖춘 RWKV-7을 출시하고 새로운 추론 프레임워크와 칩을 탐색하여 모델 성능을 더욱 향상시킬 계획입니다.
비즈니스 측면에서 RWKV는 오픈 소스 프로젝트를 제공할 뿐만 아니라 AI 음악 생성 및 기업과의 협력을 포함하는 상업적 레이아웃을 적극적으로 수행합니다. State Grid와 같은 많은 기업과 협력하고 있습니다. RWKV는 기술의 발전과 상용화의 진전을 통해 대형 모델 분야의 '안드로이드와 리눅스'가 되기 위해 노력하고 있습니다.
RWKV의 혁신적인 아키텍처와 상업용 레이아웃은 경쟁이 치열한 대형 모델 분야에서 강력한 잠재력을 보여 주었으며 향후 개발을 기대해 볼 가치가 있습니다. 대형 모델 분야에서 '안드로이드와 리눅스'가 되겠다는 목표도 그 원대한 야망을 반영한다. 기술이 계속 성숙해지고 비즈니스 모델이 개선됨에 따라 RWKV는 AI 분야에서 더 큰 성과를 달성할 것이라고 믿습니다.