Yuanshi Intelligence (RWKV) использовала свою революционную генеративную архитектуру искусственного интеллекта, чтобы получить десятки миллионов юаней в виде ангельского финансирования в декабре 2023 года, удвоив свою оценку. Этот раунд финансирования возглавил Skyrim Capital, и средства будут в основном использованы для построения команды, технологических исследований и разработок, а также коммерциализации продуктов. Архитектура RWKV, являющаяся инновационной попыткой традиционной архитектуры Transformer, направлена на устранение недостатков в эффективности и точности существующих больших языковых моделей и призвана открыть новые возможности в области искусственного интеллекта.
На фоне глобальной волны генеративного искусственного интеллекта в 2022 году Yuanshi Intelligence (RWKV) в декабре 2023 года завершила раунд ангельского финансирования на десятки миллионов юаней, инвестированный Skyrim Capital. После этого финансирования стоимость компании увеличится вдвое, а средства будут использованы для расширения команды, исследований и разработок новой структуры, а также коммерциализации продукции.
Появление RWKV — это мощный вызов традиционной архитектуре Transformer. С развитием больших языковых моделей (LLM), хотя масштаб параметров модели становится все больше и больше, ее недостатки в таких вопросах, как иллюзия и точность, всегда трудно решить. Поэтому команда основателей RWKV решила изучить совершенно новую архитектуру, чтобы добиться большей эффективности и гибкости.
Концепция дизайна RWKV полностью отличается от Transformer. Соучредитель Ло Сюань сказал, что традиционная модель Transformer требует перечитывания предыдущего текста каждый раз, когда генерирует токен, в то время как RWKV не нужно записывать статус каждого токена, что значительно сокращает объем вычислений. RWKV достигает прорыва в эффективности и возможностях языкового моделирования, сочетая преимущества RNN (рекуррентной нейронной сети).
Преимущество этой инновационной архитектуры заключается в том, что RWKV может обрабатывать информацию в ограниченном пространстве состояний. С помощью методов обучения с подкреплением модель может автоматически определять, когда ей необходимо просмотреть предыдущий текст, тем самым улучшая свою способность к запоминанию. По сравнению с традиционными моделями RWKV показывает превосходные результаты во многих тестах производительности, доказывая повышение эффективности изучения языка.
В настоящее время RWKV завершил обучение модели от 0,1B до 14B и выпустил предварительную модель 32B для зарубежных сообществ. В будущем Yuanshi Intelligence планирует запустить RWKV-7 с параметрами 70B и выше в 2025 году, а также изучить новые системы вывода и микросхемы для дальнейшего улучшения производительности моделей.
С точки зрения бизнеса, RWKV не только предоставляет проекты с открытым исходным кодом, но также активно осуществляет коммерческое проектирование, включая создание музыки с помощью искусственного интеллекта и сотрудничество с предприятиями. Он достиг сотрудничества со многими предприятиями, такими как State Grid. С развитием технологий и продвижением коммерциализации RWKV стремится стать «Android и Linux» в области больших моделей.
Инновационная архитектура и коммерческая планировка RWKV продемонстрировали большой потенциал в высококонкурентной области крупных моделей, и стоит с нетерпением ждать их будущего развития. Ее цель стать «Android и Linux» в области крупных моделей также отражает ее высокие амбиции. Я считаю, что по мере развития технологий и совершенствования бизнес-модели RWKV добьется больших успехов в области искусственного интеллекта.