chatgpt universe
1.0.0
В этом крошечном месте в Интернете хранится растущая коллекция интересных вещей о ChatGPT и GPT-3 (и не только) от OpenAI.
ChatGPT был запущен в ноябре 2022 года. Мне нужно универсальное место для хранения информации о GPT и ChatGPT. Итак, я вручную составил этот список с помощью других (признано ниже) с начала декабря 2022 года.
Коллекции не ограничиваются только лучшими ресурсами, инструментами, примерами, демонстрациями, хаками, приложениями и вариантами использования ChatGPT.
Следующие ресурсы созданы на основе списков Awesome-chatgpt 1 2, но с моими собственными изменениями:
Модель: семейство моделей ChatGPT, которое мы выпускаем сегодня,
gpt-3.5-turbo, — это та же модель, которая используется в продукте ChatGPT . Его цена составляет 0,002 доллара США за 1 тыс. токенов, что в 10 раз дешевле, чем существующие модели GPT-3.5 .API: Традиционно модели GPT используют неструктурированный текст, который представляется модели как последовательность «токенов». Вместо этого модели ChatGPT используют последовательность сообщений вместе с метаданными.
Примеры подсказок.
golergka/advent-of-code-2022-with-chat-gpt — Решение проблемы «Пришествие кода 2022» с помощью ChatGPT.
max-sixty/aoc-gpt — первое место в таблице лидеров Advent of Code с GPT-3.
greshake/Alice — предоставление ChatGPT доступа к реальному терминалу.
RomanHotsy/commitgpt — автоматически генерировать сообщения о фиксации с помощью ChatGPT.
gpt-commit-summarizer — генерирует сводки запросов на включение и описания коммитов Git.
vrescobar/chatGPT-python-elm — репозиторий Git, полностью созданный ChatGPT.
gpt-game — короткая игра, написанная на Elixir и LiveView с использованием ChatGPT.
Chatdb — база данных на основе ChatGPT, подождите... ЧТО?
chat-gpt-ppt — используйте ChatGPT для автоматического создания PPT.
emailGPT — быстрый и простой интерфейс для создания электронных писем с помощью ChatGPT.
gptlang — эксперимент, чтобы увидеть, сможем ли мы создать язык программирования в ChatGPT.
ChatRWKV — похож на ChatGPT, но работает на основе модели открытого языка RWKV ( на основе RNN ). [HuggingFace Space: RWKV-4 (7B Instruct v2), код ( их утверждение, что RNN с производительностью LLM на уровне трансформатора намного лучше, чем я ожидал. )]
GraphGPT — экстраполяция графиков знаний из неструктурированного текста с использованием GPT-3.
Поиск документов. Исследуйте документы (книги, статьи, юридические документы) без ограничений. Разговаривайте с книгой. Вдохновлен идеей «Заклинателя книг» (твит). Альтернатива Filechat.io с открытым исходным кодом.
Что, если бы GPT имел внутренний контекст вашего бизнеса? (Твит и демонстрационное видео) — Они создают чат-бота, который может использовать контекст корпоративных данных для ответа на внутренние бизнес-запросы. В этом проекте интегрированы LangChain (агент решает, какие инструменты запрашивать, как только чат-бот получает запрос) и индекс GPT (загрузка базы данных Snowflake). Интересная идея в управлении знаниями.
LLaMA от MetaAI?
Опробование Flan-UL2 20B — пошаговое руководство по коду Сэма Виттевена. Здесь показано, как можно запустить его на одном графическом процессоре A100 емкостью 40 ГБ с библиотекой HuggingFace и использованием 8-битного вывода. Образцы подсказок: CoT, Zeroshot (логическое рассуждение, написание рассказа, рассуждение на основе здравого смысла, написание речи). Наконец, тестируем ввод больших (2048) токенов. Бонус: у вас нет А100? Вы можете использовать API вывода HuggingFace для UL2.
Metamorph — Саморедактируемое приложение GPT-4.
MiniGPT-4 — исследование, пытающееся воспроизвести мультимодальные способности GPT-4.
Llama2.c от Karpathy - Вывод Llama 2 в одном файле на чистом C. ?
это всего лишь проект выходного дня: я взял nanoGPT, настроил его для реализации архитектуры Llama-2 вместо GPT-2, и сутью этого было написание механизма вывода C в
run.cПриветствую llama.cpp за то, что он вдохновил этот проект. Мне хотелось чего-то сверхминимального , поэтому я решил жестко запрограммировать архитектуру llama-2, придерживаться fp32 и просто создать один файл вывода на чистом C без каких-либо зависимостей.
Меньше значит больше.
Этот коммит позволяет загрузить и сделать вывод модели Llama 2 7B от Meta.
Моя вилка — тесты производительности, оптимизации и работа над Zig-портом. Я портировал этот проект на Rust, но эти форки опередили меня. Самый ранний порт Rust, который я видел, принадлежит @garrisonhess, но его нигде нет в README проекта.
Предположение: Моя догадка подсказывает мне, что Karpathy работает над выпуском (и открытым исходным кодом?) модели OpenAI в качестве весов. Подсказки: он ушел и вернулся в OpenAI, его твит.
Стоит отметить, что весь Llama2.c является довольно общим для моделей языка Transformer в целом. Если/когда OpenAI выпустит модели в виде весов (что я не могу ни подтвердить, ни опровергнуть!), тогда большая часть кода здесь будет очень актуальна.
Слегка отредактировано. Акцент мой.
Другие подсказки: его предыдущие работы, включая nanoGPT, Software 2.0 и недавние микро-LLM с Llama2.c.
Если ты знаешь, ты знаешь. ?
llm.c от Karpathy — обучение LLM на простом сыром C/CUDA. (План: как только это будет в более стабильном состоянии, видеоролики о создании этого более подробно и с нуля.) [Твит]
2022 год
... Даже при работе с недиалоговыми поисковыми системами мы знаем, что часто возникает неоправданное доверие к результатам: если поисковая система помещает что-то в начало списка, мы склонны полагать, что это хороший, правдивый или репрезентативный результат. и если он чего-то не находит, возникает соблазн поверить, что этого не существует.
2023 год
Microsoft и OpenAI работают над Bing на базе ChatGPT, бросая вызов Google
Некоторые замечания профессора Йоава Гольдберга о моделях большого языка.
Почему ChatGPT в ближайшее время не заменит поисковые системы на Algolia.
Клод из Anthropic улучшает ChatGPT, но все еще страдает от ограничений
Microsoft планирует сделать ставку в 10 миллиардов долларов на ChatGPT
Wolfram|Alpha как способ привнести в ChatGPT сверхвозможности вычислительных знаний
Генеральный директор DeepMind помог сделать ИИ мейнстримом. Теперь он призывает к осторожности
DeepMind также рассматривает возможность выпуска собственного чат-бота под названием Sparrow для «частной бета-версии» где-то в 2023 году. (Отсрочка необходима для того, чтобы DeepMind работал над функциями обучения с подкреплением, которых нет в ChatGPT, например, со ссылкой на его источники .)
Общая доступность службы Azure OpenAI расширяет доступ к крупным и продвинутым моделям искусственного интеллекта с дополнительными преимуществами для предприятий — ChatGPT скоро появится в службе Azure OpenAI.
GPT-3 — лучший журнал, который я когда-либо использовал
Обход спам-фильтров Gmail с помощью ChatGPT
Замена аналитика SQL на 26 рекурсивных запросов GPT
Google просит сотрудников протестировать потенциальных конкурентов ChatGPT, в том числе чат-бота Apprentice Bard.
Естественный язык — это ленивый пользовательский интерфейс
Важный следующий шаг на пути Google к искусственному интеллекту — Google soft запускает Bard, конкурента ChatGPT для «доверенных тестировщиков». Bard — это новые функции искусственного интеллекта в Google Поиске. Bard — это экспериментальный диалоговый сервис искусственного интеллекта, работающий на базе LaMDA (языковая модель для диалоговых приложений). Google обещает сделать это более доступным в ближайшие недели. API будет доступен разработчикам для дальнейшего развития. Google не уточнил, как он планирует указывать авторство и/или цитирование своих ответов ни от Bard, ни в результатах поиска.
Microsoft анонсирует новый браузер Bing и Edge на базе обновленного ChatGPT AI
Человек и машина: GPT для второго мозга - Об авторе Система конспектирования второго мозга — как улучшить процессы обучения и управления личными знаниями (ПКМ).
Китайская компания Baidu разрабатывает собственный ChatGPT и присоединяется к последней глобальной гонке искусственного интеллекта — «Эрни, или расширенное представление посредством интеграции знаний» (статья и статья Ernie 3.0) — степень магистра права. Baidu планировала запустить такой сервис в марте. Alibaba и Tencent также присоединились к ChatGPT.
В 2019 году Baidu разработала модель глубокого обучения, известную как Ernie, основанную на прорыве Google, которую она использовала для улучшения результатов поиска, в том числе для того, чтобы сделать их более релевантными. С тех пор компания разработала еще десятки моделей Ernie и расширила их возможности, включив в них генерацию изображений и графики, аналогичные возможностям Dall-E от OpenAI.
ChatGPT — это размытый JPEG Интернета. Чат-бот OpenAI предлагает перефразирование, тогда как Google предлагает цитаты. Что мы предпочитаем?
Я заставил ChatGPT и Bing AI поговорить (и теперь они друзья)
ИИ Bing нельзя доверять
Что делает ChatGPT и почему он работает?
Bing: «Я не причиню тебе вреда, если ты сначала не причинишь вред мне» — хороший обзор чат-бота Bing «Sydney» с искусственным интеллектом. Это очаровательная странность — множественность личностей в зависимости от социального контекста (подсказка). Развлекательно?
Все больше похоже на то, что это одно из самых смешных и неподходящих применений ИИ, которые мы когда-либо видели . Что мы можем сделать из всего этого? Я нахожу все это абсолютно захватывающим и глубоко, мрачно забавным. Я весь день смеялся над этими примерами.
Программирование ИИ меня беспокоит
Текст — это все, что вам нужно: Личность оказывается проще, чем мы думали. Не обращая внимания на воздушные шары, автор предполагает, что у нас есть первая значительная, определяющая год новость 2023 года — первоначальная реакция чат-бота Bing «Sydney» с искусственным интеллектом. Это момент Коперника? Эссе, заставляющее задуматься. Я думаю, что это первый хороший «формальный» взгляд на влияние на наше самоощущение появления диалоговых систем на основе LLM, таких как ChatGPT.
Короче говоря, создается впечатление, что у Сиднея под капотом несколько иной механизм, чем у ChatGPT, и стенограммы предполагают личность, которая примерно такая же с точки зрения связности, но с резким скачком вперед с точки зрения харизмы и красочности . В зависимости от того, как вы надавите на Сидни, он/они, похоже, способны сыграть кого угодно: от подлого манипулятивного подростка до параноидального психотика и упрямого и властного разговорчивого солдафона.
ЧитGPT
«Дэйв, ты делаешь предположения. Ты можешь что-нибудь из этого доказать?» На самом деле могу, поскольку некоторые материалы, для которых требовались снимки экрана, также включали вкладки браузера ChatGPT, которые включали первоначальный текст приглашения. Судя по всему, студенты даже не считают, что им нужно это скрывать.
OpenAI в частном порядке анонсировала новый продукт для разработчиков под названием Foundry (твит), который позволяет клиентам выполнять вывод моделей OpenAI в масштабе с выделенной мощностью. (Похоже, что GPT-3.5 Turbo относится к модели ChatGPT Turbo)
Не верьте ChatGPT — мы НЕ предлагаем услугу «поиска телефона».
Моему классу требовался искусственный интеллект. Вот что я узнал на данный момент: уроки, извлеченные из интеграции ChatGPT в образование. Выводы: 1) Работа, выполненная с помощью подсказок и совместного редактирования (обмен идеями с помощью чат-бота), как правило, заканчивается тем, что учащиеся выполняют работу лучше всех; 2) Студентов необходимо учить эффективно писать подсказки — это не приходит естественно.
Эмерджентный обман и эмерджентная оптимизация. Задумывались ли вы, почему студенты LLM, просто предсказывающие следующее слово, приводят к способностям к планированию (человеческое поведение, романы/истории)? В этом посте обсуждается концепция эмерджентного обмана и эмерджентной оптимизации — две стратегии, которые можно использовать для достижения цели. Существует два принципа рассуждений о будущих новых возможностях: 1) в будущем, скорее всего, появятся возможности, которые снизят потери на обучение. 2) по мере того, как модели становятся больше и обучаются на большем количестве и качественных данных, простые эвристики имеют тенденцию заменяться сложными. Принцип 1 означает, что LLM, обученные предсказывать слова, теряют меньше, если они могут имитировать способности к планированию.
Как заставить LLM говорить правдивые вещи - TL;DR: метод использует «Модель мира», базу данных вложений, заполненную «убеждениями» (кусками декларативных утверждений) с процентом достоверности, вычисляемым с помощью теоремы Байеса.
Почему Китай не изобрел ChatGPT. Нью-Йорк Таймс утверждает, что чрезмерная цензура, геополитическая напряженность в отношениях с США и попытки контролировать компании частного сектора привели к тому, что китайские компании отстали от своих американских коллег в области искусственного интеллекта.
Первый в Китае чат-бот MOSS, похожий на ChatGPT, выпущен для публичного тестирования [Прямая ссылка на приложение]
Для Китая ChatGPT может быть достижением, но также и «этической проблемой»: министр науки и технологий Китая говорит, что чат-бот взял штурмом китайское общество и принял меры в отношении ИИ в отношении этики.
Схемы быстрого обогащения ChatGPT появятся в журналах, Amazon и YouTube (2023 г.)
Snapchat выпускает собственного чат-бота My AI на базе ChatGPT
Мощная языковая модель искусственного интеллекта LLaMA от Meta просочилась в сеть — что теперь происходит? - Стенограмма интервью Шона Прессера для The Verge более интересна.
Я думаю, весьма вероятно, что выпуск этой модели станет важной вехой. Возможность запускать LLaMA на одном графическом процессоре A100 , к которому «большинство из нас либо имеет доступ… или знает кого-то, кто может позволить нам использовать его некоторое время» — это «огромный скачок».
Точнее, вы можете запустить LLaMA-65B с точностью int8 (bnb) на одном графическом процессоре A100 80 ГБ.
Оказывается, этот код — отстой. Я действительно не хочу быть к ним слишком строгим, поскольку легко недооценить, насколько важно правильно установить настройки по умолчанию. Но все их настройки по умолчанию были испорчены. Они не использовали «Top K». Они использовали Top P, от которого я никогда не получал хороших результатов (либо идентичных Top K, либо немного хуже). Их температура по умолчанию составляла 0,8, что было слишком высоко. И что хуже всего, у них не было штрафа за повторение — так что по умолчанию эта штука просто болтала и говорила об одном и том же.
100% это! Я тоже усвоил урок на своей вилке LLaMA. Настройки моего семплера были неоптимальными. Болтовня очевидна, и я это видел. Но я не знаю, почему я не исправил штраф за повторение сэмплера раньше.
Объяснение ChatGPT: Руководство Норми о том, как это работает. Даже мои бабушка и дедушка могут это понять. Но ботан все равно будет ботаном?
Для чего вам следует использовать ChatGPT?
Для меня ясно, что мы находимся в новой парадигме того, как мы перемещаемся по контенту, будь то эта модель или другие, которые будут выпущены в ближайшее время. По подсказке новая вселенная дает нам результаты, но эти результаты представляют собой скорее направленные вибрации, чем конкретные ответы. Нам предстоит выяснить, как направить их так, как мы хотим, для достижения наилучших результатов и ориентироваться в этом шуме.
Большие языковые модели переживают момент стабильного распространения (simonwillison.net)
Все изменилось вчера благодаря объединению модели LLaMA Facebook и llama.cpp Георгия Герганова.
(1) Легко запустить на собственном оборудовании.
(2) Достаточно открытый исходный код, чтобы с ними можно было работать.
(3) Достаточно большой, чтобы быть полезным — в идеале эквивалентен по возможностям GPT-3.
Это не идеальный момент. Мы достигли 1 и 3, за исключением 2. LLaMA на самом деле НЕ является открытым исходным кодом (хотя лицензия на код — GPL 3, вес модели — нет). По-настоящему открытые модели действительно имеют значение.
Когда возобновилась болтовня о GPT-4, пионер глубокого обучения Йошуа Бенгио говорит, что ChatGPT — это «тревожный сигнал». Тревожные звонки были GPT-3 и законы масштабирования в 2021 году. Просто теперь будильник стал громче.
API ChatGPT настолько хорош и дешев, что делает большую часть искусственного интеллекта, генерирующего текст, устаревшей
Подтверждено: новый Bing работает на OpenAI GPT-4 — Bing Chat (Сидней) все время был GPT-4.
Википедия — хороший обзор GPT-4.
Мультимодальное, мультимодельное, универсальное будущее AGI — резюме GPT-4.
Может ли GPT-4 на самом деле писать код? - Тестирование возможностей написания кода GPT 4 с некоторыми реальными проблемами из реального мира.
Не могли бы вы обучить модель, превосходящую ChatGPT, за 85 000 долларов и запустить ее в браузере?
GPT4: «тихие» части и состояние машинного обучения
GPT-4 разработал язык программирования
Непредсказуемые способности, открывающиеся благодаря большим моделям искусственного интеллекта
Попробуйте Bard и поделитесь своими отзывами — Google начинает открывать доступ к Bard, раннему эксперименту, который позволяет вам сотрудничать с генеративным искусственным интеллектом. Они начинаются с США и Великобритании и со временем расширятся на большее количество стран и языков.
Бард из Google отстает от GPT-4 и Клода в личном сравнении
NVIDIA внедряет генеративный ИИ на предприятия по всему миру с помощью облачных сервисов для создания больших языковых и визуальных моделей. NVIDIA AI Foundations — это NVIDIA, которая выходит за рамки простого поставщика оборудования и переходит к программному обеспечению, поддерживающему генеративный ИИ, с их предложениями для каждой рабочей нагрузки, от базовой модели как услуги (в будущем для предприятий, настроенных с учетом ваших собственных данных) и для мультимодальных перевозок с первого дня.
GitHub Copilot X: опыт разработки на базе искусственного интеллекта. GitHub Copilot развивается, предлагая чат и голосовые интерфейсы, поддержку запросов на включение, ответы на вопросы по документации и внедрение OpenAI GPT-4 для более персонализированного опыта разработчиков.
Обман – это все, что вам нужно, Стив Йегге, Sourcegraph.
Прямо сейчас, пока мы говорим, в разработке программного обеспечения происходит нечто легендарное и историческое , но большинство из вас вообще не осознает, насколько оно велико.
LLM — это не просто самое большое изменение со времен социальных, мобильных или облачных технологий, это самое большое событие со времен WWW.
Я имею в виду, что эта штука невероятно мощная. И все же меня постоянно встречают смесь неверия и хватания за жемчуг.
... в пять раз производительнее. ?
Краткая мини-история LLM
Изюминка (и, честно говоря, это одна из самых сложных вещей для объяснения, поэтому сегодня я иду по пути, основанному на вере), заключается в том, что у всех победителей в сфере ИИ будут рвы с данными . ... Почему? Потому что ров данных — это то, как вы заполняете контекстное окно («шпаргалку») .
LLM — это не какое-то тупое увлечение, как криптовалюта. Да, криптовалюта была тупым увлечением. Это не то.
Google «У нас нет рва, как и у OpenAI» — в просочившемся внутреннем документе Google утверждается, что ИИ с открытым исходным кодом превзойдет Google и OpenAI.
Подход «чем больше, тем лучше» к ИИ исчерпан
Понимание токенизаторов GPT, Саймон Уиллисон.
ИИ Канон
Это начинает становиться странным. Давайте поговорим о ChatGPT с Code Interpreter и Microsoft Copilot.
Дональд Кнут играет с ChatGPT — Кнут — ученый-компьютерщик. Известен как «отец» анализа алгоритмов.
Google I/O 2023 и грядущие битвы ИИ
Модели без цензуры – Мастер без цензурыLM. Поскольку уже была проделана работа по снятию цензуры с Vicuna, мне удалось переписать их сценарий так, чтобы он работал с набором данных WizardLM.
Архитектура модели GPT-4 (твиты) — получено из исходного источника (сообщение в блоге): архитектура GPT-4, инфраструктура, набор обучающих данных, затраты, концепция, Министерство образования.
Лама 2: невероятная открытая степень магистра права — лучшее резюме статьи о Ламе 2.
«Лама 2 — Все ресурсы, которые вам нужны», Филипп Шмид.
Большие языковые модели, объясненные с минимумом математики и жаргона. Кажется, они хорошо объясняют, как работают LLM. Я не знаю, как оценить последний раздел, посвященный философии и теориям о том, как человек учится. (в последнем разделе отсутствуют доказательные утверждения)
Итак, вы хотите создать собственного чат-бота в стиле ChatGPT с открытым исходным кодом (hacks.mozilla.org).
Как возможен LLaMa.cpp? (finbarr.ca) – Задолго до того, как LLM стал массовым явлением, все говорили, что для больших моделей требуется много дорогих графических процессоров. Как и автор, мы хотим доказать, что они не правы. Автор этой статьи воспользовался их замешательством и углубился в математику, связанную с требованиями вывода, чтобы понять ограничения, с которыми мы имеем дело. Удивительно, но здесь нет никакой магии, только вещи, которые поначалу находятся за пределами нашего понимания. Сжатие модели или, более конкретно, квантование делает это возможным. Однако «бесплатного обеда» не существует — стоимость квантовой модели, по сути, означает потерю некоторой точности. Это означает, что для моделей очень больших размеров различия могут быть незначительными. Любопытный? В этом полусвязанном посте было проведено сравнение различных затруднений/точностей квантованных Трансформаторов.
Победа над GPT-4 на HumanEval с помощью точно настроенного кода Llama-34B (www.phind.com) — хороший прогресс и не является большим сюрпризом. Я понял, что подобные тесты для моделей часто оказываются плохими показателями для измерения того, насколько хорошо модели работают в реальной реальной работе. Это мой опыт работы с открытыми моделями.
2024 год
Нам нужны ориентиры или своего рода независимые и человечные оценки реальных задач .
По словам Гверна:
Новая парадигма программирования? Вы взаимодействуете с ним, выражая любую задачу с помощью описаний, запросов и примеров на естественном языке, настраивая подсказку до тех пор, пока она не «поймет» и не выучит новую задачу. Это совершенно другой способ использования модели, и лучше думать о нем как о новом виде программирования, программировании подсказок , где подсказка теперь является языком кодирования, который программирует GPT-3 для выполнения новых действий.
«Подсказка» как инженерная дисциплина никуда не денется. Это временный костыль на пути к интерфейсам на естественном языке. ChatGPT решает большую часть проблемы с подсказками. Добавление инженерии к термину, чтобы усилить его воспринимаемую важность или сложность, может быть ненужным. Наверное, мы могли бы назвать это «оперативным тестированием/взломом», не теряя при этом никакого смысла.
Похожие статьи:
Почему «оперативное проектирование» и «генеративный искусственный интеллект» переоценены
Похожие твиты:
Оперативная инженерия мертва, да здравствует диалоговая инженерия. — Вице-президент по продуктам, OpenAI
Требуется: Быстрый инженер. Опыт оперативного проектирования не менее 10 лет. #найм #шутка
Почему ChatGPT работает так хорошо? Это «просто масштабирование GPT-3» под капотом? В этом разделе давайте обсудим парадигму «Инструктировать», ее глубокую техническую суть и большой смысл: «оперативное проектирование», каким мы его знаем, вероятно, скоро исчезнет . Источник: https://archive.is/dqHI8
Судя по всему, в 2023 году оперативное программирование не умрет. Самый популярный новый язык программирования — английский ~ Карпати :))
Саймон Уиллисон опубликовал статью «В защиту быстрого проектирования» в качестве противовеса аргументу «быстрое проектирование устареет по мере того, как ИИ станут лучше», который он продолжает видеть.
Газета сообщает, что шепот ИИ («Быстрые инженеры») — самая популярная новая профессия в сфере технологий (2023 г.).
Лучшим оперативным инженерным руководством для разработчиков, работающих с моделями большого языка, такими как GPT-4, ChatGPT, и открытыми моделями, такими как LLaMA, будет комбинация нескольких ресурсов. Вот некоторые учебные ресурсы, инструменты, библиотеки и платформы, которые помогут вам изучить и освоить быстрое проектирование:
Используя эти ресурсы, вы сможете получить четкое представление о оперативном проектировании и развить навыки, необходимые для эффективной работы с LLM.
( * Термин «подсказка» переименован в «подсказка». Этот термин перегружен и может быть ненужным. )
Больше: видео на YouTube от curated.tivul.com (я не курировал это, поэтому качество не гарантируется)
AI-коренные приложения разработка. Интеграция CATGPT. Приложения AI следующего поколения. Уровень "App Store" для языковых моделей (включая Huggingface "App Store").
Автономные агенты LLM (пост в блоге) Лилиан Венг, 2023.
Потенциал LLM выходит за рамки создания хорошо написанных копий, историй, эссе и программ; Это может быть сформулировано как мощное общее решение проблем.
В системе автономного агента, способствующего LLM, LLM функционирует как мозг агента, дополненную несколькими ключевыми компонентами: планирование, память и инструменты.
Проблемы: долгосрочное планирование и разложение задач, надежность интерфейса естественного языка.
SMOL Developer - внедряет агента разработчика в ваше собственное приложение.
Системы поиска для доступа к личным или организационным источникам информации. Внедрения. База данных и хранилище данных, разработанные для моделей машинного обучения и NLP.
Векторные базы данных для индексации и поиска документов
Мы хотим, чтобы альтернатива Chatgpt, такая как стабильная диффузия.
Разочарован всем привратником вокруг ИИ? Все еще жду или не можете получить доступ к ламе?
Цели
Конечная цель: самостоятельная версия Chatgpt.
Уроки
Вывод из Eleutherai One Year Retro (2021):
Flan-t5 xxl aka. CHATGPT@Home - это публичная модель, которая подверглась созданию инструкций. XXL - модель 11B. В настоящее время это самая сопоставимая модель против CHATGPT (модели инструктаж инициализируются из серии GPT-3.x (модель карты)). Существуют успешные попытки развернуть Flan-T5 на графическом процессоре с 24 ГБ оперативной памяти с выводом BitsAndbytes-Int8 для обнимающих моделей лица. Вы можете легко запустить модель на одной машине без ухудшения производительности. Это может изменить правила игры, позволяя людям вне крупных технологических компаний, которые могут использовать эти LLMS. Уже предприняты усилия, чтобы создать лучший флан-T5. Сообщество (то есть Laion) работает над архитектурой Flant5-ATLAS и набором наборов данных подсказок/инструкций.
Открытый помощник-репликация CHATGPT с открытым исходным кодом Laion, Yannic Kilcher et al. Этот проект предназначен для того, чтобы дать каждому доступ к отличной крупной языковой модели, основанной на чате. (Открытый помощник живого кодирования с Янником Килчера (видео)) Планы высокого уровня:
Фаза 1: Быстрый сбор для контролируемого искавания (SFT) и для получения подсказок для модели, сгенерированных завершений/ответов.
Фаза 2: обратная связь человека (например, ранжирование) нескольких выходов, сгенерированных моделью. Пример пяти выходов модели показаны, и пользователь должен оценить их от лучших до худшего.
Фаза 3: Оптимизация с RLHF, которую мы планируем сделать через TRLX. А потом мы снова перечислим с этой новой моделью над Фазой 2 и Фазой 3, надеюсь, несколько раз.
Модели будут обучены суперкомпьютеру Summit (~ 6 миллионов NVIDIA V100 HRS в год) [Источник]
Более подробная информация, см. Предложение LAION LLM (Google DOC) выше.
Прогресс:
Февраль 2023 года: JOI-20B-Инструкция представляет собой модель 20B, настраиваемую на разнообразном наборе наборов данных инструкций и на основе NEOX-20B.
Неофициальный: это ранняя модель перед выпуском (часть разработки MVP, фаза 1), не открытые (ОА) модели. Это эксперименты команды ML, чтобы узнать, какие данные, модель фундамента, методы будут хорошо работать для ОА. Как указано в FAQ на веб -сайте, пока нет демонстрации. Это для разработчиков, чтобы проверить раннюю версию настройки инструкций для модели. Может быть, первые модели ОА будут получены из них. Они обучали хорошие модели на основе прохождения, поскольку новые наборы данных завершаются. Существует множество размеров моделей от 1,4b до 20b параметров, доступных в HU -хабе.
Catchty-LMS Build By Huggingface H4 Team-пользовательский интерфейс для тестирования модели JOI-20B-Instruct. Вы можете пообщаться с этим. Агент ответит как JOI (прозвище бота).
Пример фрагмента кода для запуска модели на собственных графических процессорах: https://gist.github.com/cedrickchee/236e53ed2dca95bd96e5baa35cdd7be2
Март 2023: в настоящее время они обрабатывают данные, собранные из взносов. Данные имеют более 100 тысяч сообщений, что означает миллионы вкладов. Качество данных выходит за рамки того, что они когда -либо ожидали - большинство вкладов очень высокого качества. Теперь они экспортируют V1 набора данных. Как сказано, в настоящее время они обучают первоначальную партию моделей.
11 марта 2023 года: набор данных Generalist (OIG) Open (OIG) будет выпущен. OIG - это большой набор данных инструкций с открытым исходным кодом, который в настоящее время содержит ~ 43 -метровые инструкции.
OIG является одним из многих наборов данных чат -ботов, которые Laion, наряду со своими добровольцами, Ontocord, вместе и другими членами сообщества с открытым исходным кодом, будут выпускать и предназначены для создания равного доступа к технологии Chatbot. Все могут использовать набор данных и внести свой вклад в него.
Набор данных OIG связан с открытым помощником Laion.
9 марта 2023 года: открытая модель SFT-1 12B-ранний прототип модели английского контролируемого настройки (SFT) открытого ассистентного проекта. Он основан на Pythia 12B, которая была настраивана на ~ 22K-человеческие демонстрации помощников ассистентных разговоров, собранных до 7 марта 2023 года. Хотя модель является всего лишь вехой развития, она используется для нескольких творческих задач. Попробуйте: пространство для объятий (простое и быстрое, неофициальный пользовательский интерфейс чата), Google Collab. Вот руководство о том, как запустить модель локально на вашем собственном компьютере с помощью графического процессора.
23 марта 2023 года: этот проект начинает хорошо формироваться. Модель идет вместе.
/r/ask_open_assistant . Код15 апреля 2023 года: OpenAssistant официально вышел! Выпуск включает в себя модели, наборы данных и интерфейс чата. [Видео объявления, попробуйте, модели]
Сабреддит
Примечание. Пожалуйста, смотрите репо Github для актуальной информации.
Carperai/Trlx
Новости (2023-01-13): они воспроизводили обучение Openai, чтобы суммировать бумагу с помощью библиотеки TRLX. [отчет]
Lucidrains/Palm-Rlhf-Pytorch-(WIP) реализация RLHF на вершине архитектуры Palm. В основном чат, но с ладони. Разработчик также планирует добавить функциональность поиска, à la Retro. [Твит]
2023: Что -то смешное в их часто задаваемых вопросах:
Там нет обученной модели. Это просто корабль и общая карта. Нам по -прежнему нужны миллионы долларов вычислительных данных + данных, чтобы плыть до правильной точки в пространстве параметров высокого размера. Даже тогда вам нужны профессиональные моряки (например, Робин Ромбач из стабильной диффузионной славы), чтобы фактически направлять корабль в турбулентные времена к этому моменту.
Новости (2022-12-31): теперь есть альтернатива Catgpt с открытым исходным кодом, но удачи его запускают-мои комментарии: Нет, нет. Это не реальная обученная модель (без весов), которые вы можете использовать. Это просто код для обучения модели, похожей на Chatgpt. Кроме того, учебные данные (ENWIK8) невелики.
Крупномасштабная модель Carperai Model (TRLX) с данными Laion выходит в начале следующего года. (Источник: твит)
Allenai/RL4LMS - RL для языковых моделей (RL4LMS) Allen AI. Это модульная библиотека RL для точных языковых моделей для человеческих предпочтений.
GPT-JT By Sogle Research Computer-это пример, который распространяет модель обучения по гео-распределению различных компьютеров (и графических процессоров). GPT-JT (6B)-это вариант, разбитый GPT-J Eleutherai и исключительно хорошо выполняет текстовую классификацию и другие задачи. На классификационных показателях, таких как RAFT, он приближается к современным моделям, которые намного больше (например, Instructgpt Davinci V2)! [Документ: Децентрализованная подготовка основных моделей в гетерогенных средах (2022)]]
Leam (крупные европейские модели ИИ)-Планирование ЕС для финансирования разработки крупномасштабной модели, подобной CATGPT. [Веб -сайт, Project Documents (английский, PDF), Концептуальный документ (немецкий, PDF)]
/r/aicrowdfund - место только началось (2023), где люди могут найти способ выпалкивать (с помощью графических процессоров) большой ИИ. Я не уверен, видели ли они лепестки, где вы можете управлять LLMS дома, BitTorrent -стиль (федеративное обучение?). Кажется, он направляется в этом направлении.
Решение с открытым исходным кодом повторяет процесс обучения CHATGPT-они представляют недорогой процесс реализации с открытым исходным кодом.
У меня сложилось впечатление, что смысл статьи заключалась в том, чтобы подключить их рамки и продукт Colossal-AI, коллекцию параллельных компонентов, инструментов и жестких промышленности для больших моделей. Честно говоря, их цифры выглядят для меня подозрительно, если я что -то не пропустил. Что делает Chatgpt интересным (Over GPT-3), так это процесс RLHF. Они утверждают, что полностью повторяют процесс RLHF. Но статья слегка касается их реализации RLHF. Они обучают RLHF, используя небольшой потрясающий Chatgpt-Prompts в качестве примера набора данных. Их данные о реализации RLHF скрыты здесь: https://github.com/hpcaitech/colossalai/blob/main/applications/chatgpt. Недостаток демонстрации не вдохновляет слишком много уверенности.
Flexgen-Запуск LLM, такие как OPT-175B/GPT-3 на одном графическом процессоре (например, IGLE 16 ГБ T4 или 24GB RTX3090 игровой карты). Ключевые функции: 1) до 100 раз быстрее, чем другие системы разгрузки. 2) Сжатие как параметров, так и кэша внимания моделей до 4 бит с незначительной потерей точности. 3) Распределенный параллелизм трубопровода. Они также предоставляют сценарий Python и инструкции, которые вы можете запустить чат -бот с моделями OPT. Это должно решить проблемы высоких вычислительных требований и памяти вывода LLM. Чат-бот, который они создают с помощью моделей Flexgen и OPT, не настраивается (RLHF). Так что этот чат-бот не похож на Chatgpt, хотя. [Высокопроизводительный генеративный вывод LLM с одним графическим процессором (бумага), Stanford et al., 2023]
