ai notes

AI Примечания

Примечания об искусстве искусства с акцентом на генеративные и крупные языковые модели. Это «сырье» для https://lspace.swyx.io/ информационный бюллетень.

Это репо называлось https://github.com/sw-yx/prompt-eng, но было переименовано, потому что быстрое инженерное управление переиграно. Теперь это AI Engineering Notes Repo.

Этот Readme - просто обзор пространства высокого уровня; Вы должны увидеть большинство обновлений в других файлах разметки в этом репо:

• TEXT.md - генерация текста, в основном с GPT -4
  • TEXT_CHAT.md - Информация о CATGPT и конкурентах, а также производные продукты
  • TEXT_SEARCH.md - Информация о GPT -4 включено семантическое поиск и другую информацию
  • TEXT_PROMPTS.md - небольшой файл с помощью хороших подсказок GPT3
• INFRA.md - Raw Notes об инфраструктуре AI, оборудовании и масштабировании
• AUDIO.md - отслеживание аудио/музыка/транскрипция голоса + поколение
• CODE.md - модели Codegen, такие как Copilot
• IMAGE_GEN.md - самый разработанный файл, с самыми тяжелыми примечаниями на стабильную диффузию, а некоторые на Midjourney и Dalle.
  • IMAGE_PROMPTS.md - небольшой файл с хорошим изображением
• Ресурсы : стоя, очищенные ресурсы, которые предназначены для постоянного знакомства с
• Примечания к заглушке - очень маленькие/легкие прото -страницы будущих областей покрытия - AGENTS.md - Отслеживание "Агент Ай"
• Идеи в блоге - Потенциальные идеи сообщения в блоге, полученные из этих заметок BC

Оглавление

• Мотивационные варианты использования
• Верхний ИИ читает
• Сообщества
• Люди
• Разное
• Цитаты, реальность и демотивация
• Юридическая, этика и конфиденциальность

Мотивационные варианты использования

• изображения
  • https://mpost.io/best-100-stable-diffusion-prompts-the-most beautiful-ai-text-to-image-prompts
  • 3D МРТ -синтетические изображения мозга - положительный прием из нейровизуализации статистика
  • Многопользовательская стабильная диффузия
• видео
  • img2img из известных сцен кино (Лалаленд)
    • Актер преобразования IMG2IMG с EBSYNTH + KOE_RECAST
    • Как работает ebsynth https://twitter.com/tomlikesrobots/status/1612047103806545923?s=20
  • Виртуальная мода (Каренксхенг)
  • бесшовные плиточные изображения
  • Эволюция сцен (Ксандер)
  • Outpainting https://twitter.com/orbamsterdam/status/1568200010747068417?s=21&t=rliacnwoijjmis37s8qcw
  • Webui img2img Collaboration https://twitter.com/_akhaliq/status/1563582621757898752
  • Изображение к видео с вращением https://twitter.com/tomlikesrobots/status/1571096804539912192
  • «Приглашенная краска» https://twitter.com/1littlecoder/status/1572573152974372864
  • Audio2Video Анимация вашего лица https://twitter.com/siavashg/status/1597588865665363969
  • Физические игрушки для 3D модели + анимация https://twitter.com/sergeyglkn/status/1587430510988611584
  • Музыкальные клипы
    • Видео убило радиозвезда, Colab That использует Whisper-To-Text's Openai, что позволяет вам снять видео на YouTube и создать стабильную диффузионную анимацию, вызванную текстами в видео YouTube
    • Стабильные диффузионные видеоролики генерируют видео путем интерполяции между подсказками и аудио
  • Прямой текст 2 -видео проект
    • https://twitter.com/_akhaliq/status/1575546841533497344
    • https://makeavideo.studio/ - explorer https://webvid.datasette.io/webvid/videos
    • https://phenaki.video/
    • https://github.com/thudm/cogvideo
    • https://imagen.research.google/video/
• Text-3d https://twitter.com/_akhaliq/status/1575541930905243652
  • https://dreamfusion3d.github.io/
  • Open Source Impl: https://github.com/ashawkey/stable dreamfusion
  • Демо https://twitter.com/_akhaliq/status/1578035919403503616
• Текстовые продукты
  • В конце есть список USECASE
• Джаспер
• GPT для Obsidian https://reasonabledeviations.com/2023/02/05/gpt-for-second-brain/
• gpt3 по электронной почте https://github.com/sw-yx/gpt3-mail и кластеризация электронной почты
• GPT3 () в Google Sheet 2020, 2022 - Лист Google Sheets https://twitter.com/mehran__jalali/status/1608159307513618433
  • https://gpt3demo.com/apps/google-sheets
  • Charm https://twitter.com/shubroski/status/1620139262925754368?s=20
• https://www.summari.com/ summari помогает занятым людям читать больше
• Рыночные карты/ландшафты
  • Elad Gil 2024 Stack Dicart
  • Карта рынка Sequoia январь 2023 г., июль 2023 г., сентябрь 2023 г.
  • Карта рынка BASE10 https://twitter.com/letsenhance_io/status/15948263833054494911
  • Matt Shumer Mark Map https://twitter.com/mattshumer_/status/1620465468229451776 https://docs.google.com/document/d/1sewtbzrf087f6hfxiyeoisgc1n4n3o7o7yrzijvexcgquexcgquexc quexcgqu -/editexcgqu -qu -excgexcgquexcgquexcgquexcgquexcgquexcgquexcgquexcgquexcgquexcgquexcgquexcgquexcgqcgqu -/editiTItItItItItItItItItItItItiT
  • nfx https://www.nfx.com/post/generative-ai-tech-5-layers?ref=context-by-cohere
  • A16Z https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform/
    • https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/
    • https://a16z.com/100-gen-ai-apps
  • Madrona https://www.madrona.com/foundation-models/
  • покрытие
    • https://www.coatue.com/blog/persperive/ai-the-coming-revolution-2023
    • https://x.com/sam_awrabi/status/1742324900034150646?s=20
• Игровые активы -
  • Thread Emad https://twitter.com/emostaque/status/1591436813750906882
  • Scenario.gg https://twitter.com/emmanuel_2m/status/1593356241283125251
  • Пример моделирования персонажа 3D игры
  • MARIOGPT https://arxiv.org/pdf/2302.05981.pdf https://www.slashgear.com/1199870/mariogpt-uses-ai-togenerate-end-super-mario-levels-for free/ https: //github.com/shyamsn97/mario-gpt/blob/main/mario_gpt/level.py
  • https://news.ycombinator.com/item?id=36295227

Верхний ИИ читает

Более продвинутые чтения GPT3 были разделены на https://github.com/sw-yx/ai-notes/blob/main/text.md

• https://www.gwern.net/gpt-3#prompts-s-программа
• https://learnprompting.org/

Новичок читает

• Билл Гейтс на AI (твит)
  • «Разработка ИИ так же фундаментальна, как и создание микропроцессора, персонального компьютера, Интернета и мобильного телефона. Это изменит способ работы, обучающихся, путешествуя, получают медицинское обслуживание и общаются друг с другом».
• Стив Йегге на искусственном интеллекте для разработчиков
• Карпати 2023 Вступление в LLMS (Заметки от Сары Чиенг)
• Руководство по быстрого инженера от Openai в Neurips через Sarah Chieng
• Почему этот момент ИИ может быть реальной сделкой
• Сэм Альтман - закон Мура для всего
• Отличное введение в модели фундамента от MSR https://youtu.be/hqi6o5dlyfc
• ОБНОВЛЕНИЕ РУКОВОДСТВО OPENAI https://beta.openai.com/docs/quickstart/add-some-examples
• Google Lamda Intro https://aitestkitchen.withgoogle.com/how-lamda-works
• Курс градиента карпати
• FT Визуальное рассказывание историй о "Как работают трансформаторы"
• DALLE2 Подсказка о написании книги http://dallery.gallery/wp-content/uploads/2022/07/the-dall%c2%b7e-2-prompt-book-v1.02.pdf
• https://medium.com/nerd-for-tech/prompt-engineering-the-career-offuture-2fb93f90f117
• Как использовать ИИ, чтобы делать вещи, получая информацию, работа с данными и создание изображений
• https://ourworldindata.org/brief-history-of-ai ai Обзор прогресса с хорошими диаграммами
• Джон Стоукс.
• Эндрю Н.Г. - Возможности в ИИ
• Что такое трансформаторные модели и как они работают? - Может быть, слишком высокий уровень
• генерация текста
  • HumanLoop's Grong Engineering 101
  • Объяснения Стивена Вольфрама https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-hy-does-it-work/
  • эквивалент от Jon Stokes Jonstokes.com/p/the-chat-stack-gpt-4-and-the-near
  • https://andymatuschak.org/prompts/
  • Компания LLM University https://docs.cohere.com/docs/llmu
    • Руководство Джея Аламмара по всем вещам: https://llm.university/
  • https://www.jonstokes.com/p/chatgpt-explained-a-guide-for-нормы для норм
• генерация изображений
  • https://wiki.installgentoo.com/wiki/stable_diffusion Обзор
  • https://www.reddit.com/r/stablediffusion/comments/x41n87/how_to_get_images_that_dont_suck_a/
  • https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/
  • https://www.kdnuggets.com/2021/03/beginners-guide-clip-model.html
• Для нехнологических
  • https://www.jonstokes.com/p/ai-content-generation-part-1-machine
  • https://www.protocol.com/generative-ai-startup-landscape-map
  • https://twitter.com/saranormous/status/1572791179636518913

Промежуточные чтения

• Отчет о штате ИИ : 2018, 2019, 2020, 2021, 2022
• Обратные хронологические основные события https://bleedingedge.ai/
• Что мы знаем о LLMS - отличный резюме исследования
• 1 -часовое руководство Карпати по LLMS - Резюме от Сары Чиенг
  • 1. Что такое большая языковая модель (LLM)?
    • Есть два основных компонента LLM
      • Что делает LLM?
  1. Как создать LLM?
     • Этап 1: модель перед тренировкой
     • Этап 2: модель тонкой настройки
       • Этап 2B: [необязательно] Дополнительная точная настройка
     • Стадия 3: модельный вывод
     • Стадия 4: [Необязательно] СДУБРЫ
  2. Нынешний LLM «таблица лидеров»
  3. Будущее LLMS: Что дальше?
     • Как повысить производительность LLM?
       • LLM Масштабирование законов
       • Самосовершенствование
     • Как улучшить способности LLM?
       • Мультимодальность
       • Система 1 + 2 мышление
  4. LLM Dark Arts
     • Джейлбрейк
     • Быстрое инъекция
     • Отравление данных и атаки Backdoor
  • Эван Морикава Руководство по математике LLM, особенно 5 -й части масштабирования.
• Руководство хакерского руководства по языковым моделям (YouTube) 90-минутный обзор LLM-обучения Джереми Ховарда-начиная с оснований: 3-ступенчатый подход предварительного обучения / настройки / классификатора Ulmfit, используемый во всех современных LLMS.
• https://spreadsheets-are-all-you-need.ai
• «Уверенность в странном мире LLMS» - 40 -минутный обзор Саймона Уиллисона + открытые вопросы для инженеров ИИ
• Обзор LLMS от Flyte
• Клементина Фуррера о том, как делаются эвалы
• Образцы для строительства систем и продуктов на основе LLM - Отличный резюме
  • Evals: чтобы измерить производительность
  • Тряпка: добавить недавние внешние знания
  • Тонкая настройка: чтобы стать лучше в определенных задачах
  • Кэширование: чтобы уменьшить задержку и стоимость
  • Guardrails: чтобы обеспечить качество выхода
  • Защитный UX: для изящного предвидеть и управлять ошибками
  • Соберите отзывы пользователя: для создания нашего маховика данных
• Векторные базы данных: технический праймер [PDF] Очень хорошие слайды на векторных DBS
  • Отсутствует охват гибридного поиска (Vector + Lexical). Дальнейшие дискуссии
• A16Z AI Canon https://a16z.com/2023/05/25/ai-canon/
  • Программное обеспечение 2.0 : Андрей Карпати был одним из первых, кто четко объяснил (в 2017 году!) Почему новая волна ИИ действительно имеет значение. Его аргумент заключается в том, что ИИ - это новый и мощный способ программирования компьютеров. По мере того, как LLM быстро улучшились, этот тезис оказался предварительным, и дает хорошую ментальную модель для того, как рынок ИИ может прогрессировать.
  • Состояние GPT : также из Карпати, это очень доступное объяснение того, как модели CHATGPT / GPT в целом работают, как их использовать и какие направления могут принять исследования и разработки.
  • Что делает Chatgpt ... и почему это работает? : Компьютерный ученый и предприниматель Стивен Вольфрам дает длинное, но хорошо читаемое объяснение из первых принципов о том, как работают современные модели ИИ. Он следует за временной шкалой от ранних нейронных сетей до сегодняшних LLMS и CHATGPT.
  • Трансформеры, объясненный : этот пост Дейла Марковица - более короткий, более прямой ответ на вопрос «Что такое LLM и как это работает?» Это отличный способ облегчить тему и разработать интуицию для этой технологии. Это было написано о GPT-3, но все еще относится к более новым моделям.
  • Как работает стабильная диффузия : это аналог компьютерного зрения к последнему сообщению. Крис Маккормик дает объяснение непрофессионала о том, как работает стабильная диффузия и развивает интуицию вокруг моделей текста до изображения в целом. Для еще более мягкого введения, ознакомьтесь с этим комиксом из R/Stablediffusion.
  • Объяснители
    • Глубокое обучение в двух словах: основные концепции : эта серия из четырех частей от Nvidia проходит основы глубокого обучения, как практикуется в 2015 году, и является хорошим ресурсом для тех, кто просто узнает об ИИ.
    • Практическое глубокое обучение для кодировщиков : всеобъемлющий, бесплатный курс по основам ИИ, объясняется с помощью практических примеров и кода.
    • Word2VEC объяснил : легкое введение в встраиваемые и токены, которые являются строительными блоками LLMS (и всех языковых моделей).
    • Да, вы должны понимать BackProp : более глубокий пост о распространении обратного распространения, если вы хотите понять детали. Если вы хотите еще больше, попробуйте лекцию Stanford CS231N (курс здесь) на YouTube.
  • Курсы
    • Стэнфорд CS229 : Введение в машинное обучение с Эндрю Нг, охватывающая основы машинного обучения.
    • Стэнфорд CS224N : NLP с глубоким обучением с Крисом Мэннингом, охватывающим основы НЛП через первое поколение LLMS.
• https://github.com/mlabonne/llm-course
• https://cims.nyu.edu/~sbowman/eightthings.pdf
  1. LLMS предсказуемо становится все более способным к увеличению инвестиций, даже без целевых инноваций.
  2. Многие важные поведения LLM непредсказуемо появляются как побочный продукт растущих инвестиций.
  3. LLM часто, по -видимому, изучают и используют представления внешнего мира.
  4. Нет надежных методов управления поведением LLMS.
  5. Эксперты еще не могут интерпретировать внутреннюю работу LLMS.
  6. Человеческая производительность на задаче не является верхней границей для производительности LLM.
  7. LLM не должны выражать значения их создателей или значений, кодируемых в веб -тексте.
  8. Краткие взаимодействия с LLM часто вводят в заблуждение.
  9. Simonw выделяет https://fedi.simonwillison.net/@simon/110144185463887790
• 10 открытых проблем в исследовании LLM https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
• Openai Quick Eng Cookbook https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_relability.md
• О обзоре eng eng https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
• https://moultano.wordpress.com/2023/06/28/the-many-ways-that-digital-minds-can-know/ Сравнение поиска с AI
• Резюме крупных событий AI 2022 года https://www.deeplearning.ai/the-cach/issue-176/
• Dalle2 Generation + Inpainting https://twitter.com/aifunhouse/status/1576202480936886273?s=20&t=5exa1uydpva2sjzm-sxhcq
• Suhail Journey https://twitter.com/suhail/status/1541276314485018625?s=20&t=x2mvkqkhdr28iz3vzeeo8w
• Компонируемая диффузия - "и" вместо "и" https://twitter.com/tomlikesrobots/status/1580293860902985728
• На токенизации BPE https://towardsdatascience.com/byte-pair-coding-subword на основе tokenization-algorithm-77828a70bee0 См. Также Google предложение и Openai Tiktoken
  • Источник в GPT2 Source https://github.com/openai/gpt-2/blob/master/src/encoder.py
  • Обратите внимание, что BPS являются неоптимальными https://www.lesswrong.com/posts/dfbfclza4pejckekc/a-mechanistic-explanation-for-solidgoldmagikarp-like-tokens?commentid=9jndkscwewbbb4gtcq
    • // ------------------------------------------------ ------------------------------------------------------ ---------------это один токен GPT-4
    • GPT-3.5 сбои, когда он думает о UseralativeImagePath слишком много
    • Вызывает проблемы с символом по математике и строке https://news.ycombinator.com/item?id=35363769
    • и вызвать проблемы с Evals
    • Токены глюка случаются, когда токенизатор имеет другой набор данных, чем LLM
    • Карпати говорит о том, почему токенизация грязная
  • https://platform.openai.com/tokenizer и https://github.com/openai/tiktoken (подробнее: https://tiktokenizer.vercel.app/)
  • Wordsiece -> bpe -> sentencetransformermer
    • Предварительное чтение на встраивании
    • https://youtu.be/qddoffkvkcw?si=qefzsddspxdnd313
    • Huggingface Mteb Benchmark of Gunch of Entgeddings
    • Примечательные проблемы со встроениями и альтернативами GPT3 для рассмотрения
  • https://observablehq.com/@simonw/gpt-3-token-encoder-decoder
  • Карпати хочет, чтобы токенизация ушла https://twitter.com/karpathy/status/1657949234535211009
  • Позиционное кодирование не требуется только для декодера.
• Создает свой собственный язык https://twitter.com/giannis_daras/status/1531693104821985280
• Google Cloud Generative AI Learning Path https://www.cloudskillsboost.google/paths/118
• img2img https://andys.page/posts/how-to-praw/
• О языковом моделировании https://lena-voita.github.io/nlp_course/language_modeling.html и доступное, но техническое объяснение генерации языка, включая выборки из распределений и некоторую механистическую интенсивность (поиск нейрона, который отслеживает состояние цитирования)
• Поиск фотореализма https://www.reddit.com/r/stablediffusion/comments/x9zmjd/quest_for_ultimate_photorealism_part_2_colors/
  • https://medium.com/merzazine/prompt-design-for-dall-e-photorealeal-mulation-reality-6f478df6f186
• Настройки настройки https://www.reddit.com/r/stablediffusion/comments/x3k79h/the_feling_of_discovery_sd_is_like_a_great_proc/
  • Выбор семян https://www.reddit.com/r/stablediffusion/comments/x8szj9/tutorial_seed_selection_and_the_impact_on_your/
  • Исследование разности параметров параметров параметров (Steps, clamp_max, eta, cutn_batches и т. Д.) https://twitter.com/kyrickyoung/status/1500196286930292742
  • Генеративный AI: автозаполнение для всего https://noahpinion.substack.com/p/generative-ai-autocomplete-for-everything?sd=pf
  • Как GPT получает свои способности? Отслеживание возникающих способностей языковых моделей в их источниках хорошая статья с историей развития семейства моделей GPT и как развивались возможности
• https://barryz-architecture-of-agentic-llm.notion.site/alost-everything-i-about-llms-d117ca25d4624199be07e9b0ab356a77

Advanced Reads

• https://github.com/mooler0410/llmspracticalguide
  • Хороший список всех документов IMPT
• https://github.com/eleutherai/cookbook#the-cookbook Eleuther AI Список ресурсов для обучения. Сравните с https://github.com/google-research/tuning_playbook
• Anti Hype LLM Список чтения https://gist.github.com/veekaybee/be375ab33085102f9027853128dc5f0e
• 6 статей от Джейсона Вэй из Openai (блог)
  • GPT-3 Paper (https://arxiv.org/abs/2005.14165)
  • побуждение в цепочке (https://arxiv.org/abs/2201.11903)
  • Законы об масштабировании, (https://arxiv.org/abs/2001.08361)
  • Эффективные способности (https://arxiv.org/abs/2206.07682)
  • Языковые модели могут следовать как с перевернутыми этикетками, так и семантически нерелизованными этикетками (https://arxiv.org/abs/2303.03846)
• LLM Paper Notes - Примечания из Клуба скрытой космической бумаги от Юджина Яна
• Трансформаторы с нуля https://e2eml.school/transformers.html
  • Transformers против LSTM https://medium.com/analytics-vidhya/why-ar-lstms, борьба с поступлением
  • Код трансформатора
  • Transformer Familyi https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/
    • Список бумаги Carmack https://news.ycombinator.com/item?id=34639634
    • Модели трансформаторов: введение и каталог https://arxiv.org/abs/2302.07730
    • DeepMind - формальные алгоритмы для трансформаторов https://arxiv.org/pdf/2207.09238.pdf
  • Джей Аламмар объясняет
    • https://jalammar.github.io/illustrated-transformer/
    • https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-atration/
• Карпати на трансформаторах
  • Конвергенция : продолжающаяся консолидация в ИИ невероятно. Когда я начал ~ десять лет назад, видение, речь, естественный язык, подкрепление обучения и т. Д. Были совершенно отделены; Вы не могли прочитать документы по районам - подходы были совершенно разными, часто даже не основанные на ML. В 2010 году все эти области начали переходить 1) на машинное обучение и, в частности, 2) нейронные сети. Архитектуры были разнообразными, но, по крайней мере, статьи начали читать более похожие, все они использовали большие наборы данных и оптимизируют нейронные сети. Но около ок. Последние два года даже нейронные сетевые архитектуры во всех областях начинают выглядеть идентично - трансформатор (определяется в ~ 200 строках Pytorch https://github.com/karpathy/mingpt/blob/master/mermppt/model.py… ), с очень незначительными различиями. Либо как сильное базовое, либо (часто) состояние искусства. (Tweetstorm)
  • Почему Transformers выиграли : трансформатор-это великолепная архитектура нейронной сети, потому что это дифференцируемый компьютер общего назначения. Это одновременно: 1) выразительный (в прямом промежутке) 2) оптимизируемый (через обратный процесс+градиентный спуск) 3) Эффективный (высокий параллелизм вычисляющий график) твит -шторм
    • https://twitter.com/karpathy/status/1593417989830848512?s=20
    • Разработана в 1 час Стэнфордской лекции и 8 -минутной резюме Лекса Фридмана
  • Babygpt с двумя токенами 0/1 и длиной контекста 3, рассматривая его как цепочку марковского конечного состояния. Он был обучен последовательности «111101111011110» для 50 итераций. Параметры и архитектура трансформатора изменяют вероятности на стрелках.
  • Стройте GPT с нуля https://www.youtube.com/watch?v=Kcc8fmeb1ny
  • Различный GPT с нуля в 60 loc https://jaykmody.com/blog/gpt-from-scratch/
• Диффузионные модели с нуля, с новой теоретической перспективы - Интро, управляемое кодом диффузионных моделей
• 137 возникающие способности крупных языковых моделей
  • Заданные в результате появления задач: Big-Bench и MMLU Benchmarks
  • Возникающие стратегии подсказки
    • Следование инструкциям
    • Царапина
    • Использование знаний в открытой книге для проверки фактов
    • Побуждение к цепочке мыслей
    • Индекс дифференцируемого поиска
    • Самосогласованность
    • Использование объяснений в подсказке
    • Наименьшее количество подсказок
    • Zero-Shot heack of Yout
    • Калибровка через P (true)
    • Многоязычная цепь мыслей
    • Ask-Me-любое подсказка
  • Некоторый откат - это мир? просто не используйте резкие метрики
    • https://www.jasonwei.net/blog/common-arguments-regarding-emergent-ability
    • https://hai.stanford.edu/news/ais-ostensible-emergent-ability-are-mirage
  • Изображения
    • Евгений Ян объяснение текста в стек изображений https://eugeneyan.com/writing/text-to-image/
    • Vqgan/clip https://minimaxir.com/2021/08/vqgan-clip/
    • 10 лет истории генерации изображений https://zentralwerkstatt.org/blog/ten-ydy-image-synthesis
    • Vision Transformers (Vit) объяснил https://www.pinecone.io/learn/vision-transformers/
  • Отрицательное подсказка https://minimaxir.com/2022/11/stable-diffusion-negative-prompt/
  • Лучшие документы 2022 года https://www.yitay.net/blog/2022-best-nlp-papers
  • Предсказуемость и удивление в крупных генеративных моделях - хорошем опросе о том, что мы знаем о масштабировании и возможностях и росте LLMS до сих пор
• Более быстрые документы Eng https://github.com/dair-ai/prompt-engineering-guide
• https://creator.nightcafe.studio/vqgan-clip-keyword-difier-comparison vqgan+clip
• История трансформаторов
  • Ричард Сочер об их вкладе в механизм внимания, приводящий к трансформаторам https://overcast.fm/+r1p4nkffu/1:00:00
  • https://kipp.ly/blog/transformer-taxonomy/ Этот документ-мой обзор литературы для людей, пытающихся наверстать упущенное в области искусственного интеллекта. Он охватывает 22 моделя, 11 архитектурных изменений, 7 методов пост-тренировок и 3 метода обучения (и 5 вещей, которые не являются вышеперечисленными)
  • Понимание крупных языковых моделей поперечного сечения самой релевантной литературы, чтобы достичь скорости
    • Подавая кредиту Банданау и др. (2014), который, как я полагаю, впервые предложил концепцию применения функции Softmax по сравнению с показателями токенов для вычисления внимания, установив основу для оригинального трансформатора Vaswani et al (2017). https://news.ycombinator.com/item?id=35589756
  • https://finbarrtimbers.substack.com/p/five-ygess-of-progress-in-gpts gpt1/2/3, мегатрон, суслика, шиншилла, ладонь, лама
  • Хороший резюме (8 вещей, которые нужно знать) https://cims.nyu.edu/~sbowman/eightthings.pdf
• Объяснитель Huggingface Moe
• https://blog.alexalemi.com/kl-is-all-you-need.html

Мы сравнили 126 модификаторов ключевых слов с одинаковой подсказкой и начальным изображением. Это результаты.

• https://creator.nightcafe.studio/collection/8dmygkm1evxg7z9pv23w
• Google выпустил Partiprompts в качестве эталона: https://parti.research.google/ "Partiprompts (P2) - это богатый набор из более чем 1600 подсказок на английском языке, который мы выпускаем как часть этой работы. P2 может использоваться для измерения возможностей моделей Различные категории и оспаривают аспекты ".
• Видеоуроки
  • Pixel Art https://www.youtube.com/watch?v=UvJKQPTR-8S&feature=youtu.be
• История документов
  • 2008: унифицированная архитектура для NLP (Collobert-weston) https://twitter.com/ylecun/status/1611921657802768384
  • 2015: Полу-супервизированное обучение последовательности https://twitter.com/deliprao/status/1611896130589057025?
  • 2017: Трансформеры (Vaswani et al)
  • 2018: GPT (Radford et al)
• Разное
  • Стабильность ИТ-директора.
  • https://github.com/awesome-stable-diffusion/awesome-stable-diffusion
  • https://github.com/microsoft/lmops
  • Gwern's за кулисами обсуждение Bing, GPT4 и отношений Microsoft-openai https://www.lesswrong.com/posts/jtopawehlnxnxvgtt/bing-chat-is-slatably-aggressivery-maseligneded

другие списки подобных

• https://gist.github.com/rain-1/eebd5eb27844feecf450324e3341c8d
• https://github.com/underlines/awesome-marketing-datascience/blob/master/awesome-ai.md#llama-models
• https://github.com/imaurer/awesome-decentralized-llm

Сообщества

• Discords (см. Https://buttondown.email/ainews для ежедневных резюме по электронной почте, обновленные в прямом эфире)
  • Скрытая космическая разногласия (наш!)
  • Общий взлом и обучение
    • Chatgpt Hackers Discord
    • Выравнивание лаборатории AI Discord
    • Nous Research Discord
    • Обесценить разногласия
    • Карпати Дискорд (неактивная)
    • Объявление раздора
    • Skunkworks AI Discord (новый)
    • Джефф Ван/LLM Perf Entusists Discord
    • Режим CUDA (Mark Saroufim) увидимся на YouTube и GitHub
  • Искусство
    • Стабильный раздор
    • Deforum Discord https://discord.gg/upmxxsrwzc
    • Lexica Discord https://discord.com/invite/bmhbjj9wrh
  • ИИ исследования
    • Laion Discord https://discord.gg/xbpbxfcfhd
    • Eleuther Discord: https://www.eleuther.ai/get-involved/ (праймер)
  • Различные стартапы
    • Разнообразие с недоумением https://discord.com/invite/kwjzsxpdux
    • Разрушение Миджурни
      • Как использовать Midjourney v4 https://twitter.com/fabianstelzer/status/1588856386540417024?s=20&t=plglugaeeds9hwfegvrrpg
• https://stablehorde.net/
  • Агенты
    • Autogpt Discord
    • БАБАГИ ДЕСОКОД
• Reddit
  • https://reddit.com/r/stablediffusion
  • https://www.reddit.com/r/localllama/
  • https://www.reddit.com/r/bing
  • https://www.reddit.com/r/openai

Люди

*Неизвестно многим людям, растущее количество альфы сейчас находится за пределами ARXIV, источники включают, но не ограничиваются: https://github.com/trend *- k

Этот список будет устаревшим, но вы начнут вас. Мой живой список людей, которым нужно следовать: https://twitter.com/i/lists/1585430245762441216

• Исследователи/разработчики
  • https://twitter.com/_jasonwei
  • https://twitter.com/johnowhitaker/status/1565710033463156739
  • https://twitter.com/altryne/status/1564671546341425157
  • https://twitter.com/schmidhuberai
  • https://twitter.com/nearcyan
  • https://twitter.com/karinanguyen_
  • https://twitter.com/abhi_venigalla
  • https://twitter.com/advadnoun
  • https://twitter.com/polynoamial
  • https://twitter.com/vovahimself
  • https://twitter.com/sarahookr
  • https://twitter.com/shaneguml
  • https://twitter.com/maartensap
  • https://twitter.com/ethancaballero
  • https://twitter.com/shayneredford
  • https://twitter.com/seb_ruder
  • https://twitter.com/rasbt
  • https://twitter.com/wightmanr
  • https://twitter.com/garymarcus
  • https://twitter.com/ylecun
  • https://twitter.com/karpathy
  • https://twitter.com/pirroh
  • https://twitter.com/eerac
  • https://twitter.com/teknium
  • https://twitter.com/alinment_lab
  • https://twitter.com/picocreator
  • https://twitter.com/charlespacker
  • https://twitter.com/ldjconfirmed
  • https://twitter.com/nisten
  • https://twitter.com/far__el
  • https://twitter.com/i/lists/1713824630241202630
• Новости/Агрегаторы
  • https://twitter.com/ai__pub
  • https://twitter.com/weirdstableai
  • https://twitter.com/multimodalart
  • https://twitter.com/lastweekinai
  • https://twitter.com/paperswithcode
  • https://twitter.com/deeplearningai_
  • https://twitter.com/dl_weekly
  • https://twitter.com/slashml
  • https://twitter.com/_akhaliq
  • https://twitter.com/aaditya_ai
  • https://twitter.com/bentossell
  • https://twitter.com/johnvmcdonnell
• Основатели/Строители/ВК
  • https://twitter.com/levelsio
  • https://twitter.com/goodside
  • https://twitter.com/c_valenzuelab
  • https://twitter.com/raza_habib496
  • https://twitter.com/sharifshameem/status/15624556907147755552
  • https://twitter.com/genekogan/status/1555184488606564353
  • https://twitter.com/levelsio/status/1566069427501764613?s=20&t=campswtmhdsehqwd0k7ig
  • https://twitter.com/amanrsanger
  • https://twitter.com/ctjlewis
  • https://twitter.com/sarahcat21
  • https://twitter.com/jackclarksf
  • https://twitter.com/alexandr_wang
  • https://twitter.com/rameerez
  • https://twitter.com/scottastevenson
  • https://twitter.com/denisyarats
• Стабильность
  • https://twitter.com/stabilityai
  • https://twitter.com/stablediffusion
  • https://twitter.com/hardmaru
  • https://twitter.com/jjitsev
• Openai
  • https://twitter.com/sama
  • https://twitter.com/ilyasut
  • https://twitter.com/miramurati
• Объятие
  • https://twitter.com/younesbelkada
• Художники
  • https://twitter.com/karenxcheng/status/1564626773001719813
  • https://twitter.com/tomlikesrobots
• Другой
  • Компании
    • https://twitter.com/anthropicai
    • https://twitter.com/assemblyai
    • https://twitter.com/cohereai
    • https://twitter.com/mosaicml
    • https://twitter.com/metaai
    • https://twitter.com/deepmind
    • https://twitter.com/hellopaperspace
• Боты и приложения
  • https://twitter.com/dreamtweetapp
  • https://twitter.com/aiarteveryhour

Цитаты, реальность и демотивация

• Узкий, домен Tedium usecases https://twitter.com/willmanidis/status/1584900092615528448 и https://twitter.com/willmanidis/status/1584900100480192516
• Antihype https://twitter.com/alexandr_wang/status/1573302977418387457
• Antihype https://twitter.com/fchollet/status/161214242342513868888888 66&t=plcnw9pf-co4bn08qqvaug
• быстрое eng mebes
  • https://twitter.com/_jasonwei/status/1516844920367054848
• Вещи Stablediffusion борются с https://opguides.info/posts/aiartpanic/
• Новый Google
  • https://twitter.com/alexandr_wang/status/1585022891594510336
• Новый PowerPoint
• через Эмад
• Добавление подсказок по умолчанию в пользовательском интерфейсе
• Dalle: https://twitter.com/levelsio/status/1588588688115912705?s=20&t=0ojpgmh9k6miedyvg2i6gg
• Было две предыдущие зимы, одна 1974-1980 гг. И одна 1987-1993. https://www.erichgrunewald.com/posts/the-prospect-of-an-ai-winter/. немного больше комментариев здесь. Связанный - Эффект ИИ - «Как только он работает, это не ИИ»
• Это просто умножение матрицы/стохастические попугаи
  • Даже LLM Skeptic Yann Lecun говорит, что у LLMS есть некоторый уровень понимания: https://twitter.com/ylecun/status/1667947166764023808
  • Гэри Маркус «Глубокое обучение попадает в стену» https://nautil.us/deep-learning-is-hiting-a-wall-2384440/ Протолкнутые символические системы
• "Guo Lai ren" Antihypers-> заботы
  • https://adamkarvonen.github.io/machine_learning/2024/03/20/chess-gpt-interventions.html#next-token-predictors

Юридическая, этика и конфиденциальность

• Фильтр NSFW https://vickiboykis.com/2022/11/18/some-notes-on-the-stable-diffusion-safety-filter/
• На "AI Art Panic" https://opguides.info/posts/aiartpanic/
  • Я потерял все, что заставило меня полюбить свою работу через Midjourney
  • Список артистов Midjourney
• Янник влияет на OpenRail-m https://www.youtube.com/watch?v=W5m-dvzpzsq
• Художественные школы принимают искусство AI https://twitter.com/daverogenmoser/status/159774655581452656644
• DRM выпускает https://undeleted.ronsor.com/voice.ai-gpl-violations-with-a-side-of-prm//
• Во кражу искусства https://stablediffusionlitigation.com
  • http://www.stablediffusionfrivolous.com/
  • Стабильная атрибуция https://news.ycombinator.com/item?id=34670136
  • Аргумент Coutner для Disney https://twitter.com/jonst0kes/status/1616219435492163584?s=46&t=hqqqdh1yewhwusqxytmf8w
  • Исследование стабильной диффузионной копии https://twitter.com/officialzhvng/status/1620535905298817024?s=20&t=nc-nw7pfda8nyrd08lx1nw Эта статья использовала стабильную диффузию для создания 175 миллионов изображений по сравнению с 350 000 по площади и только в следующих копиях. Я прав, что мой основной вывод из этого - то, насколько хороша стабильная диффузия не запоминает примеры обучения?
• Сокращение контента
  • https://blog.ericgoldman.org/archives/2023/08/web-scraping-for-me-but-not-for-thee-guest-blog-prost.htm
  • Случай Сары Сильверман-Ответ Openai https://arstechnica.com/tech-policy/2023/08/openai-disputes-authors-claims-that-every-chatgpt-response-is-a-divative-work/
  • Ответ Openai
• Лицензирование
  • Вес AI не открыты «источник» - Sid Sijbrandij
• Разнообразие и справедливость
  • Сексинизирующиеся меньшинства https://twitter.com/lanadenina/status/1680238883206832129 Причина в том, что порно хороша в телах
  • Openai, затягивая "черный" случайным образом, чтобы сделать Dalle разнообразным
• Конфиденциальность-Конфиденциальные вычисления https://www.edgeless.systems/blog/how-confidential-computing-and-ai-fit-together/
• AI taking jobs https://donaldclarkplanb.blogspot.com/2024/02/this-is-why-idea-that-ai-will-just.html

Alignment, Safety

• Anthropic - https://arxiv.org/pdf/2112.00861.pdf
  • Helpful: attempt to do what is ask. concise, efficient. ask followups. redirect bad questions.
  • Honest: give accurate information, express uncertainty. don't imitate responses expected from an expert if it doesn't have the capabilities/knowledge
  • Harmless: not offensive/discriminatory. refuse to assist dangerous acts. recognize when providing sensitive/consequential advice
  • criticism and boundaries as future direction https://twitter.com/davidad/status/1628489924235206657?s=46&t=TPVwcoqO8qkc7MuaWiNcnw
• Just Eliezer entire body of work
  • https://twitter.com/esyudkowsky/status/1625922986590212096
  • agi list of lethalities https://www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
  • note that eliezer has made controversial comments in the past and also in recent times (TIME article)
• Connor Leahy may be a more sane/measured/technically competent version of yud https://overcast.fm/+aYlOEqTJ0
  • it's not just paperclip factories
  • https://www.lesswrong.com/posts/HBxe6wdjxK239zajf/what-failure-looks-like
• the 6 month pause letter
  • https://futureoflife.org/open-letter/pause-giant-ai-experiments/
  • yann lecun vs andrew ng https://www.youtube.com/watch?v=BY9KV8uCtj4
  • https://scottaaronson.blog/?p=7174
  • emily bender response
  • Geoffrey Hinton leaving Google
  • followed up by one sentence public letter https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
• xrisk - Is avoiding extinction from AI really an urgent priority? (связь)
  • AI Is not an arms race. (связь)
  • If we're going to label AI an 'extinction risk,' we need to clarify how it could happen. (связь)
• OpenAI superalignment https://www.youtube.com/watch?v=ZP_N4q5U3eE

regulation

• chinese regulation https://www.chinalawtranslate.com/en/overview-of-draft-measures-on-generative-ai/
  • https://twitter.com/mmitchell_ai/status/1647697067006111745?s=46&t=90xQ8sGy63D2OtiaoGJuww
  • China is the only major world power that explicitly regulates generative AI
• italy banning chatgpt
• • At its annual meeting in Japan, the Group of Seven (G7), an informal bloc of industrialized democratic governments, announced the Hiroshima Process, an intergovernmental task force empowered to investigate risks of generative AI. G7 members, which include Canada, France, Germany, Italy, Japan, the United Kingdom, and the United States, vowed to craft mutually compatible laws and regulate AI according to democratic values. These include fairness, accountability, transparency, safety, data privacy, protection from abuse, and respect for human rights.
• US President Joe Biden issued a strategic plan for AI. The initiative calls on US regulatory agencies to develop public datasets, benchmarks, and standards for training, measuring, and evaluating AI systems.
• Earlier this month, France's data privacy regulator announced a framework for regulating generative AI.
• regulation vs Xrisk https://1a3orn.com/sub/essays-regulation-stories.html
• Multimodal Prompt Injection in GPT4V

Misc

• Шепот
  • https://huggingface.co/spaces/sensahin/YouWhisper YouWhisper converts Youtube videos to text using openai/whisper.
  • https://twitter.com/jeffistyping/status/1573145140205846528 youtube whipserer
  • multilingual subtitles https://twitter.com/1littlecoder/status/1573030143848722433
  • video subtitles https://twitter.com/m1guelpf/status/1574929980207034375
  • you can join whisper to stable diffusion for reasons https://twitter.com/fffiloni/status/1573733520765247488/photo/1
  • known problems https://twitter.com/lunixbochs/status/1574848899897884672 (edge case with catastrophic failures)
• textually guided audio https://twitter.com/FelixKreuk/status/1575846953333579776
• Codegen
  • CodegeeX https://twitter.com/thukeg/status/1572218413694726144
  • https://github.com/salesforce/CodeGen https://joel.tools/codegen/
• pdf to structured data - Impira used t to do it (dead link: https://www.impira.com/blog/hey-machine-whats-my-invoice-total) but if you look hard enough on twitter there are some alternatives
• text to Human Motion diffusion https://twitter.com/GuyTvt/status/1577947409551851520
  • abs: https://arxiv.org/abs/2209.14916
  • project page: https://guytevet.github.io/mdm-page/