ai notes Download - ai notes Quellcode Download

ai notes

Anderer Quellcode

1.0.0

Herunterladen

AI Notizen

Anmerkungen zum KI -Kunststaat der Kunst mit Schwerpunkt auf generativen und großen Sprachmodellen. Dies sind die "Rohstoffe" für den Newsletter https://lspace.swyx.io/.

Dieses Repo wurde früher https://github.com/sw-yx/prompt-eng genannt, wurde jedoch umbenannt, weil prompt Engineering überprüft wird. Dies ist jetzt ein AI Engineering Notes Repo.

Diese Readme ist nur der hohe Überblick über den Raum. Sie sollten die meisten Updates in den anderen Markdown -Dateien in diesem Repo sehen:

TEXT.md - Textgenerierung, hauptsächlich mit GPT -4
- TEXT_CHAT.md - Informationen zu Chatgpt und Wettbewerbern sowie derivativen Produkte
- TEXT_SEARCH.md - Informationen zu GPT -4 -fähig semantische Suche und andere Informationen
- TEXT_PROMPTS.md - Eine kleine Swipe -Datei mit guten GPT3 -Eingabeaufforderungen
INFRA.md - RAW -Hinweise zur KI -Infrastruktur, Hardware und Skalierung
AUDIO.md - Verfolgung von Audio/Musik/Sprachtranskription + Generation
CODE.md - Codegen -Modelle wie Copilot
IMAGE_GEN.md - Die am weitesten entwickelte Datei mit den schwersten Schwerpunkten zur stabilen Diffusion und einige zu Midjourney und Dalle.
- IMAGE_PROMPTS.md - Eine kleine Swipe -Datei mit guten Bildaufforderungen
RessourC
Stub Notes - Sehr kleine/leichte Proto -Seiten zukünftiger Abdeckungsbereiche - AGENTS.md - Verfolgung von "Agentic AI" verfolgen
Blog -Ideen - Potenzielle Blog -Post -Ideen, die aus diesen Notizen abgeleitet sind BC

Inhaltsverzeichnis

Motivationswendungsfälle
Top KI liest
Gemeinschaften
Menschen
Miser
Zitate, Realität und Demotivation
Recht, Ethik und Privatsphäre

Motivationswendungsfälle

Bilder
- https://mpost.io/best-100-stable-diffusion prompts-the-most-bautiful-ai-text-to-image-Prompts
- 3D MRT Synthetic Hirnbilder - positiver Empfang aus dem Neuroimaging -Statistiker
- Multiplayer -stabile Diffusion
Video
- IMG2img von berühmten Filmszenen (Lalaland)
  - Img2img transformierender Schauspieler mit Ebynth + Koe_Recast
  - Wie Ebynth funktioniert https://twitter.com/tomlikesrobots/status/1612047103806545923?s=20
- Virtuelle Mode (Karenxcheng)
- nahtlose Fliesenbilder
- Entwicklung der Szenen (Xander)
- Outpainting https://twitter.com/orbamsterdam/status/1568200010747068417?s=21&t=rliACNWOIJJMIS37S8QCCW
- webui img2img kollaboration https://twitter.com/_akhaliq/status/1563582621757898752
- Bild zu Video mit Rotation https://twitter.com/tomlikesrobots/status/1571096804539912192
- "prompt Paint" https://twitter.com/1littlecoder/status/1572573152974372864
- Audio2Video Animation Ihres Gesichts https://twitter.com/siavashg/status/1597588865665363969
- Physische Spielzeug zum 3D -Modell + Animation https://twitter.com/sergeygl/status/1587430510988611584
- Musikvideos
  - Video hat den Radio Star Colab getötet
  - Stabile Diffusionsvideos generieren Videos durch Interpolieren zwischen Eingabeaufforderungen und Audio
- Direct Text2Video -Projekt
  - https://twitter.com/_akhaliq/status/1575546841533497344
  - https://makeavideo.studio/ - Explorer https://webvid.datasette.io/webvid/videos
  - https://phenaki.video/
  - https://github.com/thudm/cogvideo
  - https://imagen.research.google/video/
Text-to-3d https://twitter.com/_akhaliq/status/1575541930905243652
- https://dreamfusion3d.github.io/
- Open Source Impl: https://github.com/ashawkey/stable-dreamfusion
- Demo https://twitter.com/_akhaliq/status/1578035919403503616
Textprodukte
- Hat eine Liste von USAS-Verschlüsselung am Ende https://huyenchip.com/2023/04/11/llm-engineering.html
Jaspis
GPT für Obsidian https://reproasonabviertesviations.com/2023/02/05/gpt-for-second-brain/
GPT3 E-Mail https://github.com/sw-yx/gpt3-email und E-Mail-Clustering
gpt3 () in Google Sheet 2020, 2022 - Blatt Google -Blätter https://twitter.com/mehran__jalali/status/1608159307513618433
- https://gpt3demo.com/apps/google-sheets
- Charm https://twitter.com/shubroski/status/1620139262925754368?s=20
https://www.summari.com/ Summari hilft vielbeschäftigten Menschen, mehr zu lesen
Marktkarten/Landschaften
- Elad Gil 2024 Stack Chart
- Sequoia Market Map Jan 2023, Juli 2023, September 2023
- Base10 Market Map https://twitter.com/letsenhance_io/status/1594826383305449491
- Matt Shumer Marktkarte
- NFX https://www.nfx.com/post/generative-ai-tech-5-layers?ref=context-by-cohere
- A16Z https://a16z.com/2023/01/19/who- wows-wids-the-generative-ai-platform/
  - https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/
  - https://a16z.com/100-gen-ai-apps
- Madrona https://www.madrona.com/foundation-models/
- Beschichtung
  - https://www.coatue.com/blog/perspektive/ai- the-coming-revolution-2023
  - https://x.com/sam_awrabi/status/1742324900034150646?s=20
Spielvermögen -
- Emad Thread https://twitter.com/emostaque/status/1591436813750906882
- szenario.gg https://twitter.com/emmanuel_2m/status/1593356241283125251
- Beispiel für 3D -Spielcharaktermodellierung
- Mariogpt https://arxiv.org/pdf/2302.05981.pdf https://www.slashgear.com/1199870/Mariogpt-us-uses-ai-t-t-generate-endless-super-mario-level-for-for-for-for-for-for-for-for-free/ https: //github.com/shyamsn97/mario-gpt/blob/main/mario_gpt/level.py
- https://news.ycombinator.com/item?id=36295227

Top KI liest

Die fortgeschritteneren GPT3-Reads wurden auf https://github.com/sw-yx/ai-notes/blob/main/text.md aufgeteilt

https://www.gwern.net/gpt-3#prompts-asprogramming
https://learnprompting.org/

Anfänger liest

Bill Gates auf KI (Tweet)
- "Die Entwicklung von KI ist ebenso grundlegend wie die Erstellung des Mikroprozessors, des PC, des Internets und des Mobiltelefons. Es wird die Art und Weise ändern, wie Menschen arbeiten, lernen, reisen, Gesundheitsversorgung erhalten und miteinander kommunizieren."
Steve Yegge über KI für Entwickler
Karpathy 2023 Intro zu LLMs (Notizen von Sarah Chieng)
Schnelltechnik Guide von OpenAI in Neurips über Sarah Chieng
Warum dieser KI -Moment der echte Deal sein könnte
Sam Altman - Moores Gesetz für alles
Hervorragende Einführung in Fundamentmodelle von MSR https://youtu.be/hqi6o5dlyfc
OpenAI prompt Tutorial https://beta.openai.com/docs/quickstart/add-some-examples
Google Lamda Intro https://aitestkitchen.withgoogle.com/how-lamda-works
Karpatenabstiegsabzugskurs
Ft visuelles Geschichtenerzählen über "Wie Transformatoren funktionieren"
Dalle2 prompt Schreibbuch http://dallery.gallery/wp-content/uploads/2022/07/the-dall%C2%B7E-2prompt-book-v1.02.pdf
https://medium.com/nerd-for-tech/prompt-gineering-the-career-future-2fb93f90f117
So verwenden Sie KI, um Informationen über Informationen zu tun, mit Daten zu arbeiten und Bilder zu machen
https://ourworldindata.org/brief-history-of-ai AI-Fortschrittsübersicht mit schönen Diagrammen
Jon Stokes 'KI -Inhaltsgenerierung, Teil 1: Grundlagen für maschinelles Lernen
Andrew Ng - Chancen in AI
Was sind Transformatormodelle und wie funktionieren sie? - Vielleicht ein bisschen zu hohe Niveau
Textgenerierung
- Humanloops promptierende Ingenieurwesen 101
- Stephen Wolframs Erklärungen https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
- Äquivalent aus Jon Stokes jonstokes.com/p/the-chat-stack-4-and-the-near
- https://andymatuschak.org/prompts/
- Coher's LLM University https://docs.cohere.com/docs/llmuu
  - Jay Alammars Leitfaden zu allen Dingen: https://llm.university/
- https://www.jonstokes.com/p/chatgpt-eplained-a-guide-for-normies für Normies
Bildgenerierung
- https://wiki.installgentoo.com/wiki/stable_diffusion Übersicht
- https://www.reddit.com/r/stablediffusion/comments/x41n87/how_to_get_images_that_dont_suck_a/
- https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/
- https://www.kdnuggets.com/2021/03/beginers-guide-clip-model.html
für nicht technisch
- https://www.jonstokes.com/p/ai-content-generation-part-1-machine
- https://www.protocol.com/generative-ai-startup-landscape-map
- https://twitter.com/saranormous/status/1572791179636518913

Intermediate Reads

Bericht des Bundesstaates AI : 2018, 2019, 2020, 2021, 2022
Reverse chronologische Hauptveranstaltungen https://bleedededge.ai/
Was wir über LLMs wissen - tolle Zusammenfassung der Forschung
Karpathys 1 -Stunden -Leitfaden zu LLMs - Zusammenfassung von Sarah Chieng
- 1. Was ist ein großes Sprachmodell (LLM)?
  - Es gibt zwei Hauptkomponenten eines LLM
    - Was macht ein LLM?
1. Wie erstellen Sie ein LLM?
  - Stufe 1: Modell vor dem Training
  - Stufe 2: Model Feinabstimmung
    - Stufe 2B: [optional] Zusätzliche Feinabstimmung
  - Stufe 3: Modellinferenz
  - Stufe 4: [optional] Überladungs -LLMs mit Anpassung
2. Die aktuelle LLM "Rangliste"
3. Die Zukunft von LLMs: Wie geht es weiter?
  - Wie verbessert man die LLM -Leistung?
    - LLM -Skalierungsgesetze
    - Selbstverbesserung
  - Wie verbessert man LLM -Fähigkeiten?
    - Multimodalität
    - System 1 + 2 Denken
4. Die LLM Dark Arts
  - Jailbreak
  - Einsprechende Injektion
  - Datenvergiftung und Backdoor -Angriffe
- Evan Morikawa -Leitfaden für LLM Math, insbesondere das 5 -Skaling -Herausforderungen
Ein Hacker-Leitfaden für Sprachmodelle (YouTube) Jeremy Howards 90-minütiger Überblick über LLM-Erkenntnisse-beginnend bei den Grundlagen: Der 3-Stufen-Ansatz vor der Ausbildung / Feinabstimmung / Klassifikator Ulmfit, der in allen modernen LLMs verwendet wird.
https://spreadsheets-are-all-you-need.ai
"Nachholen Sie die seltsame Welt von LLMs" - Simon Willisons 40 -minütiger Überblick + Offene Fragen für KI -Ingenieure
LLMS -Übersicht von Flyte
Clementine Fourrier darüber, wie Evals gemacht werden
Muster zum Aufbau von LLM -basierten Systemen und Produkten - großartige Zusammenfassung
- Evals: Die Leistung messen
- RAG: Um aktuelles, externes Wissen hinzuzufügen
- Feinabstimmung: Bei bestimmten Aufgaben besser werden
- Caching: Latenz und Kosten senken
- Leitplanken: Um die Ausgangsqualität zu gewährleisten
- Defensive UX: Fehler vorwegnehmen und anmutigen
- Sammeln Sie Benutzerfeedback: Um unser Datenschwungrad zu erstellen
Vektordatenbanken: Ein technischer Primer [PDF] Sehr schöne Folien auf Vektor DBS
- Fehlende Abdeckung der Hybridsuche (Vektor + lexikalisch). Weitere Diskussionen
A16Z AI Canon https://a16z.com/2023/05/25/ai-canon/
- Software 2.0 : Andrej Karpathy war einer der ersten, der (im Jahr 2017!) Eindeutig erklärte, warum die neue AI -Welle wirklich wichtig ist. Sein Argument ist, dass AI eine neue und leistungsstarke Methode ist, um Computer zu programmieren. Da sich die LLMs rasch verbessert haben, hat sich diese These als präsent erwiesen und bietet ein gutes mentales Modell dafür, wie der KI -Markt voranschreitet.
- Zustand der GPT : Auch aus Karpatpa, dies ist eine sehr zugängliche Erklärung, wie Chatgpt / GPT -Modelle im Allgemeinen, wie man sie benutzt und welche Richtungen F & E dauern können.
- Was macht Chatgpt ... und warum funktioniert es? : Informatiker und Unternehmer Stephen Wolfram geben eine lange, aber hoch lesbare Erklärung aus den ersten Prinzipien darüber, wie moderne KI -Modelle funktionieren. Er folgt der Zeitleiste von frühen neuronalen Netzen bis hin zu den heutigen LLMs und Chatgpt.
- Transformatoren erklärt : Dieser Beitrag von Dale Markowitz ist eine kürzere, direktere Antwort auf die Frage „Was ist ein LLM und wie funktioniert es?“ Dies ist eine großartige Möglichkeit, sich in das Thema zu entbinden und die Intuition für die Technologie zu entwickeln. Es wurde über GPT-3 geschrieben, gilt aber immer noch für neuere Modelle.
- Wie eine stabile Diffusion funktioniert : Dies ist das Computer -Vision -Analogon zum letzten Beitrag. Chris McCormick gibt eine Erklärung eines Laiens, wie stabile Diffusion funktioniert und im Allgemeinen Intuition für Text-zu-Image-Modelle entwickelt. Für eine noch sanftere Einführung finden Sie diesen Comic von R/Stablediffusion.
- Erklärer
  - Tiefes Learning In Autshell: Core Concepts : Diese vierteilige Serie von Nvidia geht durch die Grundlagen des Tieflernens, wie es 2015 praktiziert wird, und ist eine gute Ressource für jeden, der gerade etwas über KI lernt.
  - Praktisches Deep -Lernen für Codierer : Umfassender, kostenloser Kurs über die Grundlagen der KI, erläutert durch praktische Beispiele und Code.
  - Word2VEC erklärte : Einfache Einführung in Einbettungen und Token, bei denen es sich um Bausteine von LLMs (und allen Sprachmodellen) handelt.
  - Ja, Sie sollten BackProp verstehen : ein ausführlicherer Beitrag zur Back-Propagation, wenn Sie die Details verstehen möchten. Wenn Sie noch mehr wollen, probieren Sie den Stanford CS231N -Vortrag (Kurs hier) auf YouTube.
- Kurse
  - Stanford CS229 : Einführung in maschinelles Lernen mit Andrew Ng, der die Grundlagen des maschinellen Lernens abdeckt.
  - Stanford CS224N : NLP mit Deep Learning mit Chris Manning, der die NLP -Grundlagen durch die erste Generation von LLMs abdeckt.
https://github.com/mlabonne/llm-course
https://cims.nyu.edu/~sbowman/ightthings.pdf
1. LLMs werden vorhersehbar mit zunehmender Investitionen auch ohne gezielte Innovation in der Lage.
2. Viele wichtige LLM -Verhaltensweisen treten unvorhersehbar als Nebenprodukt zunehmender Investitionen auf.
3. LLMs scheinen häufig Darstellungen der Außenwelt zu lernen und zu verwenden.
4. Es gibt keine zuverlässigen Techniken, um das Verhalten von LLMs zu steuern.
5. Experten sind noch nicht in der Lage, das Innenleben von LLMs zu interpretieren.
6. Die menschliche Leistung bei einer Aufgabe ist keine Obergrenze für die LLM -Leistung.
7. LLMs müssen weder die Werte ihrer Ersteller noch die im Webtext codierten Werte ausdrücken.
8. Kurze Interaktionen mit LLMs sind oft irreführend.
9. SIMONW Highlights https://fedi.simonwillison.net/@simon/110144185463887790
10 Offene Herausforderungen in der LLM-Forschung https://huyenchip.com/2023/08/16/llm-research-open-chalenges.html
OpenAI prompt Eng Kochbuch https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_relability.md.md
Auf promptem Eng-Überblick https://lilianweng.github.io/posts/2023-03-15-prompt-gineering/
https://moultano.wordpress.com/2023/06/28/the-many-ways-that-digital-minds-can-know/ Vergleiche Suche mit AI
Zusammenfassung der wichtigsten KI-Entwicklungen 2022 https://www.deeplearning.ai/the-batch/issue-176/
Dalle2 Asset Generation + Inpainting https://twitter.com/aifunhouse/status/1576202480936886273?s=20&t=5exa1uydpva2sjzm-sxhcq
suhail journey https://twitter.com/suhail/status/1541276314485018625?s=20&t=x2mvkqkhdr28iz3vzeeo8w
komponierbare Diffusion - "und" anstelle von "und" https://twitter.com/tomlikesrobots/status/1580293860902985728
Auf BPE Tokenization https://towardsdatascience.com/Byte-pair-coding-subword-basiert-tekingization-algorithm-77828a70bee0 Siehe auch Google Surepiece und Openai Tiktoken
- Quelle in GPT2 Quelle https://github.com/openai/gpt-2/blob/master/src/encoder.py
- beachten
  - // -------------------------------------------- -------------------------------------------------------------------------------------------------------------------------------------------------------------------------- -------------- ist ein einzelnes GPT-4-Token
  - GPT-3,5 stürzt ab, wenn es zu viel über enderalativeImagepath denkt
  - verursacht Mathematik- und String -Charakter -Probleme https://news.ycombinator.com/item?id=35363769
  - und Probleme mit Evalen verursachen
  - Glitch -Token treten auf, wenn Tokenizer einen anderen Datensatz als LLM hat
  - Karpathie spricht darüber, warum Tokenisierung unordentlich ist
- https://platform.openai.com/tokenizer und https://github.com/openai/tiktoken (mehr aktuell: https://tiktokenizer.vercel.app/)
- Wortstück -> BPE -> SimeCetransformer
  - Vorläufige Lesung bei Einbettungen
  - https://youtu.be/qddoffkvkcw?si=qefzsddsspxdnd313
  - Umarmungsface -MTEB -Benchmark für eine Reihe von Einbettungen
  - bemerkenswerte Probleme mit GPT3 -Einbettungen und Alternativen zu berücksichtigen
- https://observablehq.com/@simonw/gpt-3-teken-coderdecoder
- Karpathy möchte, dass die Tokenisierung https://twitter.com/karpathy/status/1657949234535211009 verschwindet
- Positionscodierung, die nicht für Decodierer benötigt wird, https://twitter.com/a_kazemnejad/status/166427755996892744?s=20
Erstellt eine eigene Sprache https://twitter.com/giannis_daras/status/1531693104821985280
Google Cloud Generative AI Lernpfad https://www.cloudskillsboost.google/paths/118
img2img https://andys.page/posts/how-to-draw/
Über die Sprachmodellierung https://lena-voita.github.io/nlp_course/Language_modeling.html und zugänglicher, aber technischer Erklärung der Sprachgenerierung einschließlich der Stichproben aus Verteilungen und einigen mechanistischen Intprepretierbarkeit (Suche nach Neuronen, die den Zitatstaat verfolgen))
Suche nach Photorealismus https://www.reddit.com/r/stablediffusion/comments/x9zmjd/quest_for_ultimate_photorealism_part_2_colors/
- https://medium.com/merzazine/prompt-design-for-dall-e-photorealism-emulations-reality-6f478df6f186
Einstellungen optimieren https
- Saatgutauswahl https://www.reddit.com/r/stablediffusion/comments/x8szj9/tutorial_seed_selection_and_the_impact_on_your/
- Minor Parameter Parameter Differenzstudie (Schritte, Clamp_max, ETA, Cutn_batches usw.) https://twitter.com/kyrickyoung/status/1500196286930292742
- Generative AI: Autokonomplete für alles https://noahpinion.substack.com/p/generative-ai-autocomplete-for-ything?sd=pf
- Wie erhält GPT seine Fähigkeiten? Nachverfolgung aufstrebende Fähigkeiten von Sprachmodellen in ihren Quellen Gutes Papier mit der Entwicklungsgeschichte der GPT -Modelsfamilie und wie sich die Fähigkeiten entwickelt haben
https://barryz-architecture-of-agentic-lm.notion.site/al Most-ything-i- kennen-About-lms-d117ca25d4624199be07E9B0AB356A77

Fortgeschrittene Lesevorgänge

https://github.com/mooler0410/llmspracticalguide
- Gute kuratierte Liste aller IMPPT -Papiere
https://github.com/eleutherai/Cookbook#the-cookbook der Eleuther Ai-Liste der Ressourcen für das Training. Vergleichen Sie mit https://github.com/google-research/tuning_playbook
Anti Hype LLM -Leseliste https://gist.github.com/veekaybee/be375ab33085102f9027853128dc5f0e
6 Papiere von Jason Wei von Openai (Blog)
- GPT-3 Papier (https://arxiv.org/abs/2005.14165)
- Kette-of-Gedanke Aufforderung (https://arxiv.org/abs/2201.11903)
- Skalierungsgesetze, (https://arxiv.org/abs/2001.08361)
- Emergene Fähigkeiten (https://arxiv.org/abs/2206.07682)
- Sprachmodelle können sowohl umgedrehte Etiketten als auch semantisch nicht miteinander verbundene Etiketten folgen (https://arxiv.org/abs/2303.03846)
LLM -Papiernotizen - Notizen aus dem Latent Space Paper Club von Eugene Yan
Transformatoren von Grund auf https://e2eml.school/transformers.html
- Transformers vs Lstm https://medium.com/analytics-vidhya/why-are-lstms-strrugling-to-matchup-with-transformers-a1cc5b2557e3
- Transformator Code walkithru https://twitter.com/mark_ressl/status/1555188022534176768
- Transformer Familyi https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/
  - Carmack Paper List https://news.ycombinator.com/item?id=34639634
  - Transformatormodelle: Eine Einführung und Katalog https://arxiv.org/abs/2302.07730
  - DeepMind - Formale Algorithmen für Transformatoren https://arxiv.org/pdf/2207.09238.pdf
- Jay Alammar Explements
  - https://jalammar.github.io/illustrated-transformer/
  - https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/
Karpathie auf Transformers
- Konvergenz : Die anhaltende Konsolidierung in KI ist unglaublich. Als ich vor Jahrzehnten anfing, waren Vision, Sprache, natürliche Sprache, Verstärkungslernen usw. völlig getrennt; Sie konnten nicht über Bereiche hinweg Papiere lesen - die Ansätze waren völlig unterschiedlich und oft nicht einmal ML basieren. In den Jahren 2010 begannen all diese Bereiche mit dem Übergang 1) in maschinelles Lernen und insbesondere 2) neuronale Netze. Die Architekturen waren vielfältig, aber zumindest las die Papiere ähnlicher, alle verwendeten große Datensätze und optimierten neuronale Netze. Aber ab ca. Die letzten zwei Jahre sehen sogar die neuronalen Netzarchitekturen in allen Bereichen identisch aus - ein Transformator (definierbar in ~ 200 Zeilen von Pytorch https://github.com/karpathy/mingpt/blob/master/mingpt/model.py… ) mit sehr geringfügigen Unterschieden. Entweder als starke Grundlinie oder (oft) Stand der Kunst. (TweetStorm)
- Warum Transformatoren gewonnen haben : Der Transformator ist eine großartige Architektur für neuronale Netzwerke, da es sich um einen allgemeinen differenzierbaren Computer handelt. Es ist gleichzeitig: 1) ausdrucksstark (im Vorwärtspass) 2) optimierbar (über Backpropagation+Gradientenabstieg) 3) effizient
  - https://twitter.com/karpathy/status/1593417989830848512?s=20
  - Ausgestaltet in 1 -stündiger Stanford Lecture und 8 min Lex Fridman Zusammenfassung
- Babygpt mit zwei tokens 0/1 und kontextlänge von 3, die es als endliche markov -Kette betrachten. Es wurde für 50 Iterationen auf der Sequenz "11110111101110" trainiert. Die Parameter und die Architektur des Transformators verändern die Wahrscheinlichkeiten auf den Pfeilen.
- Bauen Sie GPT von Grund auf.
- Unterschiedliche GPT von Grund auf 60 loc https://jaykmody.com/blog/gpt-from-scratch/
Diffusionsmodelle von Grund auf neu, aus einer neuen theoretischen Perspektive - codesgetriebenes Intro von Diffusionsmodellen
137 aufstrebende Fähigkeiten großer Sprachmodelle
- Emergent Wee-Shot veranlasste Aufgaben: Big-Bench- und MMLU-Benchmarks
- Aufstrebende Aufforderungstrategien
  - Anweisungen
  - Scratchpad
  - Verwenden von Open-Book-Kenntnissen zur Faktenprüfung
  - Aufforderung zur Kette der Gedanken
  - Differenzierbarer Suchindex
  - Selbstkonsistenz
  - Erklärungen zur Aufforderung nutzen
  - Am wenigsten zu Aufforderung
  - Null-Shot-Kette des Gedankens
  - Kalibrierung über P (True)
  - Mehrsprachige Kette des Gedankens
  - Ask-Me-me-thing-Aufforderung
- Ein Pushback - sind sie ein Trugbild? Verwenden Sie einfach keine harten Metriken
  - https://www.jasonwei.net/blog/common-argument-regarding-emergent-abilities
  - https://hai.stanford.edu/news/ais-ostensible-emergent-abilities-are-mirage
- Bilder
  - Eugene Yan Erläuterung des Textes zum Bild Stapel https://eugeneyan.com/writing/text-to-image/
  - Vqgan/clip https://minimaxir.com/2021/08/vqgan-clip/
  - 10 Jahre der Geschichte der Bildgenerierung https://zentralwerkstatt.org/blog/ten-Jahre-of-image-synthesis
  - Vision Transformers (VIT) erklärte https://www.pinecone.io/learn/vision-transformers/
- Negative Aufforderung https://minimaxir.com/2022/11/stable-diffusion-negative-prompt/
- Beste Papiere von 2022 https://www.yitay.net/blog/2022-beest-nlppapers
- Vorhersehbarkeit und Überraschung in großen generativen Modellen - gutes Vermessungspapier über das, was wir über Skalierung und Fähigkeiten und den Anstieg von LLMs bisher wissen
Weitere schnelle Eng Papers https://github.com/dair-ai/prompt-gineering-guide
https://creator.nightcafe.studio/vqgan-clip-keyword-modifier-comparison vqgan+clip Keyword-Modifikatorvergleich
Geschichte der Transformatoren
- Richard Socker über ihren Beitrag zum Aufmerksamkeitsmechanismus, der zu Transformatoren führt https://overcast.fm/+R1p4nkffu/1:00:00
- https://kipp.ly/blog/transformer-taxonomy/ Dieses Dokument ist meine laufende Literaturübersicht für Leute, die versuchen, KI nachzuholen. Es umfasst 22 Modelle, 11 architektonische Veränderungen, 7 Post-Pre-Trainingstechniken und 3 Trainingstechniken (und 5 Dinge, die keine der oben genannten).
- Verständnis von Großsprachenmodellen Ein Querschnitt der relevantesten Literatur, um auf dem Laufenden zu kommen
  - Baganau et al. (2014), von dem ich glaube, dass er zum ersten Mal das Konzept der Anwendung einer Softmax -Funktion über Token -Scores vorgeschlagen hat, um die Aufmerksamkeit zu berechnen, und die Voraussetzungen für den ursprünglichen Transformator von Vaswani et al. (2017). https://news.ycombinator.com/item?id=35589756
- https://finbarrtimbers.substack.com/p/five---S-of-progress-in-gpts gpt1/2/3, Megatron, Gopher, Chinchilla, Palm, Llama
- Gutes Zusammenfassungspapier (8 Dinge zu wissen) https://cims.nyu.edu/~sbowman/ighthings.pdf
Umarmungsgeader -Moe -Erklärer
https://blog.alexalemi.com/kl-is-all-you-need.html

Wir haben 126 Keyword -Modifikatoren mit derselben Eingabeaufforderung und demselben ersten Bild verglichen. Dies sind die Ergebnisse.

https://creator.nightcafe.studio/collection/8dmygkm1evxg7z9pv23w
Google veröffentlichte Partiprompts als Benchmark: https://parti.research.google/ "partiprompts (P2) ist ein reichhaltiges Satz von über 1600 Eingabeaufforderungen in englischer Sprache, die wir als Teil dieser Arbeit freigeben. Verschiedene Kategorien und herausfordern Aspekte. "
Video -Tutorials
- Pixel Art https://www.youtube.com/watch?v=uvjkqptr-8S&feature=youtu.be
Geschichte der Papiere
- 2008: Unified Architecture für NLP (Colbert-Weston) https://twitter.com/yylecun/status/1611921657802768384
- 2015: Semi-Supervised Sequence Learning https://twitter.com/deliprao/status/1611896130589057025?s=20
- 2017: Transformers (Vaswani et al.)
- 2018: GPT (Radford et al.)
Miser
- Stabilityai CIO Perspektive https://danieljeffries.substack.com/p/the-turning-point-for-truly-open?sd=pf
- https://github.com/awesome-stable-diffusion/awesome-stable-diffusion
- https://github.com/microsoft/lmop
- Gwerns Diskussion hinter den Kulissen von Bing, GPT4 und der Microsoft-openai-Beziehung https://www.lesswrong.com/posts/jtopawehlnxnxvgtt/bing-chat-is-blatantant-aggressiv-misaligned

Andere Listen wie diese

https://gist.github.com/rain-1/eebd5e5eb2784feecf450324e3341c8d
https://github.com/underlines/awesome-marketing-datascience/blob/master/awesome-ai.md#llama-models
https://github.com/imaurer/awesome-decentralized-lm

Gemeinschaften

Discords (siehe https://buttondown.email/aeaews für tägliche E -Mail -Rückblicke, aktualisiert live)
- Latent Space Discord (unsere!)
- Allgemeines Hacken und Lernen
  - Chatgpt Hacker Discord
  - Alignment Lab AI Discord
  - Nous Forschungsstreit
  - Zwietracht verfärben
  - Karpathy Discord (inaktiv)
  - Umarmung der Zwietracht
  - Skunkworks ai Discord (neu)
  - Jeff Wang/LLM Perfbegeisterte Zwietracht
  - CUDA -Modus (Mark Saroufim) Siehe YouTube und GitHub
- Kunst
  - STAPFTELSiffusion Discord
  - DeForum Discord https://discord.gg/upmxxsrwzc
  - Lexica Discord https://discord.com/invite/BMHBJJ9WRH
- AI -Forschung
  - Laion Discord https://discord.gg/xbpbxfcfhd
  - Eleuther Discord: https://www.eleuther.ai/get-involved/ (Primer)
- Verschiedene Startups
  - Verwirrung diskordt https://discord.com/invite/kwjzsxpdux
  - Midjourneys Zwietracht
    - So verwenden Sie Midjourney v4 https://twitter.com/fabianstelzer/status/1588856386540417024?s=20&t=plugaeeds9HWFEGVRRPGGE
https://stablehorde.net/
- Agenten
  - Autogpt -Zwietracht
  - Babyagi Discord
Reddit
- https://reddit.com/r/stablediffusion
- https://www.reddit.com/r/localllama/
- https://www.reddit.com/r/bing
- https://www.reddit.com/r/openai

Menschen

*Unbekannt für viele Menschen, eine wachsende Menge Alpha liegt jetzt außerhalb von Arxiv. Zu den Quellen gehören unter anderem: https://github.com/trending, HN, dieser Nischen -Discord -Server, Anime -Profil -Bild -Anons auf X, Reddit *- k

Diese Liste wird veraltet sein, aber Sie können den Einstieg bringen. Meine Live -Liste der Menschen, die folgen müssen

Forscher/Entwickler
- https://twitter.com/_jasonwei
- https://twitter.com/johnowhitaker/status/1565710033463156739
- https://twitter.com/altryne/status/1564671546341425157
- https://twitter.com/schmidhuberai
- https://twitter.com/nearcyan
- https://twitter.com/karinanguyen_
- https://twitter.com/abhi_venigalla
- https://twitter.com/advadnoun
- https://twitter.com/polynoamial
- https://twitter.com/vovahimself
- https://twitter.com/sarahookr
- https://twitter.com/shaneguml
- https://twitter.com/matensap
- https://twitter.com/ethancaballero
- https://twitter.com/shayneredford
- https://twitter.com/seb_ruder
- https://twitter.com/asbt
- https://twitter.com/wightmanr
- https://twitter.com/garmarcus
- https://twitter.com/yylecun
- https://twitter.com/karpathy
- https://twitter.com/pirroh
- https://twitter.com/eerac
- https://twitter.com/teknium
- https://twitter.com/alignment_lab
- https://twitter.com/picecreator
- https://twitter.com/charlespacker
- https://twitter.com/ldjconfirmed
- https://twitter.com/nisten
- https://twitter.com/far__el
- https://twitter.com/i/lists/1713824630241202630
Nachrichten/Aggregatoren
- https://twitter.com/ai__pub
- https://twitter.com/weirdStableaii
- https://twitter.com/multimodalart
- https://twitter.com/lastweekinai
- https://twitter.com/paperswithcode
- https://twitter.com/deeplearningai_
- https://twitter.com/dl_weekly
- https://twitter.com/slashml
- https://twitter.com/_akhaliq
- https://twitter.com/aaditya_ai
- https://twitter.com/bentossell
- https://twitter.com/johnvmcdonnell
Gründer/Bauherren/VCs
- https://twitter.com/levelsio
- https://twitter.com/goodside
- https://twitter.com/c_valenzuelab
- https://twitter.com/raza_habib496
- https://twitter.com/sharifshameem/status/1562455690714775552
- https://twitter.com/genekogan/status/155518488606564353
- https://twitter.com/levelsio/status/1566069427501764613?s=20&t=campswtmdsSehqwd0k7ig
- https://twitter.com/amanrsanger
- https://twitter.com/ctjlewis
- https://twitter.com/sarahcat21
- https://twitter.com/jackclarksf
- https://twitter.com/alexandr_wang
- https://twitter.com/rameerez
- https://twitter.com/scottastevenson
- https://twitter.com/denisyarats
Stabilität
- https://twitter.com/stabilityai
- https://twitter.com/stablediffusion
- https://twitter.com/hardmaru
- https://twitter.com/jjitsev
Openai
- https://twitter.com/ama
- https://twitter.com/yasut
- https://twitter.com/miramurati
Umarmung
- https://twitter.com/younesbelkada
Künstler
- https://twitter.com/karenxcheng/status/1564626773001719813
- https://twitter.com/tomlikesrobots
Andere
- Unternehmen
  - https://twitter.com/anthropicai
  - https://twitter.com/assemblyai
  - https://twitter.com/cohereai
  - https://twitter.com/mosaicml
  - https://twitter.com/metaai
  - https://twitter.com/deepmind
  - https://twitter.com/hellopaperspace
Bots und Apps
- https://twitter.com/DreamtweetApp
- https://twitter.com/aarteveryhour

Zitate, Realität und Demotivation

Schmale, Tedium -Domain Usecases https://twitter.com/willmanidis/status/158490009261552848 und https://twitter.com/willmanidis/status/1584900100480192516
Antihype https://twitter.com/alexandr_wang/status/1573302977418387457
Antihype https://twitter.com/fchollet/status/1612142423425138688?s=46&t=plcnw9pf-co4bn08qqvaug
Anspruch auf Eng Memes
- https://twitter.com/_jasonwei/status/1516844920367054848
Dinge stellverfertigt kämpft mit https://opguides.info/posts/aiartpanic/
Neues Google
- https://twitter.com/alexandr_wang/status/1585022891594510336
Neuer PowerPoint
über Emad
Angehörige Eingabeaufforderungen standardmäßig in der Benutzeroberfläche
Dalle: https://twitter.com/levelsio/status/1588588688115912705?s=20&t=0OJPGMH9K6MIEDYVG2I6GG
Es gab zwei frühere Winter, eine 1974-1980 und eine 1987-1993. https://www.erichgrunewald.com/posts/the-prospect-of-an-ai-winter/. Ein bisschen mehr Kommentar hier. Verwandte - AI -Effekt - "Sobald es arbeitet, ist es nicht ai"
Es ist nur Matrix -Multiplikation/stochastische Papageien
- Sogar LLM Skeptic Yann Lecun sagt, dass LLMs ein gewisses Maß an Verständnis haben: https://twitter.com/yylecun/status/1667947166764023808
- Gary Marcus '"Deep Learning trifft eine Wand"
"Guo Lai Ren" Antihyper-> WORRIERS
- https://adamkarvonen.github.io/machine_learning/2024/03/20/chess-gpt-inventions.html#next-teken-predictors

Recht, Ethik und Privatsphäre

NSFW Filter https://vickiboykis.com/2022/11/18/some-notes-on-stable-diffusion-safety-filter/
Auf "AI Art Panic" https://opguides.info/posts/aiartpanic/
- Ich habe alles verloren, was mich dazu brachte, meinen Job in Midjourney zu lieben
- MidJourney Artist List
Yannick beeinflussen OpenRail-M https://www.youtube.com/watch?v=w5m-dvzpzsq
Kunstschulen, die KI -Kunst akzeptieren https://twitter.com/daverogenmoser/status/1597746558145265664
DRM-Ausgaben https://undeleted.ronsor.com/voice.ai-gpl-riolations-with-aside-of-drm/
Kunst https://stablediffusionlitation.com stehlen
- http://www.stablediffusionFrivolous.com/
- Stabile Attribution https://news.ycombinator.com/item?id=34670136
- Coutner Argument für Disney https://twitter.com/jonst0kes/status/1616219435492163584?s=46&t=hqqqdh1yewhwusqxytmf8w
- Untersuchungen zum stabilen Diffusionskopieren https://twitter.com/officialzhvng/status/1620535905298817024?s=20&t=nc-nw7pda8nyrd08lx1nw Diese Papier verwendeten stabile Diffusionsdiffusion, um 175-mill-mill-mill-mill-mill-millierungs- und stabile Diffusions-Daten zu generieren. Habe ich recht, dass mein Hauptauftrieb davon ist, wie gut stabile Diffusion nicht auswendig merken?
Inhalte abkratzen
- https://blog.ericgoldman.org/archives/2023/08/web-scraping-for-me-but-not-for-thee-guest-blog-post.htm
- Sarah Silverman Case-OpenAI-Antwort https://arstechnica.com/tech-policy/2023/08/openai-disputes-authors-craims-that-y-th-chatgpt-response-is-a----Derivat-work/
- OpenAI -Antwort
Lizenzierung
- KI -Gewichte sind nicht offen "Quelle" - Sid Sijbrandij
Vielfalt und Gerechtigkeit
- sexualisierende Minderheiten https://twitter.com/lanadenina/status/1680238883206832129 Der Grund ist, warum Pornos gut in Körper sind
- Openai Tacking auf "schwarz" zufällig, um Dalle vielfältig zu machen
Privatsphäre-Vertrauliches Computer https://www.edgeless.systems/blog/how-confidential-computing-iai-fit-together/
AI taking jobs https://donaldclarkplanb.blogspot.com/2024/02/this-is-why-idea-that-ai-will-just.html

Alignment, Safety

Anthropic - https://arxiv.org/pdf/2112.00861.pdf
- Helpful: attempt to do what is ask. concise, efficient. ask followups. redirect bad questions.
- Honest: give accurate information, express uncertainty. don't imitate responses expected from an expert if it doesn't have the capabilities/knowledge
- Harmless: not offensive/discriminatory. refuse to assist dangerous acts. recognize when providing sensitive/consequential advice
- criticism and boundaries as future direction https://twitter.com/davidad/status/1628489924235206657?s=46&t=TPVwcoqO8qkc7MuaWiNcnw
Just Eliezer entire body of work
- https://twitter.com/esyudkowsky/status/1625922986590212096
- agi list of lethalities https://www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
- note that eliezer has made controversial comments in the past and also in recent times (TIME article)
Connor Leahy may be a more sane/measured/technically competent version of yud https://overcast.fm/+aYlOEqTJ0
- it's not just paperclip factories
- https://www.lesswrong.com/posts/HBxe6wdjxK239zajf/what-failure-looks-like
the 6 month pause letter
- https://futureoflife.org/open-letter/pause-giant-ai-experiments/
- yann lecun vs andrew ng https://www.youtube.com/watch?v=BY9KV8uCtj4
- https://scottaaronson.blog/?p=7174
- emily bender response
- Geoffrey Hinton leaving Google
- followed up by one sentence public letter https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
xrisk - Is avoiding extinction from AI really an urgent priority? (Link)
- AI Is not an arms race. (Link)
- If we're going to label AI an 'extinction risk,' we need to clarify how it could happen. (Link)
OpenAI superalignment https://www.youtube.com/watch?v=ZP_N4q5U3eE

Verordnung

chinese regulation https://www.chinalawtranslate.com/en/overview-of-draft-measures-on-generative-ai/
- https://twitter.com/mmitchell_ai/status/1647697067006111745?s=46&t=90xQ8sGy63D2OtiaoGJuww
- China is the only major world power that explicitly regulates generative AI
italy banning chatgpt
- At its annual meeting in Japan, the Group of Seven (G7), an informal bloc of industrialized democratic governments, announced the Hiroshima Process, an intergovernmental task force empowered to investigate risks of generative AI. G7 members, which include Canada, France, Germany, Italy, Japan, the United Kingdom, and the United States, vowed to craft mutually compatible laws and regulate AI according to democratic values. These include fairness, accountability, transparency, safety, data privacy, protection from abuse, and respect for human rights.
US President Joe Biden issued a strategic plan for AI. The initiative calls on US regulatory agencies to develop public datasets, benchmarks, and standards for training, measuring, and evaluating AI systems.
Earlier this month, France's data privacy regulator announced a framework for regulating generative AI.
regulation vs Xrisk https://1a3orn.com/sub/essays-regulation-stories.html
Multimodal Prompt Injection in GPT4V

Miser

Flüstern
- https://huggingface.co/spaces/sensahin/YouWhisper YouWhisper converts Youtube videos to text using openai/whisper.
- https://twitter.com/jeffistyping/status/1573145140205846528 youtube whipserer
- multilingual subtitles https://twitter.com/1littlecoder/status/1573030143848722433
- video subtitles https://twitter.com/m1guelpf/status/1574929980207034375
- you can join whisper to stable diffusion for reasons https://twitter.com/fffiloni/status/1573733520765247488/photo/1
- known problems https://twitter.com/lunixbochs/status/1574848899897884672 (edge case with catastrophic failures)
textually guided audio https://twitter.com/FelixKreuk/status/1575846953333579776
Codegen
- CodegeeX https://twitter.com/thukeg/status/1572218413694726144
- https://github.com/salesforce/CodeGen https://joel.tools/codegen/
pdf to structured data - Impira used t to do it (dead link: https://www.impira.com/blog/hey-machine-whats-my-invoice-total) but if you look hard enough on twitter there are some alternatives
text to Human Motion diffusion https://twitter.com/GuyTvt/status/1577947409551851520
- abs: https://arxiv.org/abs/2209.14916
- project page: https://guytevet.github.io/mdm-page/