Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

AI Notes

Catatan tentang keadaan seni AI, dengan fokus pada model bahasa generatif dan besar. Ini adalah "bahan baku" untuk https://lspace.swyx.io/ Newsletter.

Repo ini dulu disebut https://github.com/sw-yx/prompt-eng, tetapi diganti namanya karena rekayasa cepat overhyped. Ini sekarang adalah repo catatan rekayasa AI.

Readme ini hanyalah tinjauan tingkat tinggi dari ruang; Anda harus melihat pembaruan terbanyak di file penurunan harga lain dalam repo ini:

  • TEXT.md - generasi teks, kebanyakan dengan GPT -4
    • TEXT_CHAT.md - Informasi tentang chatgpt dan pesaing, serta produk turunan
    • TEXT_SEARCH.md - Informasi tentang pencarian semantik yang diaktifkan GPT -4 dan info lainnya
    • TEXT_PROMPTS.md - File gesek kecil dari prompt GPT3 yang baik
  • INFRA.md - Catatan mentah tentang infrastruktur AI, perangkat keras dan penskalaan
  • AUDIO.md - Tracking Audio/Music/Voice Transcription + Generasi
  • CODE.md - model codegen, seperti copilot
  • IMAGE_GEN.md - File yang paling berkembang, dengan catatan penekanan terberat tentang difusi yang stabil, dan beberapa di tengah jalan dan Dalle.
    • IMAGE_PROMPTS.md - File gesek kecil dari permintaan gambar yang bagus
  • Sumber daya : berdiri, membersihkan sumber daya yang dimaksudkan untuk ditinjau
  • Catatan Stub - Halaman Proto yang Sangat Kecil/Ringan dari Area Cakupan Masa Depan - AGENTS.md - Pelacakan "Agen AI"
  • Ide Blog - Potensi Blog Posting Ide yang Berasal dari Catatan Ini BC
Daftar isi
  • Kasus penggunaan motivasi
  • Top AI berbunyi
  • Komunitas
  • Rakyat
  • Misc
  • Kutipan, Realitas & Demotivasi
  • Hukum, Etika, dan Privasi

Kasus penggunaan motivasi

  • gambar
    • https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts
    • Gambar Otak Sintetis MRI 3D - Penerimaan positif dari ahli statistik neuroimaging
    • difusi stabil multiplayer
  • video
    • Img2img dari adegan film terkenal (Lalaland)
      • img2img transformasi aktor dengan ebsynth + koe_recast
      • Bagaimana Ebsynth bekerja https://twitter.com/tomlikesrobots/status/1612047103806545923?s=20
    • Fashion Virtual (Karenxcheng)
    • Gambar ubin yang mulus
    • Evolusi Adegan (Xander)
    • Melampaui https://twitter.com/orbamsterdam/status/1568200010747068417?s=21&t=rliacnwoijjmis37s8qccw
    • Kolaborasi Webui IMG2IMG https://twitter.com/_akhaliq/status/1563582621757898752
    • gambar ke video dengan rotasi https://twitter.com/tomlikesrobots/status/1571096804539912192
    • "Prompt Paint" https://twitter.com/1littlecoder/status/1572573152974372864
    • AUDIO2Video Animasi wajah Anda https://twitter.com/siavashg/status/1597588865665363969
    • Toys fisik ke model 3D + animasi https://twitter.com/sergeyglker/status/1587430510988611584
    • video musik
      • Video Membunuh Bintang Radio, Colab Ini menggunakan Openai's Whisper Speech-to-Text, memungkinkan Anda untuk mengambil video YouTube & membuat animasi difusi yang stabil yang diminta oleh lirik dalam video YouTube
      • Video difusi yang stabil menghasilkan video dengan menginterpolasi antara petunjuk dan audio
    • Proyek Text2Video langsung
      • https://twitter.com/_akhaliq/status/1575546841533497344
      • https://makeavideo.studio/ - explorer https://webvid.datasette.io/webvid/videos
      • https://phenaki.video/
      • https://github.com/thudm/cogvideo
      • https://imagen.research.google/video/
  • text-to-3d https://twitter.com/_akhaliq/status/1575541930905243652
    • https://dreamfusion3d.github.io/
    • Open Source IMP: https://github.com/ashawkey/stable-dreamfusion
    • demo https://twitter.com/_akhaliq/status/1578035919403503616
  • produk teks
    • memiliki daftar usecases di akhir https://huyenchip.com/2023/04/11/llm-engineering.html
  • Jasper
  • GPT untuk obsidian https://reasonableDeviations.com/2023/02/05/gpt-for-second-wrain/
  • GPT3 Email https://github.com/sw-yx/gpt3-email dan clustering email
  • GPT3 () Di Google Sheet 2020, 2022 - Lembar Google Sheets https://twitter.com/mehran__jalali/status/1608159307513618433
    • https://gpt3demo.com/apps/google-heets
    • Pesona https://twitter.com/shubroski/status/1620139262925754368?s=20
  • https://www.summari.com/ summari membantu orang sibuk membaca lebih lanjut
  • peta/lanskap pasar
    • Elad Gil 2024 Stack Chart
    • Sequoia Market Map Jan 2023, Juli 2023, Sep 2023
    • Peta Pasar Base10 https://twitter.com/letsenhance_io/status/1594826383305449491
    • Peta Pasar Matt Shumer https://twitter.com/mattshumer_/status/1620465468229451776 https://docs.google.com/document/d/1sewtbzrf087f6hfxiyeoisgcc1n4nn33333337f6hfxiyeoisgcc1n4n33333337f6hf6hfxiyeoisgcc1n4N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3N3NOYOE
    • nfx https://www.nfx.com/post/generative-ai-tech-5-layers?ref=context-by-cohere
    • a16z https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform/
      • https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/
      • https://a16z.com/100-gen-ai-apps
    • Madrona https://www.madrona.com/foundation-models/
    • Coature
      • https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023
      • https://x.com/sam_awrabi/status/1742324900034150646?s=20
  • Aset Game -
    • Emad Thread https://twitter.com/emostaque/status/1591436813750906882
    • skenario.gg https://twitter.com/emmanuel_2m/status/1593356241283125251
    • Contoh Pemodelan Karakter Game 3D
    • Mariogpt https://arxiv.org/pdf/2302.05981.pdf https://www.slashgear.com/1199870/mariogpt-uses-ai-to-generate-endless-super-mario-levels-for-for-for- https: https: //github.com/shyamsn97/mario-gpt/blob/main/mario_gpt/level.py
    • https://news.ycombinator.com/item?id=36295227

Top AI berbunyi

Bacaan GPT3 yang lebih canggih telah dibagi menjadi https://github.com/sw-yx/ai-notes/blob/main/text.md

  • https://www.gwern.net/gpt-3#prompts-as-programming
  • https://learnprompting.org/

Baca pemula

  • Bill Gates on AI (tweet)
    • "Pengembangan AI sama mendasarnya dengan penciptaan mikroprosesor, komputer pribadi, internet, dan ponsel. Ini akan mengubah cara orang bekerja, belajar, bepergian, mendapatkan perawatan kesehatan, dan berkomunikasi satu sama lain."
  • Steve Yegge di AI untuk pengembang
  • Karpathy 2023 Intro ke LLMS (Catatan dari Sarah Chieng)
  • Panduan Teknik Prompt dari OpenAI di Neurips via Sarah Chieng
  • Mengapa momen AI ini mungkin menjadi real deal
  • Sam Altman - Hukum Moore untuk Segalanya
  • Pengantar yang sangat baik untuk model yayasan dari msr https://youtu.be/hqi6o5dlyfc
  • Openai Prompt Tutorial https://beta.openai.com/docs/quickstart/add-some-examples
  • google lamda intro https://aitestkitchen.withgoogle.com/how-lamda-works
  • kursus keturunan gradien karpati
  • FT Visual Bercerita tentang "How Transformers Work"
  • Dalle2 Prompt Writing Book http://dallery.gallery/wp-content/uploads/2022/07/the-dall%c2%b7e-2-pompt-book-v1.02.pdf
  • https://medium.com/nerd-for-tech/promppt-engineering-the-career-of-future-2fb93f90f117
  • Cara menggunakan AI untuk melakukan hal -hal di seluruh mendapatkan informasi, bekerja dengan data, dan membuat gambar
  • https://ourworldindata.org/brief-history-of-ai ai ikhtisar dengan grafik yang bagus
  • Jon Stokes 'AI Content Generation, Bagian 1: Dasar Pembelajaran Mesin
  • Andrew NG - Peluang di AI
  • Apa model transformator dan bagaimana cara kerjanya? - Mungkin level yang terlalu tinggi
  • pembuatan teks
    • Humanloop's Prompt Engineering 101
    • Penjelasan Stephen Wolfram https://writings.stephenwolfram.com/2023/02/what-iscatgpt-doing-why-does-it-work/
    • Setara dari Jon Stokes Jonstokes.com/p/the-cat-stack-gpt-4-and-the-near
    • https://andymatuschak.org/prompts/
    • Universitas LLM Cohere https://docs.cohere.com/docs/llmu
      • Panduan Jay Alammar untuk semua hal: https://llm.university/
    • https://www.jonstokes.com/p/chatgpt-explained-a-guide-for-normies untuk normies
  • pembuatan gambar
    • https://wiki.installgentoo.com/wiki/stable_diffusion Ikhtisar
    • https://www.reddit.com/r/stablediffusion/comments/x41n87/how_to_get_images_that_dont_suck_a/
    • https://mpost.io/best-100-stable-diffusion-pompts-the-most-beautiful-ai-text-to-image-pompts/
    • https://www.kdnuggets.com/2021/03/beginners-guide-clip-model.html
  • untuk nonteknik
    • https://www.jonstokes.com/p/ai-content-generation-part-1-machine
    • https://www.protocol.com/generative-ai-startup-landscape-map
    • https://twitter.com/saranormous/status/1572791179636518913

Bacaan Menengah

  • Laporan Negara Bagian AI : 2018, 2019, 2020, 2021, 2022
  • membalikkan kejadian besar kronologis https://bleedingedge.ai/
  • Apa yang kita ketahui tentang LLMS - rekap penelitian yang bagus
  • Panduan 1 jam Karpathy ke LLMS - Ringkasan dari Sarah Chieng
      1. Apa itu Model Bahasa Besar (LLM)?
      • Ada dua komponen utama LLM
        • Apa yang dilakukan LLM?
    1. Bagaimana Anda membuat LLM?
      • Tahap 1: Model pra-pelatihan
      • Tahap 2: Model Fine-tuning
        • Tahap 2B: [Opsional] Fine-tuning tambahan
      • Tahap 3: Model Inference
      • Tahap 4: [Opsional] LLM supercharging dengan kustomisasi
    2. "Papan peringkat" LLM saat ini
    3. Masa depan LLMS: Apa selanjutnya?
      • Bagaimana cara meningkatkan kinerja LLM?
        • Hukum penskalaan LLM
        • Perluasan Diri
      • Bagaimana cara meningkatkan kemampuan LLM?
        • Multimodality
        • Sistem 1 + 2 Berpikir
    4. LLM Dark Arts
      • Jailbreak
      • Suntikan cepat
      • Keracunan Data & Serangan Backdoor
    • Panduan Evan Morikawa untuk Matematika LLM Terutama 5 Tantangan Penskalaan
  • Panduan Hacker untuk Model Bahasa (YouTube) Jeremy Howard 90 menit Tinjauan lengkap dari pembelajaran LLM-Mulai dari Dasar-Dasar: Pendekatan Ulmfit 3 Langkah Pra-Pelatihan / Fine-Tuning / Classifier Ulmfit yang digunakan dalam semua LLM modern.
  • https://spreadsheets-are-all-you-need.ai
  • "Menangkap Dunia LLMS yang aneh" - Tinjauan 40 menit Simon Willison + Pertanyaan Terbuka untuk Insinyur AI
  • Ikhtisar LLMS dari Flyte
  • Clementine fourrier tentang bagaimana eval dilakukan
  • Pola untuk Membangun Sistem dan Produk Berbasis LLM - Rekap Hebat
    • Eval: untuk mengukur kinerja
    • Rag: untuk menambahkan pengetahuan eksternal terbaru
    • Fine-tuning: Untuk menjadi lebih baik dalam tugas tertentu
    • Caching: untuk mengurangi latensi & biaya
    • Pagar: untuk memastikan kualitas output
    • Defensive UX: Untuk mengantisipasi & mengelola kesalahan dengan anggun
    • Kumpulkan Umpan Balik Pengguna: Untuk Membangun Roda Gila Data Kami
  • Database Vektor: Primer teknis [PDF] Slide yang sangat bagus pada DB vektor
    • Cakupan pencarian hibrida yang hilang (vektor + leksikal). Diskusi lebih lanjut
  • A16Z AI Canon https://a16z.com/2023/05/25/ai-canon/
    • Software 2.0 : Andrej Karpathy adalah salah satu yang pertama menjelaskan (pada 2017!) Mengapa gelombang AI baru benar -benar penting. Argumennya adalah bahwa AI adalah cara baru dan kuat untuk memprogram komputer. Karena LLM telah meningkat dengan cepat, tesis ini telah terbukti prescient, dan memberikan model mental yang baik tentang bagaimana pasar AI dapat berkembang.
    • State of GPT : Juga dari karpati, ini adalah penjelasan yang sangat mudah didekati tentang bagaimana model chatgpt / gpt dalam pekerjaan umum, bagaimana menggunakannya, dan arah apa yang mungkin diambil R&D.
    • Apa yang dilakukan chatgpt ... dan mengapa itu berhasil? : Ilmuwan komputer dan pengusaha Stephen Wolfram memberikan penjelasan yang panjang tetapi sangat mudah dibaca, dari prinsip -prinsip pertama, tentang cara kerja model AI modern. Dia mengikuti garis waktu dari jaring saraf awal ke LLM dan chatgpt saat ini.
    • Transformers, Dijelaskan : Posting ini oleh Dale Markowitz adalah jawaban yang lebih pendek dan lebih langsung untuk pertanyaan "Apa itu LLM, dan bagaimana cara kerjanya?" Ini adalah cara yang bagus untuk memudahkan topik dan mengembangkan intuisi untuk teknologi. Itu ditulis tentang GPT-3 tetapi masih berlaku untuk model yang lebih baru.
    • Bagaimana difusi stabil bekerja : Ini adalah analog visi komputer dengan posting terakhir. Chris McCormick memberikan penjelasan orang awam tentang bagaimana difusi stabil bekerja dan mengembangkan intuisi di sekitar model teks-ke-gambar secara umum. Untuk pengantar yang lebih lembut , lihat komik ini dari R/Stablediffusion.
    • Penjelasan
      • Deep Learning in a Nutshell: Core Concepts : Seri empat bagian dari Nvidia ini berjalan melalui dasar-dasar pembelajaran mendalam seperti yang dipraktikkan pada tahun 2015, dan merupakan sumber yang baik bagi siapa pun yang hanya belajar tentang AI.
      • Pembelajaran mendalam praktis untuk coders : Kursus gratis dan gratis tentang dasar -dasar AI, dijelaskan melalui contoh -contoh dan kode praktis.
      • Word2Vec Dijelaskan : Pengantar mudah embeddings dan token, yang merupakan blok bangunan LLMS (dan semua model bahasa).
      • Ya Anda harus memahami BackProp : lebih banyak posting mendalam tentang propagasi back jika Anda ingin memahami detailnya. Jika Anda ingin lebih banyak lagi, coba kuliah Stanford CS231N (kursus di sini) di YouTube.
    • Kursus
      • Stanford CS229 : Pengantar Pembelajaran Mesin dengan Andrew NG, Meliputi dasar -dasar pembelajaran mesin.
      • Stanford CS224N : NLP dengan pembelajaran mendalam dengan Chris Manning, mencakup dasar -dasar NLP melalui generasi pertama LLMS.
  • https://github.com/mlabonne/llm-course
  • https://cims.nyu.edu/~sbowman/eightthings.pdf
    1. LLMS diprediksi lebih mampu dengan meningkatnya investasi, bahkan tanpa inovasi yang ditargetkan.
    2. Banyak perilaku LLM penting muncul secara tidak terduga sebagai produk sampingan dari peningkatan investasi.
    3. LLM sering tampak belajar dan menggunakan representasi dunia luar.
    4. Tidak ada teknik yang dapat diandalkan untuk mengarahkan perilaku LLMS.
    5. Para ahli belum dapat menafsirkan cara kerja dalam LLMS.
    6. Kinerja manusia pada suatu tugas bukanlah batas atas kinerja LLM.
    7. LLMS tidak perlu mengungkapkan nilai -nilai pencipta mereka atau nilai -nilai yang dikodekan dalam teks web.
    8. Interaksi singkat dengan LLM sering menyesatkan.
    9. Simonw menyoroti https://fedi.simonwillison.net/@simon/110144185463887790
  • 10 Tantangan Terbuka di LLM Research https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
  • Openai Prompt Eng Cookbook https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_reliability.md
  • pada ikhtisar ENG prompt https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
  • https://moultano.wordpress.com/2023/06/28/the-many-ways-ways-that-digital-minds-can-now/ membandingkan pencarian vs ai
  • Rekap Perkembangan AI Utama 2022 https://www.deeeplearning.ai/the-batch/issue-176/
  • Dalle2 Generasi Aset + Inpainting https://twitter.com/aifunhouse/status/1576202480936886273?s=20&t=5exa1uydpva2sjzm-sxhcq
  • SUHAIL Journey https://twitter.com/suhail/status/1541276314485018625?s=20&t=x2mvkqkhdr28iz3vzeeo8w
  • difusi komposisi - "dan" bukannya "dan" https://twitter.com/tomlikesrobots/status/1580293860902985728
  • Di Tokenisasi BPE https://towardsdatacience.com/byte-pair-encoding-subword-berbasis-tokenisasi-algorithm-77828a70bee0 juga lihat Google kalimat dan openai tiktoken
    • Sumber di sumber GPT2 https://github.com/openai/gpt-2/blob/master/src/encoder.py
    • Perhatikan bahwa BPE adalah https suboptimal
      • // ------------------------------------------------- -------------------------------------------------- -------------- adalah satu token GPT-4
      • GPT-3.5 jatuh ketika terlalu memikirkan UseralativeImagepath
      • menyebabkan masalah karakter matematika dan string https://news.ycombinator.com/item?id=35363769
      • dan menyebabkan masalah dengan eval
      • Token Glitch Terjadi Saat Tokenizer memiliki dataset yang berbeda dari LLM
      • Karpathy Berbicara tentang Mengapa Tokenisasi Berantakan
    • https://plateFform
    • Wordpiece -> bpe -> kaliPetransformer
      • Bacaan awal tentang embeddings
      • https://youtu.be/qddoffkvkcw?si=qefzsddspxdnd313
      • Huggingface mteb Benchmark dari sekelompok embeddings
      • masalah penting dengan embeddings gpt3 dan alternatif untuk dipertimbangkan
    • https://observableHq.com/@simonw/gpt-3-token-encoder-decoder
    • Karpathy ingin tokenisasi pergi https://twitter.com/karpathy/status/1657949234535211009
    • Pengkodean posisi tidak diperlukan hanya untuk decoder https://twitter.com/a_kazemnejad/status/16642775599689277444 ?s=20
  • Membuat bahasanya sendiri https://twitter.com/giannis_daras/status/1531693104821985280
  • Google Cloud Generative AI Learning Path https://www.cloudskillsboost.google/paths/118
  • img2img https://andys.page/posts/how-to-draw/
  • Tentang Pemodelan Bahasa https://lena-voita.github.io/nlp_course/language_modeling.html dan dapat didekati tetapi penjelasan teknis generasi bahasa termasuk pengambilan sampel dari distribusi dan beberapa inteprretability mekanistik (menemukan neuron yang melacak status kutipan)
  • Pencarian fotorealisme https://www.reddit.com/r/stablediffusion/comments/x9zmjd/quest_for_ultimate_photorealism_part_2_colors/
    • https://medium.com/merzazine/promppt-design-for-dall-e-photorealism-molating-reality-6f478df6f186
  • Pengaturan Tweaking https://www.reddit.com/r/stablediffusion/comments/x3k79h/the_feeling_of_discovery_sd_is_ like_a_great_proc/
    • Pilihan Benih https://www.reddit.com/r/stablediffusion/comments/x8szj9/tutorial_seed_selection_and_the_impact_on_your/
    • Studi Perbedaan Parameter Parameter Kecil (Langkah, Clamp_max, ETA, Cutn_Batches, dll) https://twitter.com/kyrickyoung/status/1500196286930292742
    • AI Generatif: AutoComplete untuk Segala sesuatu https://noahpinion.substack.com/p/generative-ai-autocomplete-for-eveything?sd=pf
    • Bagaimana GPT memperoleh kemampuannya? Menelusuri Kemampuan Muncul Model Bahasa ke Sumber Mereka Kertas yang Baik dengan Sejarah Pengembangan Keluarga Model GPT dan Bagaimana Kemampuan Dikembangkan
  • https://barryz-architecture-of-agentic-llm.notion.site/almost-everything-i-now-about-llms-d117ca25d4624199be07e9b0ab356a77

Bacaan lanjutan

  • https://github.com/mooler0410/llmspracticalguide
    • Daftar yang dikuratori dengan baik dari semua makalah IMPT
  • https://github.com/eleutherai/cookbook#the-cookbook eleuther ai daftar sumber daya untuk pelatihan. Bandingkan dengan https://github.com/google-research/tuning_playbook
  • Daftar Bacaan Anti Hype Llm https://gist.github.com/veekaybee/be375ab33085102f9027853128dc5f0e
  • 6 Makalah dari Jason Wei dari Openai (Blog)
    • Kertas GPT-3 (https://arxiv.org/abs/2005.14165)
    • rantai-dipikirkan dorongan (https://arxiv.org/abs/2201.11903)
    • Hukum penskalaan, (https://arxiv.org/abs/2001.08361)
    • Kemampuan yang muncul (https://arxiv.org/abs/2206.07682)
    • Model bahasa dapat mengikuti label terbalik dan label yang tidak terkait semantik (https://arxiv.org/abs/2303.03846)
  • Catatan Kertas LLM - Catatan dari Laten Space Paper Club oleh Eugene Yan
  • Transformers dari awal https://e2eml.school/transformers.html
    • Transformers vs LSTM https://medium.com/analytics-vidhya/why-are-lstms-struggling-tu-patchup-with-transformers-a1cc5b2557e3
    • Kode Transformer Walkthru https://twitter.com/mark_riedl/status/1555188022534176768
    • Transformer Familyi https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/
      • Daftar kertas carmack https://news.ycombinator.com/item?id=34639634
      • Model Transformer: Pendahuluan dan Katalog https://arxiv.org/abs/2302.07730
      • DeepMind - Algoritma Formal untuk Transformers https://arxiv.org/pdf/2207.09238.pdf
    • Penjelasan Jay Alammar
      • https://jalammar.github.io/illustrated-transformer/
      • https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/
  • Karpati pada Transformers
    • Konvergensi : Konsolidasi yang sedang berlangsung di AI luar biasa. Ketika saya mulai ~ dekade yang lalu visi, ucapan, bahasa alami, pembelajaran penguatan, dll. Benar -benar terpisah; Anda tidak dapat membaca makalah di seluruh area - pendekatannya sama sekali berbeda, seringkali bahkan tidak berbasis ML. Pada tahun 2010 semua bidang ini mulai transisi 1) ke pembelajaran mesin dan khususnya 2) jaring saraf. Arsitekturnya beragam tetapi setidaknya kertas mulai membaca lebih mirip, semuanya menggunakan set data besar dan mengoptimalkan jaring saraf. Tetapi sekitar kira -kira. Dua tahun terakhir, bahkan arsitektur neural net di semua area mulai terlihat identik - transformator (dapat ditentukan dalam ~ 200 baris Pytorch https://github.com/karpathy/mingpt/blob/master/mingpt/model.py… ), dengan perbedaan yang sangat kecil. Baik sebagai baseline yang kuat atau (seringkali) seni. (Tweetstorm)
    • Mengapa Transformers menang : Transformer adalah arsitektur jaringan saraf yang luar biasa karena merupakan komputer yang dapat dibedakan dengan tujuan umum. Ini secara bersamaan: 1) Ekspresif (di Forward Pass) 2) Dioptimalkan (melalui Backpropagation+Gradient Descent) 3) Efisien (Grafik Komput Paralelisme Tinggi) Tweetstorm
      • https://twitter.com/karpathy/status/1593417989830848512?s=20
      • Diuraikan dalam Kuliah Stanford 1 jam dan ringkasan 8 menit Lex Fridman
    • BabyGpt dengan dua token 0/1 dan panjang konteks 3, melihatnya sebagai rantai Markov keadaan terbatas. Itu dilatih pada urutan "111101111011110" untuk 50 iterasi. Parameter dan arsitektur transformator memodifikasi probabilitas pada panah.
    • Bangun GPT dari awal https://www.youtube.com/watch?v=kcc8fmeb1ny
    • GPT berbeda dari awal dalam 60 loc https://jaykmody.com/blog/gpt-from-scratch/
  • Model Difusi dari awal, dari perspektif teoretis baru - Intro model difusi yang digerakkan kode
  • 137 Kemampuan Muncul dari Model Bahasa Besar
    • Tugas beberapa tembakan yang muncul: Bighmark Big-Bench dan MMLU
    • Munculnya strategi mendorong
      • Mengikuti instruksi
      • Papan penggaris
      • Menggunakan pengetahuan buku terbuka untuk pemeriksaan fakta
      • Dorongan rantai-dipikirkan
      • Indeks pencarian yang dapat dibedakan
      • Konsistensi diri
      • Memanfaatkan penjelasan dalam meminta
      • Dorongan paling tidak paling banyak
      • Rantai pemikiran zero-shot
      • Kalibrasi melalui P (true)
      • Rantai multibahasa yang dipikirkan
      • Tanyakan pada saya-apa pun yang diminta
    • Beberapa pushback - apakah mereka fatamorgana? jangan gunakan metrik yang keras
      • https://www.jasonwei.net/blog/common-arguments-awarding-eMergent-Abilities
      • https://hai.stanford.edu/news/ais-ostensible-mergent-Abilities-are-mirage
    • Gambar
      • Eugene Yan Penjelasan Teks ke Image Stack https://eugeneyan.com/writing/text-to-image/
      • Vqgan/clip https://minimaxir.com/2021/08/vqgan-clip/
      • 10 Tahun Sejarah Generasi Gambar https://zentralwerkstatt.org/blog/ten-years-of-image-synthesis
      • Vision Transformers (VIT) menjelaskan https://www.pinecone.io/learn/vision-transformers/
    • Permintaan negatif https://minimaxir.com/2022/11/stable-diffusion-negative-pompt/
    • Makalah terbaik 2022 https://www.yitay.net/blog/2022-best-nlp-papers
    • Prediktabilitas dan kejutan dalam model generatif besar - kertas survei yang baik tentang apa yang kita ketahui tentang penskalaan dan kemampuan dan kebangkitan LLM sejauh ini
  • lebih banyak makalah eng https://github.com/dair-ai/promppt-engineering-guide
  • https://creator.nightcafe.studio/vqgan-clip-keyword-modifier-comparison vqgan+Kata kunci klip perbandingan pengubah kata kunci
  • Sejarah Transformers
    • Richard Socher tentang kontribusi mereka pada mekanisme perhatian yang mengarah ke Transformers https://overcast.fm/+r1p4nkffu/1:00:00
    • https://kipp.ly/blog/transformer-taxonomy/ Dokumen ini adalah ulasan literatur saya untuk orang-orang yang mencoba mengejar AI. Ini mencakup 22 model, 11 perubahan arsitektur, 7 teknik pasca-pelatihan dan 3 teknik pelatihan (dan 5 hal yang tidak ada di atas)
    • Memahami Model Bahasa Besar Sebuah bagian lintas literatur yang paling relevan untuk mempercepat
      • Memberikan kredit kepada Bandanau et al (2014), yang saya percaya pertama kali mengusulkan konsep menerapkan fungsi softmax atas skor token untuk menghitung perhatian, mengatur panggung untuk transformator asli oleh Vaswani et al (2017). https://news.ycombinator.com/item?id=35589756
    • https://finbarrtimbers.substack.com/p/five-fogress-progress-in-gpts gpt1/2/3, megatron, gopher, chinchilla, palm, llama
    • Kertas ringkasan yang baik (8 hal yang perlu diketahui) https://cims.nyu.edu/~sbowman/eightthings.pdf
  • Huggingface Moe Explainer
  • https://blog.alexalemi.com/kl-is-all-you-need.html

Kami membandingkan 126 pengubah kata kunci dengan gambar prompt dan awal yang sama. Ini adalah hasilnya.

  • https://creator.nightcafe.studio/collection/8dmygkm1evxg7z9pv23w
  • Google merilis partiprompts sebagai tolok ukur: https://parti.research.google/ "partiprompts (p2) adalah set yang kaya lebih dari 1.600 petunjuk dalam bahasa Inggris yang kami rilis sebagai bagian dari pekerjaan ini. P2 dapat digunakan untuk mengukur kemampuan model di seluruh di seluruh di seluruh berbagai kategori dan aspek tantangan. "
  • Tutorial video
    • Pixel Art https://www.youtube.com/watch?v=uvjkqptr-8s&feature=youtu.be
  • Sejarah Makalah
    • 2008: Arsitektur Terpadu untuk NLP (Collobert-weston) https://twitter.com/ylecun/status/1611921657802768384
    • 2015: Pembelajaran Urutan Semi-Divisi https://twitter.com/deliprao/status/1611896130589057025?s=20
    • 2017: Transformers (Vaswani et al)
    • 2018: GPT (Radford et al)
  • Misc
    • Perspektif Stabilitas CIO https://danieljeffries.substack.com/p/the-turning-point-for-truly-open?sd=pf
    • https://github.com/awesome-stable-diffusion/awesome-stable-diffusion
    • https://github.com/microsoft/lmops Panduan untuk MSFT Prompt Research
    • Diskusi Gwern di balik layar tentang Bing, GPT4, dan hubungan Microsoft-Openai https://www.lesswrong.com/posts/jtopawehlnxnxvgtt/bing-cat-is-blatly-gressivity-misaligned

Daftar lain seperti ini

  • https://gist.github.com/rain-1/eebd5e5eb2784feecf450324e3341c8d
  • https://github.com/underlines/awesome-marketing-datascience/blob/master/awesome-ai.md#llama-odels
  • https://github.com/imaurer/awesome-decentralized-llm

Komunitas

  • Perselisihan (lihat https://buttondown.email/ainews untuk rekap email harian, diperbarui secara langsung)
    • Perselisihan Laten Space (milik kami!)
    • Peretasan dan Pembelajaran Umum
      • Peretas ChatGPT Perselisihan
      • Perselisihan Alignment Lab AI
      • Perselisihan Penelitian Nous
      • Perselisihan Discolm
      • Perselisihan karpati (tidak aktif)
      • Perselisihan Huggingface
      • Skunkworks AI Discord (baru)
      • Jeff Wang/Llm Perf penggemar Perselisihan
      • Mode CUDA (Mark Saroufim) Lihat YouTube dan GitHub
    • Seni
      • Perselisihan stablediffusion
      • Deforum Discord https://discord.gg/upmxxsrwzc
      • Lexica Discord https://discord.com/invite/bmhbjj9wrh
    • Penelitian AI
      • Laion Discord https://discord.gg/xbpbxfcfhd
      • Eleuther Discord: https://www.eleuther.ai/get-involved/ (primer)
    • Berbagai startup
      • Perplexity Discord https://discord.com/invite/kwjzsxpdux
      • Perselisihan Midjourney
        • cara menggunakan midjourney v4 https://twitter.com/fabianstelzer/status/1588856386540417024?s=20&t=plglugaeeds9hwfegvrrpg
  • https://stabehorde.net/
    • Agen
      • Perselisihan Autogpt
      • Perselisihan Babyagi
  • Reddit
    • https://reddit.com/r/stablediffusion
    • https://www.reddit.com/r/localllama/
    • https://www.reddit.com/r/bing
    • https://www.reddit.com/r/openai

Rakyat

*Tidak diketahui oleh banyak orang, semakin banyak alpha sekarang berada di luar arxiv, sumber termasuk tetapi tidak terbatas pada: https://github.com/trending, hn, server perselisihan niche, gambar profil anime anons di x, reddit *- k

Daftar ini akan kedaluwarsa tetapi akan membantu Anda memulai. Daftar langsung saya yang harus diikuti adalah di: https://twitter.com/i/lists/1585430245762441216

  • Peneliti/pengembang
    • https://twitter.com/_jasonwei
    • https://twitter.com/johnowhitaker/status/1565710033463156739
    • https://twitter.com/altryne/status/1564671546341425157
    • https://twitter.com/schmidhuberai
    • https://twitter.com/nearcyan
    • https://twitter.com/karinanguyen_
    • https://twitter.com/abhi_venigalla
    • https://twitter.com/advadnoun
    • https://twitter.com/polynoamial
    • https://twitter.com/vovahimself
    • https://twitter.com/sarahookr
    • https://twitter.com/shaneguml
    • https://twitter.com/maartensap
    • https://twitter.com/ethancaballero
    • https://twitter.com/shayneredford
    • https://twitter.com/seb_ruder
    • https://twitter.com/rasbt
    • https://twitter.com/wightmanr
    • https://twitter.com/garymarcus
    • https://twitter.com/ylecun
    • https://twitter.com/karpathy
    • https://twitter.com/ppirroh
    • https://twitter.com/eerac
    • https://twitter.com/teknium
    • https://twitter.com/alignment_lab
    • https://twitter.com/picocreator
    • https://twitter.com/charlespacker
    • https://twitter.com/ldjconfirmed
    • https://twitter.com/nisten
    • https://twitter.com/far__el
    • https://twitter.com/i/lists/1713824630241202630
  • Berita/Agregator
    • https://twitter.com/ai__pub
    • https://twitter.com/weirdstableai
    • https://twitter.com/multimodalart
    • https://twitter.com/lastweekinai
    • https://twitter.com/paperswithcode
    • https://twitter.com/deeplearningai_
    • https://twitter.com/dl_weekly
    • https://twitter.com/slashml
    • https://twitter.com/_akhaliq
    • https://twitter.com/aaditya_ai
    • https://twitter.com/bentossell
    • https://twitter.com/johnvmcdonnell
  • Pendiri/Pembangun/VC
    • https://twitter.com/levelsio
    • https://twitter.com/goodside
    • https://twitter.com/c_valenzuelab
    • https://twitter.com/raza_habib496
    • https://twitter.com/sharifshameem/status/1562455690714775552
    • https://twitter.com/genekogan/status/155184488606564353
    • https://twitter.com/levelsio/status/1566069427501764613?s=20&t=campswtmhdsshqwd0k7ig
    • https://twitter.com/amanrsanger
    • https://twitter.com/ctjlewis
    • https://twitter.com/sarahcat21
    • https://twitter.com/jackclarksf
    • https://twitter.com/alexandr_wang
    • https://twitter.com/rameerez
    • https://twitter.com/scottastevenson
    • https://twitter.com/denisyarats
  • Stabilitas
    • https://twitter.com/stabilityai
    • https://twitter.com/stablediffusion
    • https://twitter.com/hardmaru
    • https://twitter.com/jjitsev
  • Openai
    • https://twitter.com/sama
    • https://twitter.com/ilyasut
    • https://twitter.com/miramurati
  • Huggingface
    • https://twitter.com/younesbelkada
  • Seniman
    • https://twitter.com/karenxcheng/status/1564626773001719813
    • https://twitter.com/tomlikesrobots
  • Lainnya
    • Perusahaan
      • https://twitter.com/anthropicai
      • https://twitter.com/assemblyai
      • https://twitter.com/COHEREAI
      • https://twitter.com/mosaicml
      • https://twitter.com/metaai
      • https://twitter.com/deepmind
      • https://twitter.com/hellopaperspace
  • Bot dan aplikasi
    • https://twitter.com/dreamtweetapp
    • https://twitter.com/aiarteveryhour

Kutipan, Realitas & Demotivasi

  • Sempit, Domain Tedium Usecases https://twitter.com/willmanidis/status/1584900092615528448 dan https://twitter.com/willmanidis/status/1584900100480192516
  • antihype https://twitter.com/alexandr_wang/status/1573302977418387457
  • Antihype https://twitter.com/fchollet/status/1612142423425138688?s=46&t=PLCNW9PF-CO4BN08QQVAUG
  • Meme Eng cepat
    • https://twitter.com/_jasonwei/status/1516844920367054848
  • Hal -hal Stablediffusion berjuang dengan https://opguides.info/posts/aiartpanic/
  • Google baru
    • https://twitter.com/alexandr_wang/status/1585022891594510336
  • PowerPoint baru
  • melalui Emad
  • Menambahkan permintaan secara default di UI
  • Dalle: https://twitter.com/levelsio/status/15888888881115912705?s=20&t=0OJPGMH9K6MIEDYVG2I6GG
  • Ada dua musim dingin sebelumnya, satu 1974-1980 dan satu 1987-1993. https://www.erichgrunewald.com/posts/the-prospect-of-an-ai-winter/. sedikit lebih banyak komentar di sini. Terkait - Efek AI - "Setelah bekerja bukan AI"
  • Itu hanya matriks multiplikasi/burung beo stokastik
    • Bahkan LLM Skeptic Yann Lecun mengatakan LLMS memiliki beberapa tingkat pemahaman: https://twitter.com/ylecun/status/1667947166764023808
    • Gary Marcus 'Deep Learning sedang memukul dinding "https://nautil.us/deep-learning-is-muak
  • "Guo Lai Ren" Antihypers-> Corriers
    • https://adamkarvonen.github.io/machine_learning/2024/03/20/chess-gpt-interventions.html#next-token-predictors

Hukum, Etika, dan Privasi

  • NSFW Filter https://vickiboykis.com/2022/11/18/some-notes-on-the-stable-diffusion-safety-filter/
  • Pada "AI Art Panic" https://opguides.info/posts/aiartpanic/
    • Saya kehilangan semua yang membuat saya mencintai pekerjaan saya melalui midjourney
    • Daftar Artis Midjourney
  • Yannick Mempengaruhi OpenRail-M https://www.youtube.com/watch?v=W5M-DVZPZSQ
  • Sekolah Seni Menerima AI Art https://twitter.com/daverogenmoser/status/1597746558145265664
  • DRM Masalah https://undeleted.ronsor.com/voice.ai-gpl-violations-with-a-side-of-drm/
  • mencuri art https://stablediffusionlitigation.com
    • http://www.stablediffusionfrivolous.com/
    • atribusi stabil https://news.ycombinator.com/item?id=34670136
    • Argumen Coutner untuk Disney https://twitter.com/jonsst0kes/status/1616219435492163584?s=46&t=hqqqdh1yewhwusqxytmf8w
    • Penelitian tentang Difusi Stabil Menyalin https://twitter.com/officialzhvng/status/1620535905298817024?s=20&t=nc-nw7pfda8nyrd08lx1nw Makalah ini menggunakan difusi stabil untuk menghasilkan 175 juta gambar lebih dari 350.000 dorongan dan copole. Apakah saya benar bahwa takeaway utama saya dari ini adalah seberapa baik difusi stabil pada tidak menghafal contoh pelatihan?
  • Konten Mengikis
    • https://blog.ericgoldman.org/archives/2023/08/web-scraping-for-me-but-not-for-tee-guest-blog-post.htm
    • Sarah Silverman Case-Respons OpenAI https://arstechnica.com/tech-policy/2023/08/openai-disputes-uuthors-claims-that-every-catgpt-response-is--derivative-work/
    • respons openai
  • Lisensi
    • AI Bobot tidak terbuka "Sumber" - Sid Sijbrandij
  • Keragaman dan keadilan
    • Seksualisasi Minoritas https://twitter.com/lanadenina/status/1680238883206832129 Alasannya adalah pornografi yang baik dalam tubuh
    • Openai menempelkan "hitam" secara acak untuk membuat dalle beragam
  • Privasi-Komputasi Rahasia https://www.edgeless.systems/blog/how-confidential-computing-and-ai-fit-together/
  • AI taking jobs https://donaldclarkplanb.blogspot.com/2024/02/this-is-why-idea-that-ai-will-just.html

Alignment, Safety

  • Anthropic - https://arxiv.org/pdf/2112.00861.pdf
    • Helpful: attempt to do what is ask. concise, efficient. ask followups. redirect bad questions.
    • Honest: give accurate information, express uncertainty. don't imitate responses expected from an expert if it doesn't have the capabilities/knowledge
    • Harmless: not offensive/discriminatory. refuse to assist dangerous acts. recognize when providing sensitive/consequential advice
    • criticism and boundaries as future direction https://twitter.com/davidad/status/1628489924235206657?s=46&t=TPVwcoqO8qkc7MuaWiNcnw
  • Just Eliezer entire body of work
    • https://twitter.com/esyudkowsky/status/1625922986590212096
    • agi list of lethalities https://www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
    • note that eliezer has made controversial comments in the past and also in recent times (TIME article)
  • Connor Leahy may be a more sane/measured/technically competent version of yud https://overcast.fm/+aYlOEqTJ0
    • it's not just paperclip factories
    • https://www.lesswrong.com/posts/HBxe6wdjxK239zajf/what-failure-looks-like
  • the 6 month pause letter
    • https://futureoflife.org/open-letter/pause-giant-ai-experiments/
    • yann lecun vs andrew ng https://www.youtube.com/watch?v=BY9KV8uCtj4
    • https://scottaaronson.blog/?p=7174
    • emily bender response
    • Geoffrey Hinton leaving Google
    • followed up by one sentence public letter https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
  • xrisk - Is avoiding extinction from AI really an urgent priority? (link)
    • AI Is not an arms race. (link)
    • If we're going to label AI an 'extinction risk,' we need to clarify how it could happen. (link)
  • OpenAI superalignment https://www.youtube.com/watch?v=ZP_N4q5U3eE

peraturan

  • chinese regulation https://www.chinalawtranslate.com/en/overview-of-draft-measures-on-generative-ai/
    • https://twitter.com/mmitchell_ai/status/1647697067006111745?s=46&t=90xQ8sGy63D2OtiaoGJuww
    • China is the only major world power that explicitly regulates generative AI
  • italy banning chatgpt
    • At its annual meeting in Japan, the Group of Seven (G7), an informal bloc of industrialized democratic governments, announced the Hiroshima Process, an intergovernmental task force empowered to investigate risks of generative AI. G7 members, which include Canada, France, Germany, Italy, Japan, the United Kingdom, and the United States, vowed to craft mutually compatible laws and regulate AI according to democratic values. These include fairness, accountability, transparency, safety, data privacy, protection from abuse, and respect for human rights.
  • US President Joe Biden issued a strategic plan for AI. The initiative calls on US regulatory agencies to develop public datasets, benchmarks, and standards for training, measuring, and evaluating AI systems.
  • Earlier this month, France's data privacy regulator announced a framework for regulating generative AI.
  • regulation vs Xrisk https://1a3orn.com/sub/essays-regulation-stories.html
  • Multimodal Prompt Injection in GPT4V

Misc

  • Berbisik
    • https://huggingface.co/spaces/sensahin/YouWhisper YouWhisper converts Youtube videos to text using openai/whisper.
    • https://twitter.com/jeffistyping/status/1573145140205846528 youtube whipserer
    • multilingual subtitles https://twitter.com/1littlecoder/status/1573030143848722433
    • video subtitles https://twitter.com/m1guelpf/status/1574929980207034375
    • you can join whisper to stable diffusion for reasons https://twitter.com/fffiloni/status/1573733520765247488/photo/1
    • known problems https://twitter.com/lunixbochs/status/1574848899897884672 (edge case with catastrophic failures)
  • textually guided audio https://twitter.com/FelixKreuk/status/1575846953333579776
  • Codegen
    • CodegeeX https://twitter.com/thukeg/status/1572218413694726144
    • https://github.com/salesforce/CodeGen https://joel.tools/codegen/
  • pdf to structured data - Impira used t to do it (dead link: https://www.impira.com/blog/hey-machine-whats-my-invoice-total) but if you look hard enough on twitter there are some alternatif
  • text to Human Motion diffusion https://twitter.com/GuyTvt/status/1577947409551851520
    • abs: https://arxiv.org/abs/2209.14916
    • project page: https://guytevet.github.io/mdm-page/
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua