หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

AI Notes

หมายเหตุเกี่ยวกับสถานะของศิลปะ AI โดยมุ่งเน้นไปที่แบบจำลองภาษาและภาษาขนาดใหญ่ นี่คือ "วัตถุดิบ" สำหรับ https://lspace.swyx.io/ จดหมายข่าว

repo นี้เคยเรียกว่า https://github.com/sw-yx/prompt-eng แต่ถูกเปลี่ยนชื่อเนื่องจากวิศวกรรมที่รวดเร็วเกินไป ตอนนี้เป็นบันทึกย่อของ AI Engineering Notes repo

readme นี้เป็นเพียงภาพรวมระดับสูงของพื้นที่ คุณควรเห็นการอัปเดตมากที่สุดในไฟล์ Markdown อื่น ๆ ใน repo นี้:

  • TEXT.md - การสร้างข้อความส่วนใหญ่มี GPT -4
    • TEXT_CHAT.md - ข้อมูลเกี่ยวกับ CHATGPT และคู่แข่งรวมถึงผลิตภัณฑ์อนุพันธ์
    • TEXT_SEARCH.md - ข้อมูลเกี่ยวกับ GPT -4 เปิดใช้งานการค้นหาความหมายและข้อมูลอื่น ๆ
    • TEXT_PROMPTS.md - ไฟล์กวาดขนาดเล็กของ Good GPT3 Prompts
  • INFRA.md - บันทึกย่อดิบเกี่ยวกับโครงสร้างพื้นฐาน AI ฮาร์ดแวร์และการปรับขนาด
  • AUDIO.md - การติดตามเสียง/เพลง/การถอดเสียง + รุ่น
  • CODE.md - รุ่น codegen เช่น copilot
  • IMAGE_GEN.md - ไฟล์ที่พัฒนามากที่สุดโดยมีบันทึกย่อที่หนักที่สุดเกี่ยวกับการแพร่กระจายที่มั่นคงและบางส่วนใน Midjourney และ Dalle
    • IMAGE_PROMPTS.md - ไฟล์กวาดขนาดเล็กของพรอมต์ภาพที่ดี
  • ทรัพยากร : ยืนทำความสะอาดทรัพยากรที่ตั้งใจจะถาวร
  • หมายเหตุต้นขั้ว - หน้าโปรโตขนาดเล็ก/เบามากของพื้นที่ครอบคลุมในอนาคต - AGENTS.md - การติดตาม "Agentic AI"
  • แนวคิดบล็อก - ความคิดโพสต์บล็อกที่มีศักยภาพที่ได้มาจากบันทึกเหล่านี้ BC
สารบัญ
  • กรณีการใช้งานที่สร้างแรงบันดาลใจ
  • AI Top AI อ่าน
  • ชุมชน
  • ประชากร
  • ผิด
  • คำคมความเป็นจริงและการลดทอน
  • กฎหมายจริยธรรมและความเป็นส่วนตัว

กรณีการใช้งานที่สร้างแรงบันดาลใจ

  • ภาพ
    • https://mpost.io/best-100-stable-diffusion-prompts-the-most-eautiful-ai-text-to-image-prompts
    • ภาพสมองสังเคราะห์ 3d MRI - การรับสัญญาณบวกจากนักสถิติ neuroimaging
    • การแพร่กระจายที่เสถียรของผู้เล่นหลายคน
  • วิดีโอ
    • Img2img ของฉากภาพยนตร์ที่มีชื่อเสียง (Lalaland)
      • IMG2IMG Transforming Actor กับ Ebsynth + KOE_RECAST
      • Ebsynth ทำงานอย่างไร https://twitter.com/tomlikesrobots/status/1612047103806545923?s=20
    • แฟชั่นเสมือน (Karenxcheng)
    • ภาพปูกระเบื้องที่ไร้รอยต่อ
    • วิวัฒนาการของฉาก (แซนเดอร์)
    • outpainting https://twitter.com/orbamsterdam/status/1568200010747068417?s=21&t=rliacnwoijjjmis37S8QCCW
    • Webui IMG2IMG การทำงานร่วมกัน https://twitter.com/_akhaliq/status/1563582621757898752
    • ภาพเป็นวิดีโอด้วยการหมุน https://twitter.com/tomlikesrobots/status/1571096804539912192
    • "Promple Paint" https://twitter.com/1littlecoder/status/1572573152974372864
    • Audio2Video ภาพเคลื่อนไหวของใบหน้าของคุณ
    • ของเล่นทางกายภาพถึง 3D รุ่น + ภาพเคลื่อนไหว https://twitter.com/sergeyglkn/status/1587430510988611584
    • มิวสิควิดีโอ
      • วิดีโอที่ฆ่าดาราวิทยุ Colab นี้ใช้คำพูด Whisper Speech-to-text ของ Openai ช่วยให้คุณใช้วิดีโอ YouTube และสร้างภาพเคลื่อนไหวการแพร่กระจายที่เสถียรซึ่งได้รับการกระตุ้นจากเนื้อเพลงในวิดีโอ YouTube
      • วิดีโอการแพร่กระจายที่เสถียรสร้างวิดีโอโดยการแก้ไขระหว่างพรอมต์และเสียง
    • Direct Text2Video Project
      • https://twitter.com/_akhaliq/status/1575546841533497344
      • https://makeavideo.studio/ - Explorer https://webvid.datasette.io/webvid/videos
      • https://phenaki.video/
      • https://github.com/thudm/cogvideo
      • https://imagen.research.google/video/
  • text-to-3d https://twitter.com/_akhaliq/status/1575541930905243652
    • https://dreamfusion3d.github.io/
    • โอเพ่นซอร์ส INPL: https://github.com/ashawkey/stable-dreamfusion
    • ตัวอย่าง https://twitter.com/_akhaliq/status/1578035919403503616
  • ผลิตภัณฑ์ข้อความ
    • มีรายชื่อ usecases ในตอนท้าย https://huyenchip.com/2023/04/11/llm-engineering.html
  • แจสเปอร์
  • gpt สำหรับ obsidian https://reasonabledeviations.com/2023/02/05/gpt-for-second-brain/
  • gpt3 อีเมล https://github.com/sw-yx/gpt3-email และการจัดกลุ่มอีเมล
  • gpt3 () ใน Google Sheet 2020, 2022 - แผ่นชีทแผ่น Google https://twitter.com/mehran__jalali/status/1608159307513618433
    • https://gpt3demo.com/apps/google-sheets
    • Charm https://twitter.com/shubroski/status/1620139262925754368?s=20
  • https://www.summari.com/ summari ช่วยคนไม่ว่างอ่านเพิ่มเติม
  • แผนที่ตลาด/ภูมิทัศน์
    • Elad Gil 2024 แผนภูมิสแต็ก
    • แผนที่ตลาด Sequoia ม.ค. 2023, กรกฎาคม 2023, ก.ย. 2023
    • base10 แผนที่ตลาด https://twitter.com/letsenhance_io/status/1594826383305449491
    • แผนที่ตลาดของ Matt Shumer
    • nfx https://www.nfx.com/post/generative-ai-tech-5-layers?ref=context-by-cohere
    • A16Z https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform/
      • https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/
      • https://a16z.com/100-gen-ai-apps
    • madrona https://www.madrona.com/foundation-models/
    • เสื้อคลุม
      • https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023
      • https://x.com/sam_awrabi/status/1742324900034150646?s=20
  • สินทรัพย์เกม -
    • Emad Thread https://twitter.com/emostaque/status/1591436813750906882
    • scenario.gg https://twitter.com/emmanuel_2m/status/1593356241283125251
    • ตัวอย่างการสร้างแบบจำลองตัวละครเกม 3 มิติ
    • Mariogpt https://arxiv.org/pdf/2302.05981.pdf https://www.slashgear.com/119870/mariogpt-uses-ai-to-enerate-endless-super-mario-levels-for-fore //github.com/shyamsn97/mario-gpt/blob/main/mario_gpt/level.py
    • https://news.ycombinator.com/item?id=36295227

AI Top AI อ่าน

การอ่าน GPT3 ขั้นสูงมากขึ้นได้ถูกแบ่งออกเป็น https://github.com/sw-yx/ai-notes/blob/main/text.md

  • https://www.gwern.net/gpt-3#prompts-as-programming
  • https://learnprompting.org/

ผู้เริ่มต้นอ่าน

  • Bill Gates บน AI (ทวีต)
    • "การพัฒนาของ AI นั้นเป็นพื้นฐานของการสร้างไมโครโปรเซสเซอร์คอมพิวเตอร์ส่วนบุคคลอินเทอร์เน็ตและโทรศัพท์มือถือมันจะเปลี่ยนวิธีการทำงานของผู้คนเรียนรู้การเดินทางรับการดูแลสุขภาพและสื่อสารกัน"
  • Steve Yegge บน AI สำหรับนักพัฒนา
  • Karpathy 2023 Intro to LLM (หมายเหตุจาก Sarah Chieng)
  • คู่มือวิศวกรรมที่รวดเร็วจาก Openai ที่ Neurips ผ่าน Sarah Chieng
  • ทำไมช่วงเวลา AI นี้อาจเป็นเรื่องจริง
  • Sam Altman - กฎของมัวร์สำหรับทุกสิ่ง
  • บทนำที่ยอดเยี่ยมเกี่ยวกับโมเดลพื้นฐานจาก MSR https://youtu.be/hqi6o5dlyfc
  • Openai Prompt Tutorial https://beta.openai.com/docs/quickstart/add-some-examples
  • Google Lamda Intro https://aitestkitchen.withgoogle.com/how-lamda-works
  • Karpathy Gradient Descent Course
  • FT Visual Storytelling เรื่อง "How Transformers Work"
  • dalle2 การเขียนพร้อมหนังสือ http://dallery.gallery/wp-content/uploads/2022/07/the-dall%C2%B7E-2-prompt-book-v1.02.pdf
  • https://medium.com/nerd-for-tech/prompt-engineering-the-career-of-future-2fb93f90f117
  • วิธีใช้ AI เพื่อทำสิ่งต่าง ๆ ในการรับข้อมูลการทำงานกับข้อมูลและการสร้างภาพ
  • https://ourworldindata.org/brief-history-of-ai ai ภาพรวมความคืบหน้าด้วยแผนภูมิที่ดี
  • การสร้างเนื้อหา AI ของ Jon Stokes, ส่วนที่ 1: พื้นฐานการเรียนรู้ของเครื่อง
  • Andrew Ng - โอกาสใน AI
  • โมเดลหม้อแปลงคืออะไรและทำงานอย่างไร? - อาจจะสูงเกินไปเล็กน้อย
  • การสร้างข้อความ
    • วิศวกรรมที่รวดเร็วของ Humanloop 101
    • คำอธิบายของ Stephen Wolfram https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
    • เทียบเท่าจาก Jon Stokes jonstokes.com/p/the-chat-stack-gpt-4-and-the-near
    • https://andymatuschak.org/prompts/
    • มหาวิทยาลัย LLM ของ Cohere
      • คู่มือของ Jay Alammar สำหรับทุกสิ่ง: https://llm.university/
    • https://www.jonstokes.com/p/chatgpt-explained-a-guide-for-normies สำหรับ normies
  • การสร้างภาพ
    • https://wiki.installgentoo.com/wiki/stable_diffusion ภาพรวม
    • https://www.reddit.com/r/stablediffusion/comments/x41n87/how_to_get_images_that_dont_suck_a/
    • https://mpost.io/best-100-stable-diffusion-prompts-the-most-eautiful-ai-text-to-image-prompts/
    • https://www.kdnuggets.com/2021/03/beginners-guide-clip-model.html
  • สำหรับการไม่ใช้เทคนิค
    • https://www.jonstokes.com/p/ai-content-generation-part-1-machine
    • https://www.protocol.com/generative-ai-startup-landscape-map
    • https://twitter.com/saranormous/status/1572791179636518913

การอ่านระดับกลาง

  • รายงานสถานะ AI : 2018, 2019, 2020, 2021, 2022
  • ย้อนกลับเหตุการณ์สำคัญตามลำดับเวลา https://bleededingedge.ai/
  • สิ่งที่เรารู้เกี่ยวกับ LLMS - การวิจัยที่ยอดเยี่ยม
  • คู่มือ 1hr ของ Karpathy to LLM - สรุปจาก Sarah Chieng
      1. รูปแบบภาษาขนาดใหญ่ (LLM) คืออะไร?
      • มีสององค์ประกอบหลักของ LLM
        • LLM ทำอะไร?
    1. คุณสร้าง LLM ได้อย่างไร?
      • ขั้นตอนที่ 1: การฝึกอบรมล่วงหน้าแบบจำลอง
      • ขั้นตอนที่ 2: การปรับแต่งแบบจำลอง
        • Stage 2B: [ไม่บังคับ] การปรับแต่งเพิ่มเติม
      • ขั้นตอนที่ 3: การอนุมานแบบจำลอง
      • ขั้นตอนที่ 4: [ไม่บังคับ] Supercharging LLMs พร้อมการปรับแต่ง
    2. LLM ปัจจุบัน“ ลีดเดอร์บอร์ด”
    3. อนาคตของ LLMS: อะไรต่อไป?
      • วิธีปรับปรุงประสิทธิภาพ LLM?
        • กฎหมายการปรับขนาด LLM
        • การพัฒนาตนเอง
      • จะปรับปรุงความสามารถของ LLM ได้อย่างไร?
        • ความหลากหลาย
        • ระบบ 1 + 2 การคิด
    4. LLM Dark Arts
      • การแหย่
      • การฉีด
      • การโจมตีด้วยพิษข้อมูลและการโจมตีแบ็คดอร์
    • คู่มือ Evan Morikawa To LLM Math โดยเฉพาะชิ้นส่วนความท้าทายในการปรับขนาด 5 ชิ้น
  • คู่มือแฮ็กเกอร์เกี่ยวกับรูปแบบภาษา (YouTube) Jeremy Howard 90 นาทีภาพรวมของการเรียนรู้ LLM ของ LLM-เริ่มต้นที่พื้นฐาน: วิธีการฝึกอบรมก่อนการฝึกอบรม / การปรับแต่งแบบ 3 ขั้นตอน 3 ขั้นตอนที่ใช้ใน LLM ที่ทันสมัยทั้งหมด
  • https://spreadsheets-are-all-you-need.ai
  • "ติดตามโลกแปลก ๆ ของ LLMS" - ภาพรวม 40 นาทีของ Simon Willison + คำถามเปิดสำหรับวิศวกร AI
  • ภาพรวม LLMS จาก Flyte
  • Clementine Fourrier เกี่ยวกับวิธีการทำ Evals
  • รูปแบบสำหรับการสร้างระบบและผลิตภัณฑ์ที่ใช้ LLM - Recap ที่ยอดเยี่ยม
    • Evals: เพื่อวัดประสิทธิภาพ
    • ผ้าขี้ริ้ว: เพื่อเพิ่มความรู้ภายนอกล่าสุด
    • ปรับแต่ง: เพื่อให้ดีขึ้นในงานเฉพาะ
    • การแคช: เพื่อลดเวลาแฝงและค่าใช้จ่าย
    • Guardrails: เพื่อให้แน่ใจว่าคุณภาพเอาต์พุต
    • การป้องกัน UX: เพื่อคาดการณ์และจัดการข้อผิดพลาดอย่างสง่างาม
    • รวบรวมคำติชมของผู้ใช้: เพื่อสร้างมู่เล่ข้อมูลของเรา
  • ฐานข้อมูลเวกเตอร์: ไพรเมอร์ทางเทคนิค [PDF] สไลด์ที่ดีมากบน DBS เวกเตอร์
    • ขาดความครอบคลุมของการค้นหาไฮบริด (เวกเตอร์ + คำศัพท์) การอภิปรายเพิ่มเติม
  • a16z ai canon https://a16z.com/2023/05/25/ai-canon/
    • ซอฟต์แวร์ 2.0 : Andrej Karpathy เป็นหนึ่งในคนแรกที่อธิบายอย่างชัดเจน (ในปี 2560!) ทำไมคลื่น AI ใหม่จึงมีความสำคัญ ข้อโต้แย้งของเขาคือ AI เป็นวิธีใหม่และทรงพลังในการโปรแกรมคอมพิวเตอร์ เมื่อ LLMS ดีขึ้นอย่างรวดเร็ววิทยานิพนธ์นี้ได้พิสูจน์แล้วว่ามีความเพียรและให้แบบจำลองทางจิตที่ดีสำหรับวิธีการที่ตลาด AI อาจก้าวหน้า
    • สถานะของ GPT : จาก Karpathy นี่เป็นคำอธิบายที่เข้าถึงได้ง่ายมากว่าโมเดล CHATGPT / GPT ในการทำงานทั่วไปวิธีการใช้งานอย่างไร
    • CHATGPT กำลังทำอะไร…และทำไมมันถึงได้ผล? : นักวิทยาศาสตร์คอมพิวเตอร์และผู้ประกอบการ Stephen Wolfram ให้คำอธิบายที่ยาว แต่อ่านง่ายจากหลักการแรกว่าโมเดล AI ที่ทันสมัยทำงานอย่างไร เขาทำตามไทม์ไลน์จากอวนประสาทยุคต้นจนถึง LLMS และ CHATGPT ในปัจจุบัน
    • Transformers อธิบาย : โพสต์นี้โดย Dale Markowitz เป็นคำตอบที่สั้นกว่าและตรงไปตรงมามากขึ้นสำหรับคำถาม“ LLM คืออะไรและมันทำงานอย่างไร” นี่เป็นวิธีที่ยอดเยี่ยมในการผ่อนคลายในหัวข้อและพัฒนาสัญชาตญาณสำหรับเทคโนโลยี มันถูกเขียนเกี่ยวกับ GPT-3 แต่ยังคงใช้กับรุ่นใหม่
    • การแพร่กระจายที่เสถียรเพียงใด : นี่คืออะนาล็อกคอมพิวเตอร์วิสัยทัศน์ไปยังโพสต์สุดท้าย Chris McCormick ให้คำอธิบายของ Layperson ว่าการแพร่กระจายที่เสถียรนั้นทำงานอย่างไรและพัฒนาสัญชาตญาณรอบ ๆ แบบจำลองข้อความเป็นภาพโดยทั่วไป สำหรับการแนะนำ ที่อ่อนโยน ยิ่งขึ้นลองดูการ์ตูนเรื่องนี้จาก R/StabledIffusion
    • ผู้อธิบาย
      • การเรียนรู้อย่างลึกล้ำโดยสรุป: แนวคิดหลัก : ซีรีส์สี่ส่วนนี้จาก Nvidia เดินผ่านพื้นฐานของการเรียนรู้อย่างลึกซึ้งที่ฝึกฝนในปี 2558 และเป็นแหล่งข้อมูลที่ดีสำหรับทุกคนที่เพิ่งเรียนรู้เกี่ยวกับ AI
      • การเรียนรู้เชิงลึกสำหรับผู้เขียนโค้ด : หลักสูตรที่ครอบคลุมและฟรีเกี่ยวกับพื้นฐานของ AI อธิบายผ่านตัวอย่างและรหัสที่เป็นประโยชน์
      • Word2vec อธิบาย : การแนะนำง่าย ๆ เกี่ยวกับการฝังและโทเค็นซึ่งเป็นหน่วยการสร้างของ LLMs (และทุกรุ่นภาษา)
      • ใช่คุณควรเข้าใจ backprop : โพสต์เชิงลึกเพิ่มเติมเกี่ยวกับการพิมพ์ย้อนกลับหากคุณต้องการเข้าใจรายละเอียด หากคุณต้องการมากขึ้นลองการบรรยาย Stanford CS231N (หลักสูตรที่นี่) บน YouTube
    • หลักสูตร
      • Stanford CS229 : บทนำเกี่ยวกับการเรียนรู้ของเครื่องกับ Andrew NG ซึ่งครอบคลุมพื้นฐานของการเรียนรู้ของเครื่อง
      • Stanford CS224N : NLP ด้วยการเรียนรู้อย่างลึกซึ้งกับ Chris Manning ครอบคลุมพื้นฐาน NLP ผ่าน LLM รุ่นแรก
  • https://github.com/mlabonne/llm-course
  • https://cims.nyu.edu/~sbowman/eightthings.pdf
    1. LLMS คาดการณ์ได้ว่าจะมีความสามารถมากขึ้นในการลงทุนที่เพิ่มขึ้นแม้จะไม่มีนวัตกรรมที่กำหนดเป้าหมาย
    2. พฤติกรรม LLM ที่สำคัญหลายอย่างกลายเป็นผลพลอยได้จากการลงทุนที่เพิ่มขึ้นอย่างคาดไม่ถึง
    3. LLM มักจะเรียนรู้และใช้การเป็นตัวแทนของโลกภายนอก
    4. ไม่มีเทคนิคที่เชื่อถือได้สำหรับการควบคุมพฤติกรรมของ LLM
    5. ผู้เชี่ยวชาญยังไม่สามารถตีความการทำงานภายในของ LLM ได้
    6. ประสิทธิภาพของมนุษย์ในงานไม่ใช่ขอบเขตบนประสิทธิภาพของ LLM
    7. LLMS ไม่จำเป็นต้องแสดงค่าของผู้สร้างหรือค่าที่เข้ารหัสในข้อความเว็บ
    8. การโต้ตอบสั้น ๆ กับ LLM มักจะทำให้เข้าใจผิด
    9. Simonw ไฮไลต์ https://fedi.simonwillison.net/@simon/110144185463887790
  • 10 ความท้าทายแบบเปิดในการวิจัย LLM https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
  • Openai Prompt ENG Cookbook https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_reliability.md
  • บนภาพรวมของ ENG ที่รวดเร็ว
  • https://moultano.wordpress.com/2023/06/28/the-many-ways-that-digital-minds-can-know/ การเปรียบเทียบการค้นหากับ ai
  • สรุปการพัฒนา AI ที่สำคัญของปี 2022 https://www.deeplearning.ai/the-batch/issue-176/
  • Dalle2 Asset Generation + Inpainting https://twitter.com/aifunhouse/status/1576202480936886273?s=20&t=5exa1uydpva2sjzm-sxhcq
  • Suhail Journey https://twitter.com/suhail/status/1541276314485018625?s=20&t=x2mvkqkhdr28iz3vzeeo8w
  • Composable Diffusion - "และ" แทน "และ" https://twitter.com/tomlikesrobots/status/1580293860902985728
  • บน bpe tokenization https://towardsdatascience.com/byte-pair-encoding-subword-tokenization-algorithm-77828a70bee0 ดู Google Sentencepiece และ Openai tiktoken
    • แหล่งที่มาในแหล่งกำเนิด gpt2 https://github.com/openai/gpt-2/blob/master/src/encoder.py
    • โปรดทราบว่า bpes เป็น https://www.lesswrong.com/posts/dfbfclza4pejckekc/a-mechanistic-explanation-for-solidgoldmagikarp-like-tokens?commentid=9jndkscwewwewwewebb4gtcq
      • // ---------------------------------------------------------------------------------------------------------------------------------------------------- ------------------------------------------------------ -------------- เป็นโทเค็น GPT-4 เดียว
      • GPT-3.5 ขัดข้องเมื่อคิดเกี่ยวกับการ breagerativeimagepath มากเกินไป
      • ทำให้เกิดปัญหาคณิตศาสตร์และสตริง
      • และทำให้เกิดปัญหากับ evals
      • โทเค็นความผิดพลาดเกิดขึ้นเมื่อ Tokenizer มีชุดข้อมูลที่แตกต่างจาก LLM
      • Karpathy พูดถึงสาเหตุที่ทำให้ Tokenization ยุ่ง
    • https://platform.openai.com/tokenizer และ https://github.com/openai/tiktoken (ข้อมูลเพิ่มเติมเพิ่มเติม: https://tiktokenizer.vercel.app/)
    • WordPiece -> BPE -> SentEncetransformer
      • การอ่านเบื้องต้นเกี่ยวกับการฝัง
      • https://youtu.be/qddoffkvkcw?si=qefzsddspxdnd313
      • HuggingFace MTEB เกณฑ์มาตรฐานของการฝังตัว
      • ปัญหาที่น่าสังเกตเกี่ยวกับการฝัง GPT3 และทางเลือกอื่น ๆ ที่ต้องพิจารณา
    • https://observablehq.com/@simonw/gpt-3-token-encoder-decoder
    • Karpathy ต้องการ tokenization ที่จะหายไป https://twitter.com/karpathy/status/1657949234535211009
    • การเข้ารหัสตำแหน่งไม่จำเป็นสำหรับตัวถอดรหัสเฉพาะ https://twitter.com/a_kazemnejad/status/1664277559968927744
  • สร้างภาษาของตัวเอง https://twitter.com/giannis_daras/status/1531693104821985280
  • Google Cloud Generative AI การเรียนรู้เส้นทาง https://www.cloudskillsboost.google/paths/118
  • img2img https://andys.page/posts/how-to-draw/
  • เกี่ยวกับการสร้างแบบจำลองภาษา https://lena-voita.github.io/nlp_course/language_modeling.html และคำอธิบายทางเทคนิคที่เข้าถึงได้ แต่เข้าถึงได้ แต่ทางเทคนิคของการสร้างภาษารวมถึงการสุ่มตัวอย่างจากการแจกแจง
  • Quest for photorealism https://www.reddit.com/r/stablediffusion/comments/x9zmjd/quest_for_ultimate_photorealism_part_2_colors/
    • https://medium.com/merzazine/prompt-design-for-dall-e-photorealism-emuling-reality-6f478df6f186
  • การตั้งค่า tweaking https://www.reddit.com/r/stablediffusion/comments/x3k79h/the_feeling_of_discovery_sd_is_like_a_great_proc/
    • การเลือกเมล็ดพันธุ์ https://www.reddit.com/r/stablediffusion/comments/x8szj9/tutorial_seed_selection_and_the_impact_on_your/
    • การศึกษาความแตกต่างของพารามิเตอร์พารามิเตอร์เล็กน้อย (ขั้นตอน, Clamp_max, ETA, cutn_batches ฯลฯ ) https://twitter.com/kyrickyoung/status/1500196286930292742
    • AI Generative: Autocomplete สำหรับทุกสิ่ง
    • GPT ได้รับความสามารถอย่างไร? การติดตามความสามารถฉุกเฉินของแบบจำลองภาษาไปยังแหล่งข้อมูลที่ดีด้วยประวัติการพัฒนาของตระกูล GPT ของแบบจำลองและความสามารถในการพัฒนาอย่างไร
  • https://barryz-architecture-of-agentic-llm.notion.site/almost-idything-hnow-about-llms-d117ca25d4624199be07e9b0ab356a77

อ่านขั้นสูง

  • https://github.com/mooler0410/llmspracticalGuide
    • รายการที่ดีของเอกสาร IMPT ทั้งหมด
  • https://github.com/eleutherai/cookbook#the-cookbook รายการทรัพยากรของ Eleuther AI สำหรับการฝึกอบรม เปรียบเทียบกับ https://github.com/google-research/tuning_playbook
  • Anti Hype LLM รายการอ่านรายการ https://gist.github.com/veekaybee/be375ab33085102f9027853128dc5f0e
  • 6 เอกสารจาก Jason Wei จาก Openai (บล็อก)
    • กระดาษ GPT-3 (https://arxiv.org/abs/2005.14165)
    • การแจ้งเตือน Chain-of-Though (https://arxiv.org/abs/2201.11903)
    • การปรับขนาดกฎหมาย (https://arxiv.org/abs/2001.08361)
    • ความสามารถฉุกเฉิน (https://arxiv.org/abs/2206.07682)
    • แบบจำลองภาษาสามารถติดตามทั้งฉลากที่พลิกกลับและฉลากที่ไม่เกี่ยวข้องกับความหมาย (https://arxiv.org/abs/2303.03846)
  • LLM Paper Notes - หมายเหตุจากสโมสรกระดาษอวกาศแฝงโดย Eugene Yan
  • Transformers จากศูนย์ https://e2eml.school/transformers.html
    • Transformers vs LSTM https://medium.com/analytics-vidhya/why-are-lstms-struggling-to-matchup-with-transformers-a1cc5b2557e3
    • รหัสหม้อแปลง Walkthru https://twitter.com/mark_riedl/status/1555188022534176768
    • Transformer Familyi https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/
      • รายการกระดาษ Carmack https://news.ycombinator.com/item?id=34639634
      • รุ่นหม้อแปลง: บทนำและแคตตาล็อก https://arxiv.org/abs/2302.07730
      • DeepMind - อัลกอริทึมอย่างเป็นทางการสำหรับ Transformers https://arxiv.org/pdf/2207.09238.pdf
    • ผู้อธิบาย Jay Alammar
      • https://jalammar.github.io/illustrated-transformer/
      • https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/
  • Karpathy เกี่ยวกับ Transformers
    • การบรรจบกัน : การรวมอย่างต่อเนื่องใน AI นั้นเหลือเชื่อ เมื่อฉันเริ่ม ~ ทศวรรษที่ผ่านมาวิสัยทัศน์การพูดภาษาธรรมชาติการเรียนรู้การเสริมแรง ฯลฯ แยกจากกันอย่างสมบูรณ์ คุณไม่สามารถอ่านเอกสารข้ามพื้นที่ได้ - วิธีการแตกต่างอย่างสิ้นเชิงมักจะไม่ได้ใช้ ML ในปี 2010 ทุกพื้นที่เหล่านี้เริ่มเปลี่ยน 1) เป็นการเรียนรู้ของเครื่องและโดยเฉพาะ 2) อวนประสาท สถาปัตยกรรมมีความหลากหลาย แต่อย่างน้อยเอกสารก็เริ่มอ่านที่คล้ายกันมากขึ้นพวกเขาทั้งหมดใช้ชุดข้อมูลขนาดใหญ่และเพิ่มประสิทธิภาพอวนประสาท แต่ประมาณ สองปีที่ผ่านมาแม้แต่สถาปัตยกรรมตาข่ายประสาทในทุกพื้นที่ก็เริ่มมีลักษณะเหมือนกัน - หม้อแปลง (แน่นอนใน ~ 200 บรรทัดของ pytorch https://github.com/karpathy/mingpt/blob/master/mingpt/model.py… ) มีความแตกต่างเล็กน้อย ไม่ว่าจะเป็นพื้นฐานที่แข็งแกร่งหรือสถานะของศิลปะ (Tweetstorm)
    • ทำไมหม้อแปลงชนะ : หม้อแปลงเป็นสถาปัตยกรรมเครือข่ายประสาทที่งดงามเพราะเป็นคอมพิวเตอร์ที่แตกต่างกันโดยทั่วไป มันพร้อมกัน: 1) การแสดงออก (ในการส่งไปข้างหน้า) 2) ปรับให้เหมาะสม (ผ่าน backpropagation+descent descent การไล่ระดับสี) 3) มีประสิทธิภาพ (กราฟการคำนวณแบบขนานสูง) Tweetstorm
      • https://twitter.com/karpathy/status/1593417989830848512?s=20
      • อธิบายอย่างละเอียดในการบรรยาย 1 ชั่วโมงสแตนฟอร์ดและสรุป 8 นาที Lex Fridman
    • babygpt ที่มีสองโทเค็น 0/1 และความยาวบริบทของ 3 ดูเป็นโซ่มาร์คอฟสถานะ จำกัด มันได้รับการฝึกฝนในลำดับ "111101111011110" สำหรับการวนซ้ำ 50 ครั้ง พารามิเตอร์และสถาปัตยกรรมของหม้อแปลงจะปรับเปลี่ยนความน่าจะเป็นบนลูกศร
    • สร้าง gpt จากรอยขีดข่วน https://www.youtube.com/watch?v=KCC8FMEB1NY
    • GPT ที่แตกต่างจากศูนย์ใน 60 loc https://jaykmody.com/blog/gpt-from-scratch/
  • แบบจำลองการแพร่กระจายจากจุดเริ่มต้นจากมุมมองทางทฤษฎีใหม่ - อินโทรขับเคลื่อนรหัสของแบบจำลองการแพร่กระจาย
  • 137 ความสามารถฉุกเฉินของแบบจำลองภาษาขนาดใหญ่
    • งานไม่กี่นัดที่เกิดขึ้นฉุกเฉิน: Big-Bench และ MMLU Benchmarks
    • กลยุทธ์การแจ้งเตือนฉุกเฉิน
      • คำสั่งตาม
      • รอยขีดข่วน
      • ใช้ความรู้แบบเปิดหนังสือสำหรับการตรวจสอบข้อเท็จจริง
      • การกระตุ้นด้วยความคิด
      • ดัชนีการค้นหาที่แตกต่างกัน
      • ความมั่นคงในตนเอง
      • ใช้ประโยชน์จากคำอธิบายในการแจ้งเตือน
      • การแจ้งเตือนน้อยที่สุด
      • zero-shot chain-of-though
      • การสอบเทียบผ่าน P (จริง)
      • ห่วงโซ่หลายภาษา
      • ถามฉันเลย
    • บางส่วน - พวกเขาเป็นภาพลวงตาหรือไม่? อย่าใช้ตัวชี้วัดที่รุนแรง
      • https://www.jasonwei.net/blog/common-arguments-regrarding-emergent-abilities
      • https://hai.stanford.edu/news/ais-ostensible-emergent-abilitive-are-irage
    • ภาพ
      • Eugene Yan คำอธิบายเกี่ยวกับข้อความถึงภาพสแต็ก https://eugeneyan.com/writing/text-to-image/
      • vqgan/clip https://minimaxir.com/2021/08/vqgan-clip/
      • ประวัติศาสตร์การสร้างภาพ 10 ปี
      • Vision Transformers (VIT) อธิบาย https://www.pinecone.io/learn/vision-transformers/
    • การแจ้งเตือนเชิงลบ https://minimaxir.com/2022/11/stable-diffusion-negative-prompt/
    • เอกสารที่ดีที่สุดของ 2022 https://www.yitay.net/blog/2022-best-nlp-papers
    • ความสามารถในการคาดการณ์และความประหลาดใจในแบบจำลองขนาดใหญ่ - กระดาษสำรวจที่ดีของสิ่งที่เรารู้เกี่ยวกับการปรับขนาดและความสามารถและการเพิ่มขึ้นของ LLM
  • เอกสารเพิ่มเติมที่รวดเร็วกว่า https://github.com/dair-ai/prompt-engineering-guide
  • https://creator.nightcafe.studio/vqgan-clip-keyword-modifier-comparison vqgan+comparison comparison
  • ประวัติของ Transformers
    • Richard Socher ในการมีส่วนร่วมในกลไกความสนใจที่นำไปสู่ ​​Transformers https://overcast.fm/+R1P4NKFFU/1:00:00
    • https://kipp.ly/blog/transformer-taxonomy/ เอกสารนี้เป็นรีวิววรรณกรรมการทำงานของฉันสำหรับผู้ที่พยายามติดตาม AI ครอบคลุม 22 รุ่น, การเปลี่ยนแปลงทางสถาปัตยกรรม 11, 7 เทคนิคหลังการฝึกอบรมและเทคนิคการฝึกอบรม 3 อย่าง (และ 5 สิ่งที่ไม่มีข้อใดข้างต้น)
    • ทำความเข้าใจกับแบบจำลองภาษาขนาดใหญ่แบบตัดขวางของวรรณกรรมที่เกี่ยวข้องมากที่สุดเพื่อให้ได้ความเร็ว
      • การให้เครดิตกับ Bandanau et al (2014) ซึ่งฉันเชื่อว่าครั้งแรกที่เสนอแนวคิดของการใช้ฟังก์ชัน Softmax เหนือคะแนนโทเค็นเพื่อคำนวณความสนใจการตั้งค่าเวทีสำหรับหม้อแปลงดั้งเดิมโดย Vaswani et al (2017) https://news.ycombinator.com/item?id=35589756
    • https://finbarrtimbers.substack.com/p/five ปีของ Progress-in-gpts GPT1/2/3, Megatron, Gopher, Chinchilla, Palm, Llama
    • รายงานสรุปที่ดี (8 สิ่งที่ควรรู้) https://cims.nyu.edu/~sbowman/eightthings.pdf
  • HuggingFace Moe Exploser
  • https://blog.alexalemi.com/kl-is-all-you-need.html

เราเปรียบเทียบตัวดัดแปลงคำหลัก 126 กับพร้อมพรอมต์และภาพเริ่มต้นเดียวกัน นี่คือผลลัพธ์

  • https://creator.nightcafe.studio/collection/8dmygkm1evxg7z9pv23w
  • Google เปิดตัว Partiprompts เป็นเกณฑ์มาตรฐาน: https://parti.research.google/ "partiprompts (P2) เป็นชุดที่หลากหลายกว่า 1,600 รายการในภาษาอังกฤษ หมวดหมู่ต่าง ๆ และแง่มุมต่าง ๆ "
  • บทช่วยสอนวิดีโอ
    • Pixel Art https://www.youtube.com/watch?v=UVJKQPTR-8S&FEATURE=YOUTU.BE
  • ประวัติความเป็นมาของเอกสาร
    • 2551: สถาปัตยกรรมแบบครบวงจรสำหรับ NLP (Collobert-Weston) https://twitter.com/ylecun/status/1611921657802768384
    • 2015: การเรียนรู้ลำดับกึ่งผู้ดูแล https://twitter.com/deliprao/status/1611896130589057025
    • 2017: Transformers (Vaswani et al)
    • 2018: GPT (Radford et al)
  • ผิด
    • มุมมองความมั่นคง CIO
    • https://github.com/awesome-stable-diffusion/awesome-stable-diffusion
    • https://github.com/microsoft/lmops คู่มือการวิจัยพรอมต์ MSFT
    • Gwern อยู่เบื้องหลังการอภิปรายของ Bing, GPT4 และความสัมพันธ์ของ Microsoft-openai https://www.lesswrong.com/posts/jtopawehlnxnxvgtt/bing-chat-is-latantly-aggressive-misaligned

รายการอื่น ๆ เช่นนี้

  • https://gist.github.com/rain-1/eebd5e5eb2784feecf450324e3341c8d
  • https://github.com/underlines/awesome-marketing-datascience/blob/master/awesome-ai.md#llama-models
  • https://github.com/imaurer/awesome-decentralized-llm

ชุมชน

  • Discords (ดู https://buttondown.email/ainews สำหรับการสรุปอีเมลทุกวันอัปเดตสด)
    • อวกาศแฝง (ของเรา!)
    • การแฮ็กและการเรียนรู้ทั่วไป
      • แฮ็กเกอร์พูดคุยกัน
      • การจัดตำแหน่ง Lab AI Discord
      • ความไม่ลงรอยกันการวิจัย
      • ทำให้เสียความไม่ลงรอยกัน
      • Karpathy Discord (ไม่ใช้งาน)
      • HuggingFace Discord
      • Skunkworks AI Discord (ใหม่)
      • Jeff Wang/LLM ผู้ที่ชื่นชอบความไม่ลงรอยกัน
      • โหมด cuda (Mark Saroufim) ดู YouTube และ GitHub
    • ศิลปะ
      • StabledIffusion discord
      • deforum discord https://discord.gg/upmxxsrwzc
      • คำศัพท์เฉพาะ
    • การวิจัย AI
      • laion discord https://discord.gg/xbpbxfcfhd
      • Eleuther Discord: https://www.eleuther.ai/get-involved/ (ไพรเมอร์)
    • บริษัท สตาร์ทอัพต่างๆ
      • Discord Perplexity https://discord.com/invite/kwjzsxpdux
      • ความไม่ลงรอยกันของ Midjourney
        • วิธีใช้ Midjourney v4 https://twitter.com/fabianstelzer/status/1588856386540417024?s=20&t=plglugaeeds9hwfegvrrpg
  • https://stablehorde.net/
    • ตัวแทน
      • ความไม่ลงรอยกันอัตโนมัติ
      • Babyagi Discord
  • สีแดง
    • https://reddit.com/r/stablediffusion
    • https://www.reddit.com/r/localllama/
    • https://www.reddit.com/r/bing
    • https://www.reddit.com/r/openai

ประชากร

*ไม่เป็นที่รู้จักสำหรับหลาย ๆ คนปัจจุบันมีอัลฟ่าเพิ่มขึ้นอยู่นอกอาร์กซ์แหล่งข้อมูลรวมถึง แต่ไม่ จำกัด เฉพาะ: https://github.com/trending, hn, เซิร์ฟเวอร์ Discord เฉพาะ *- K

รายการนี้จะล้าสมัย แต่จะเริ่มต้น รายชื่อผู้ติดตามสดของฉันอยู่ที่: https://twitter.com/i/lists/1585430245762441216

  • นักวิจัย/นักพัฒนา
    • https://twitter.com/_jasonwei
    • https://twitter.com/johnowhitaker/status/1565710033463156739
    • https://twitter.com/altryne/status/1564671546341425157
    • https://twitter.com/schmidhuberai
    • https://twitter.com/nearcyan
    • https://twitter.com/karinanguyen_
    • https://twitter.com/abhi_venigalla
    • https://twitter.com/advadnoun
    • https://twitter.com/polynoamial
    • https://twitter.com/vovahimself
    • https://twitter.com/sarahookr
    • https://twitter.com/shaneguml
    • https://twitter.com/maartensap
    • https://twitter.com/ethancaballero
    • https://twitter.com/shayneredford
    • https://twitter.com/SEB_RUDER
    • https://twitter.com/rasbt
    • https://twitter.com/wightmanr
    • https://twitter.com/garymarcus
    • https://twitter.com/ylecun
    • https://twitter.com/karpathy
    • https://twitter.com/pirroh
    • https://twitter.com/eerac
    • https://twitter.com/teknium
    • https://twitter.com/alignment_lab
    • https://twitter.com/picocreator
    • https://twitter.com/charlespacker
    • https://twitter.com/ldjconfirmed
    • https://twitter.com/nisten
    • https://twitter.com/far__el
    • https://twitter.com/i/lists/1713824630241202630
  • ข่าว/ผู้รวบรวม
    • https://twitter.com/ai__pub
    • https://twitter.com/weirdstableai
    • https://twitter.com/multimodalart
    • https://twitter.com/lastweekinai
    • https://twitter.com/paperswithCode
    • https://twitter.com/deeplearningai_
    • https://twitter.com/dl_weekly
    • https://twitter.com/slashml
    • https://twitter.com/_akhaliq
    • https://twitter.com/aaditya_ai
    • https://twitter.com/bentossell
    • https://twitter.com/johnvmcdonnell
  • ผู้ก่อตั้ง/ผู้สร้าง/VCS
    • https://twitter.com/levelsio
    • https://twitter.com/goodside
    • https://twitter.com/c_valenzuelab
    • https://twitter.com/raza_habib496
    • https://twitter.com/sharifshameem/status/1562455690714775552
    • https://twitter.com/genekogan/status/155518448606564353
    • https://twitter.com/levelsio/status/1566069427501764613?s=20&t=campswtmhdssehqwd0k7ig
    • https://twitter.com/amanrsanger
    • https://twitter.com/ctjlewis
    • https://twitter.com/sarahcat21
    • https://twitter.com/jackclarksf
    • https://twitter.com/alexandr_wang
    • https://twitter.com/rameerez
    • https://twitter.com/scottastastevenson
    • https://twitter.com/denisyarats
  • ความมั่นคง
    • https://twitter.com/stabilityai
    • https://twitter.com/stablediffusion
    • https://twitter.com/hardmaru
    • https://twitter.com/jjitsev
  • Openai
    • https://twitter.com/sama
    • https://twitter.com/ilyasut
    • https://twitter.com/miramurati
  • กอด
    • https://twitter.com/younesbelkada
  • ศิลปิน
    • https://twitter.com/karenxcheng/status/1564626773001719813
    • https://twitter.com/tomlikesrobots
  • อื่น
    • บริษัท
      • https://twitter.com/anthropicai
      • https://twitter.com/assemblyai
      • https://twitter.com/cohereai
      • https://twitter.com/mosaicml
      • https://twitter.com/metaai
      • https://twitter.com/deepmind
      • https://twitter.com/hellopaperspace
  • บอทและแอพ
    • https://twitter.com/dreamtweetapp
    • https://twitter.com/aiarterteveryhour

คำคมความเป็นจริงและการลดทอน

  • แคบ, โดเมน tedium usecases https://twitter.com/willmanidis/status/1584900092615528448 และ https://twitter.com/willmanidis/status/158490010048019251666666
  • Antihype https://twitter.com/alexandr_wang/status/1573302977418387457
  • Antihype https://twitter.com/fchollet/status/1612142423425138688?s=46&t=plcnw9pf-co4bn08qqvaug
  • Prompt Eng Memes
    • https://twitter.com/_jasonwei/status/1516844920367054848
  • สิ่งที่ StabledIffusion ต้องดิ้นรนกับ https://opguides.info/posts/aiartpanic/
  • ใหม่ Google
    • https://twitter.com/alexandr_wang/status/1585022891594510336
  • ใหม่ PowerPoint
  • ผ่าน EMAD
  • ต่อท้ายพรอมต์โดยค่าเริ่มต้นใน UI
  • Dalle: https://twitter.com/levelsio/status/158858688115912705?s=20&t=0ojpgmh9k6miedyvg2i6gg
  • มีสองฤดูหนาวก่อนหน้านี้หนึ่ง 1974-1980 และหนึ่ง 1987-1993 https://www.erichgrunewald.com/posts/the-prospect-of-an-ai-winter/ ความเห็นเพิ่มเติมเล็กน้อยที่นี่ ที่เกี่ยวข้อง - เอฟเฟกต์ AI - "เมื่อมันทำงานไม่ใช่ AI"
  • มันเป็นเพียงการคูณเมทริกซ์/นกแก้วสุ่ม
    • แม้แต่ LLM Skeptic Yann Lecun ก็บอกว่า LLMS มีระดับความเข้าใจ: https://twitter.com/ylecun/status/16679471666764023808
    • Gary Marcus“ การเรียนรู้ลึกกำลังกระทบกับกำแพง” https://nautil.us/deep-learning-is-hitting-a-wall-238440/ ระบบสัญลักษณ์ผลักดัน
  • "guo lai ren" antihypers-> worriers
    • https://adamkarvonen.github.io/machine_learning/2024/03/20/chess-gpt-interventions.html#next-token-predictors

กฎหมายจริยธรรมและความเป็นส่วนตัว

  • ตัวกรอง NSFW https://vickiboykis.com/2022/11/18/some-notes-on-the-stable-diffusion-safety-filter/
  • ใน "AI Art Panic" https://opguides.info/posts/aiartpanic/
    • ฉันสูญเสียทุกสิ่งที่ทำให้ฉันรักงานของฉันผ่าน Midjourney
    • รายชื่อศิลปิน Midjourney
  • Yannick มีอิทธิพลต่อ OpenRail-M https://www.youtube.com/watch?v=W5M-DVZPZSQ
  • โรงเรียนศิลปะที่ยอมรับ AI Art https://twitter.com/daverogenmoser/status/1597746558145265664
  • DRM ออก https://undeleted.ronsor.com/voice.ai-gpl-violations-with-a-side-of-drm/
  • การขโมยศิลปะ https://stablediffusionlitigation.com
    • http://www.stablediffusionfrivolous.com/
    • การระบุแหล่งที่มาที่มั่นคง https://news.ycombinator.com/item?id=34670136
    • อาร์กิวเมนต์ Coutner สำหรับ Disney https://twitter.com/jonst0kes/status/1616219435492163584?s=46&t=hqqqdhwusqxytmf8w
    • งานวิจัยเกี่ยวกับการแพร่กระจายที่มั่นคงคัดลอก https://twitter.com/officialzhvng/status/1620535905298817024?s=20&t=nc-nw7pfda8nyrd08lx1nw บทความนี้ใช้การแพร่กระจายที่มั่นคง ฉันถูกต้องหรือไม่ที่เรื่องหลักของฉันจากเรื่องนี้คือการแพร่กระจายที่มั่นคงที่ ไม่ได้ จดจำตัวอย่างการฝึกอบรม?
  • การขูดเนื้อหา
    • https://blog.ericgoldman.org/archives/2023/08/web-scraping-for-me-but-not-for-thee-guest-blog-post.htm
    • Sarah Silverman Case-Openai Response https://arstechnica.com/tech-policy/2023/08/openai-disputes-authors-cliaims-that-every-chatgpt-response-is-a-erivative-work/
    • การตอบสนองแบบโอเพ่น
  • การออกใบอนุญาต
    • น้ำหนัก AI ไม่ได้เปิด "แหล่งที่มา" - Sid Sijbrandij
  • ความหลากหลายและความยุติธรรม
    • ชนกลุ่มน้อยทางเพศ https://twitter.com/lanadenina/status/1680238883206832129 เหตุผลคือสื่อลามกดีที่ร่างกาย
    • Openai Tacking บน "Black" แบบสุ่มเพื่อทำให้ Dalle มีความหลากหลาย
  • ความเป็นส่วนตัว-การคำนวณที่เป็นความลับ https://www.edgeless.systems/blog/how-confidential-momputing-and-ai-fit-together/
  • AI taking jobs https://donaldclarkplanb.blogspot.com/2024/02/this-is-why-idea-that-ai-will-just.html

Alignment, Safety

  • Anthropic - https://arxiv.org/pdf/2112.00861.pdf
    • Helpful: attempt to do what is ask. concise, efficient. ask followups. redirect bad questions.
    • Honest: give accurate information, express uncertainty. don't imitate responses expected from an expert if it doesn't have the capabilities/knowledge
    • Harmless: not offensive/discriminatory. refuse to assist dangerous acts. recognize when providing sensitive/consequential advice
    • criticism and boundaries as future direction https://twitter.com/davidad/status/1628489924235206657?s=46&t=TPVwcoqO8qkc7MuaWiNcnw
  • Just Eliezer entire body of work
    • https://twitter.com/esyudkowsky/status/1625922986590212096
    • agi list of lethalities https://www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
    • note that eliezer has made controversial comments in the past and also in recent times (TIME article)
  • Connor Leahy may be a more sane/measured/technically competent version of yud https://overcast.fm/+aYlOEqTJ0
    • it's not just paperclip factories
    • https://www.lesswrong.com/posts/HBxe6wdjxK239zajf/what-failure-looks-like
  • the 6 month pause letter
    • https://futureoflife.org/open-letter/pause-giant-ai-experiments/
    • yann lecun vs andrew ng https://www.youtube.com/watch?v=BY9KV8uCtj4
    • https://scottaaronson.blog/?p=7174
    • emily bender response
    • Geoffrey Hinton leaving Google
    • followed up by one sentence public letter https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
  • xrisk - Is avoiding extinction from AI really an urgent priority? (link)
    • AI Is not an arms race. (link)
    • If we're going to label AI an 'extinction risk,' we need to clarify how it could happen. (link)
  • OpenAI superalignment https://www.youtube.com/watch?v=ZP_N4q5U3eE

ระเบียบข้อบังคับ

  • chinese regulation https://www.chinalawtranslate.com/en/overview-of-draft-measures-on-generative-ai/
    • https://twitter.com/mmitchell_ai/status/1647697067006111745?s=46&t=90xQ8sGy63D2OtiaoGJuww
    • China is the only major world power that explicitly regulates generative AI
  • italy banning chatgpt
    • At its annual meeting in Japan, the Group of Seven (G7), an informal bloc of industrialized democratic governments, announced the Hiroshima Process, an intergovernmental task force empowered to investigate risks of generative AI. G7 members, which include Canada, France, Germany, Italy, Japan, the United Kingdom, and the United States, vowed to craft mutually compatible laws and regulate AI according to democratic values. These include fairness, accountability, transparency, safety, data privacy, protection from abuse, and respect for human rights.
  • US President Joe Biden issued a strategic plan for AI. The initiative calls on US regulatory agencies to develop public datasets, benchmarks, and standards for training, measuring, and evaluating AI systems.
  • Earlier this month, France's data privacy regulator announced a framework for regulating generative AI.
  • regulation vs Xrisk https://1a3orn.com/sub/essays-regulation-stories.html
  • Multimodal Prompt Injection in GPT4V

ผิด

  • กระซิบ
    • https://huggingface.co/spaces/sensahin/YouWhisper YouWhisper converts Youtube videos to text using openai/whisper.
    • https://twitter.com/jeffistyping/status/1573145140205846528 youtube whipserer
    • multilingual subtitles https://twitter.com/1littlecoder/status/1573030143848722433
    • video subtitles https://twitter.com/m1guelpf/status/1574929980207034375
    • you can join whisper to stable diffusion for reasons https://twitter.com/fffiloni/status/1573733520765247488/photo/1
    • known problems https://twitter.com/lunixbochs/status/1574848899897884672 (edge case with catastrophic failures)
  • textually guided audio https://twitter.com/FelixKreuk/status/1575846953333579776
  • Codegen
    • CodegeeX https://twitter.com/thukeg/status/1572218413694726144
    • https://github.com/salesforce/CodeGen https://joel.tools/codegen/
  • pdf to structured data - Impira used t to do it (dead link: https://www.impira.com/blog/hey-machine-whats-my-invoice-total) but if you look hard enough on twitter there are some alternatives
  • text to Human Motion diffusion https://twitter.com/GuyTvt/status/1577947409551851520
    • abs: https://arxiv.org/abs/2209.14916
    • project page: https://guytevet.github.io/mdm-page/
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด