تنزيل ai notes - تنزيل رمز المصدر ai notes

ai notes

شفرة المصدر الأخرى

1.0.0

تنزيل

ملاحظات الذكاء الاصطناعي

ملاحظات على حالة الذكاء الاصطناعي ، مع التركيز على نماذج اللغة التوليدية والكبيرة. هذه هي "المواد الخام" لنشرة https://lspace.swyx.io/.

اعتاد هذا الريبو أن يطلق عليه https://github.com/sw-yx/prompt-eng ، ولكن تم إعادة تسميته لأن الهندسة المطالبة مبالغ فيها. هذا هو الآن ريبو هندسة منظمة العفو الدولية.

هذا ReadMe هو مجرد نظرة عامة عالية على المساحة ؛ يجب أن ترى معظم التحديثات في ملفات Markdown الأخرى في هذا الريبو:

TEXT.md - توليد النص ، معظمها مع GPT -4
- TEXT_CHAT.md - معلومات عن chatgpt والمنافسين ، وكذلك المنتجات المشتقة
- TEXT_SEARCH.md - معلومات عن البحث الدلالي الممكّن من GPT -4 ومعلومات أخرى
- TEXT_PROMPTS.md - ملف انتقاد صغير من مطالبات GPT3 الجيدة
INFRA.md - ملاحظات خام على البنية التحتية والأجهزة والتوسيع
AUDIO.md - تتبع الصوت/الموسيقى/الصوت
CODE.md - نماذج Codegen ، مثل Copilot
IMAGE_GEN.md - الملف الأكثر تطوراً ، مع أشد ملاحظات التركيز على الانتشار المستقر ، والبعض الآخر في Midjourney و Dalle.
- IMAGE_PROMPTS.md - ملف انتقاد صغير من مطالبات الصورة الجيدة
الموارد : الوقوف ، وتنظيف الموارد التي من المفترض أن تكون رابطًا
ملاحظات كعب - صفحات بروتو صغيرة جدًا/خفيفة الوزن لمناطق التغطية المستقبلية - AGENTS.md .
أفكار المدونة - أفكار نشر المدونة المحتملة المستمدة من هذه الملاحظات قبل الميلاد

جدول المحتويات

حالات الاستخدام التحفيزية
أعلى منظمة العفو الدولية يقرأ
المجتمعات
الناس
متفرقات
ونقلت ، الواقع و demotvivation
القانونية والأخلاق والخصوصية

حالات الاستخدام التحفيزية

الصور
- https://mpost.io/best-100-stable-diffusion-promps-the-most-beautiful-ai-text-to-emage-promps
- صور الدماغ الدماغية ثلاثية الأبعاد - استقبال إيجابي من التصوير العصبي الإحصائي
- انتشار مستقر متعدد اللاعبين
فيديو
- IMG2IMG من مشاهد الأفلام الشهيرة (Lalaland)
  - IMG2IMG تحويل الممثل مع eBsynth + Koe_recast
  - كيف يعمل Ebsynth https://twitter.com/tomlikesrobots/status/1612047103806545923؟s=20
- الموضة الافتراضية (كارينكسشنغ)
- صور ببلاغة سلسة
- تطور المشاهد (Xander)
- outpainting https://twitter.com/orbamsterdam/status/1568200010747068417؟s=21&t=rliacnwoijmis37s8qccw
- webui img2img collaboration https://twitter.com/_akhaliq/status/1563582621757898752
- صورة إلى فيديو مع التناوب https://twitter.com/tomlikesrobots/status/1571096804539912192
- "Proper Paint" https://twitter.com/1littlecoder/status/1572573152974372864
- Audio2Video الرسوم المتحركة لوجهك https://twitter.com/siavashg/status/1597588865665363969
- الألعاب المادية إلى طراز ثلاثي الأبعاد + الرسوم المتحركة https://twitter.com/sergeyglkn/status/1587430510988611584
- مقاطع الفيديو الموسيقية
  - قتل الفيديو نجم الراديو ، Colab هذا يستخدم Openai's Whisper Combour to-Text ، مما يتيح لك التقاط مقطع فيديو على YouTube وإنشاء رسوم متحركة مستقرة مدفوعة بالأغاني في فيديو YouTube
  - تقوم مقاطع الفيديو المستقرة بالانتشار بإنشاء مقاطع فيديو عن طريق التداخل بين المطالبات والصوت
- Direct Text2Video Project
  - https://twitter.com/_akhaliq/status/1575546841533497344
  - https://makeavideo.studio/ - Explorer https://webvid.datasette.io/webvid/videos
  - https://phenaki.video/
  - https://github.com/thudm/cogvideo
  - https://imagen.research.google/Video/
text-to-3d https://twitter.com/_akhaliq/status/1575541930905243652
- https://dreamfusion3d.github.io/
- Open Source الضمني: https://github.com/ashawkey/stable-dreamfusion
- DEMO https://twitter.com/_akhaliq/status/1578035919403503616
المنتجات النصية
- يحتوي على قائمة بالاستيعاب في النهاية https://huyenchip.com/2023/04/11/llm-engineering.html
يشب
GPT لـ Obsidian https://reasonabledeviations.com/2023/02/05/gpt-for-second-brain/
GPT3 البريد الإلكتروني https://github.com/sw-yx/gpt3-email وتجميع البريد الإلكتروني
GPT3 () في ورقة Google 2020 ، 2022 - ورقة Google Https://twitter.com/mehran__jalali/status/1608159307513618433
- https://gpt3demo.com/apps/google-seets
- Charm https://twitter.com/shubroski/status/1620139262925754368؟s=20
https://www.summari.com/ Summari يساعد الأشخاص المشغولين على قراءة المزيد
خرائط السوق/المناظر الطبيعية
- ELAD GIL 2024 Stack CHART
- خريطة سوق سيكويا يناير 2023 ، يوليو 2023 ، سبتمبر 2023
- BASE10 Market Map https://twitter.com/letsenhance_io/status/1594826383305449491
- Matt Shumer Market Map https://twitter.com/mattshumer_/status/1620465468229451776
- nfx https://www.nfx.com/post/generative-ai-tech-5-layers؟ref=context-by-cohere
- A16Z https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform/
  - https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/
  - https://a16z.com/100-gen-ai-apps
- Madrona https://www.madrona.com/foundation-models/
- معطف
  - https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023
  - https://x.com/sam_awrabi/status/1742324900034150646؟s=20
أصول اللعبة -
- EMAD Thread https://twitter.com/emostaque/status/1591436813750906882
- سيناريو
- مثال نمذجة شخصية اللعبة ثلاثية الأبعاد
- mariogpt https://arxiv.org/pdf/2302.05981.pdf https://www.slashgear.com/1199870/mariogpt-uses-i-to-genery-end-super-mario-lele-for-free/ https: //github.com/shyamsn97/mario-gpt/blob/main/mario_gpt/level.py
- https://news.ycombinator.com/item؟id=36295227

أعلى منظمة العفو الدولية يقرأ

تم تقسيم قراءات GPT3 الأكثر تقدماً إلى https://github.com/sw-yx/ai-notes/blob/main/text.md

https://www.gwern.net/gpt-3#prompts-as-programming
https://learnpropting.org/

يقرأ المبتدئين

بيل غيتس على الذكاء الاصطناعي (تغريدة)
- "إن تطوير الذكاء الاصطناعى أمر أساسي مثل إنشاء المعالج الدقيق ، والكمبيوتر الشخصي ، والإنترنت ، والهاتف المحمول. سيغير الطريقة التي يعمل بها الناس ، والتعلم ، والسفر ، والحصول على الرعاية الصحية ، والتواصل مع بعضهم البعض."
ستيف إيغج على الذكاء الاصطناعي للمطورين
karpathy 2023 مقدمة إلى LLMS (ملاحظات من سارة تشيج)
دليل الهندسة الفوري من Openai في Neups عبر سارة تشيج
لماذا قد تكون لحظة الذكاء الاصطناعي هذه الصفقة الحقيقية
سام التمان - قانون مور لكل شيء
مقدمة ممتازة لنماذج الأساس من MSR https://youtu.be/hqi6o5dlyfc
Openai Form Tutorial https://beta.openai.com/docs/quickstart/add-some-examples
Google Lamda intro https://aitestkitchen.withgoogle.com/how-lamda-works
دورة النسب المتدرج الكاربي
سرد القصص المرئية على "كيف تعمل المحولات"
DALLE2 كتابة كتاب كتاب http://dallery.gallery/wp-content/uploads/2022/07/the-dall٪C2٪B7E-2-Prompt-book-v1.02.pdf
https://medium.com/nerd-for-tech/prompt-engineering-the-career-of-future-2fb93f90f117
كيفية استخدام الذكاء الاصطناعى للقيام بأشياء عبر الحصول على المعلومات والعمل مع البيانات وصنع الصور
https://ourworldindata.org/brief-history-of-ai ai نظرة عامة
Jon Stokes 'AI Generation ، الجزء 1: أساسيات التعلم الآلي
أندرو نغ - الفرص في الذكاء الاصطناعي
ما هي نماذج المحولات وكيف تعمل؟ - ربما يكون مستوى عالٍ جدًا
توليد النص
- هندسة هيملة همندووب 101
- تفسيرات Stephen Wolfram https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
- ما يعادل Jon Stokes Jonstokes.com/p/the-chat-stack-gpt-4-and-the-near
- https://andymatuschak.org/prompts/
- Cohere's LLM University https://docs.coher.com/docs/llmu
  - دليل Jay Alammar لجميع الأشياء: https://llm.university/
- https://www.jonstokes.com/p/chatgpt-explied-a-guide-for-normies للمعايير
توليد الصور
- https://wiki.installgentoo.com/wiki/stable_diffusion نظرة عامة
- https://www.reddit.com/r/stablediffusion/comments/x41n87/how_to_get_images_that_dont_suck_a/
- https://mpost.io/best-100-Stable-diffusion-promps-the-most-beautiful-ai-text-to-emage-promps/
- https://www.kdnuggets.com/2021/03/beginners-guide-clip-model.html
من أجل غير تقني
- https://www.jonstokes.com/p/ai-content-generation-bart-1-machine
- https://www.protocol.com/generative-ai-startup-landscape-map
- https://twitter.com/saranormous/status/1572791179636518913

قراءات وسيطة

تقرير حالة الذكاء الاصطناعي : 2018 ، 2019 ، 2020 ، 2021 ، 2022
الأحداث الكبرى الزمنية العكسية https://bleedingedge.ai/
ما نعرفه عن LLMS - خلاصة رائعة للبحث
دليل Karpathy 1 ساعة إلى LLMS - ملخص من سارة تشيج
- 1. ما هو نموذج اللغة الكبيرة (LLM)؟
  - هناك مكونان رئيسيان لـ LLM
    - ماذا تفعل LLM؟
1. كيف تنشئ LLM؟
  - المرحلة 1: نموذج ما قبل التدريب
  - المرحلة 2: صقل النموذج
    - المرحلة 2 ب: [اختياري] صقل جيد إضافي
  - المرحلة 3: الاستدلال النموذج
  - المرحلة 4: [اختياري] Supercharging LLMs مع التخصيص
2. LLM الحالي "المتصدرين"
3. مستقبل LLMS: ماذا بعد؟
  - كيفية تحسين أداء LLM؟
    - قوانين التحجيم LLM
    - تحسين الذات
  - كيفية تحسين قدرات LLM؟
    - تعدد الوسائط
    - النظام 1 + 2 التفكير
4. LLM Dark Arts
  - كسر الحماية
  - حقن موجه
  - تسمم البيانات وهجمات الباب الخلفي
- دليل Evan Morikawa لـ LLM Math وخاصة قطعة التحديات الخمسة
دليل هاكر لنماذج اللغة (YouTube) نظرة عامة كاملة على 90 دقيقة من LLM Lechnings-بدءًا من الأساسيات: نهج ULMFIT من 3 خطوات قبل التدريب / المصنف / المصنف المستخدم في جميع LLMs الحديثة.
https://spreadsheets-e-all-you-need.ai
"اللحاق بالعالم الغريب من LLMS" - نظرة عامة على سايمون ويليسون 40 دقيقة + أسئلة مفتوحة لمهندسي الذكاء الاصطناعى
نظرة عامة على LLMS من Flyte
كليمنتين فوررير حول كيفية القيام بالفلفل
أنماط لبناء الأنظمة والمنتجات القائمة على LLM - خلاصة رائعة
- Evals: لقياس الأداء
- خرقة: لإضافة المعرفة الخارجية الحديثة
- صقل: لتحسين في مهام محددة
- التخزين المؤقت: لتقليل الكمون والتكلفة
- الدرابزين: لضمان جودة الإخراج
- UX الدفاعي: لتوقع وإدارة الأخطاء بأمان
- اجمع ملاحظات المستخدم: لبناء دولاب الموازنة بياناتنا
قواعد بيانات المتجهات: التمهيدي الفني [PDF] شرائح جميلة جدًا على DBS Vector
- التغطية المفقودة للبحث الهجين (ناقل + معجمي). مزيد من المناقشات
A16Z AI Canon https://a16z.com/2023/05/25/ai-canon/
- البرمجيات 2.0 : كان Andrej Karpathy أحد أوائل من يشرحون بوضوح (في عام 2017!) لماذا تهم موجة الذكاء الاصطناعى الجديدة حقًا. حجته هي أن الذكاء الاصطناعى هو وسيلة جديدة وقوية لبرمجة أجهزة الكمبيوتر. نظرًا لأن LLMS قد تحسنت بسرعة ، فقد أثبتت هذه الأطروحة مسجلة ، وهي تعطي نموذجًا عقليًا جيدًا لكيفية تقدم سوق الذكاء الاصطناعي.
- حالة GPT : أيضًا من Karpathy ، هذا تفسير ودودون للغاية لكيفية عمل نماذج ChatGPT / GPT في العمل العام ، وكيفية استخدامها ، وما هي الاتجاهات التي قد تتخذها R&D.
- ماذا يفعل chatgpt ... ولماذا يعمل؟ : يقدم عالم الكمبيوتر ورجل الأعمال ستيفن ولفرام تفسيراً طويلًا ولكنه يمكن قراءته للغاية ، من المبادئ الأولى ، عن كيفية عمل نماذج الذكاء الاصطناعى الحديثة. يتبع الجدول الزمني من الشباك العصبية المبكرة إلى LLMs اليوم و ChatGPT.
- أوضح المحولات : هذا المنشور من قبل Dale Markowitz هو إجابة أقصر وأكثر مباشرة على السؤال "ما هو LLM ، وكيف يعمل؟" هذه طريقة رائعة للتخفيف من الموضوع وتطوير الحدس للتكنولوجيا. لقد كتب عن GPT-3 ولكن لا يزال ينطبق على النماذج الأحدث.
- كيف يعمل الانتشار المستقر : هذا هو رؤية الكمبيوتر التناظرية إلى آخر مشاركة. يقدم Chris McCormick شرحًا لعلم الشخص العادي لكيفية عمل الانتشار المستقر ويطور الحدس حول نماذج النص إلى صورة بشكل عام. للحصول على مقدمة متساوية ، تحقق من هذا الهزلي من R/Stablediffusion.
- شرح
  - التعلم العميق باختصار: المفاهيم الأساسية : تسير هذه السلسلة المكونة من أربعة أجزاء من Nvidia عبر أساسيات التعلم العميق كما تمارس في عام 2015 ، وهي مورد جيد لأي شخص يتعلم فقط عن الذكاء الاصطناعي.
  - التعلم العميق العملي للمبرمجين : مسار شامل ، حرة حول أساسيات الذكاء الاصطناعي ، أوضح من خلال أمثلة عملية ورمز.
  - أوضح Word2Vec : سهولة تقديم التضمينات والرموز ، والتي هي لبنات بناء LLMS (وجميع نماذج اللغة).
  - نعم ، يجب أن تفهم BackProp : المزيد من المنشورات المتعمقة على الانتشار الخلفي إذا كنت تريد فهم التفاصيل. إذا كنت تريد المزيد ، جرب محاضرة Stanford CS231N (الدورة هنا) على YouTube.
- دورات
  - Stanford CS229 : مقدمة في التعلم الآلي مع Andrew NG ، تغطي أساسيات التعلم الآلي.
  - Stanford CS224N : NLP مع التعلم العميق مع كريس مانينغ ، تغطي أساسيات NLP خلال الجيل الأول من LLMS.
https://github.com/mlabonne/llm-course
https://cims.nyu.edu/~sbowman/eightthings.pdf
1. من المتوقع أن تحصل LLMS على زيادة الاستثمار ، حتى بدون الابتكار المستهدف.
2. تظهر العديد من سلوكيات LLM المهمة بشكل غير متوقع كمنتج ثانوي لزيادة الاستثمار.
3. غالبًا ما يبدو أن LLMs تتعلم ويستخدم تمثيلات العالم الخارجي.
4. لا توجد تقنيات موثوقة لتوجيه سلوك LLMs.
5. الخبراء لم يتمكنوا بعد من تفسير الأعمال الداخلية لـ LLMS.
6. الأداء البشري في المهمة ليس الحد الأعلى على أداء LLM.
7. لا تحتاج LLMs إلى التعبير عن قيم المبدعين أو القيم المشفرة في نص الويب.
8. غالبًا ما تكون التفاعلات المختصرة مع LLMs مضللة.
9. يبرز Simonw https://fedi.simonwillison.net/@simon/110144185463887790
10 تحديات مفتوحة في LLM Research https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
Openai Propert Eng كتاب الطبخ https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_reliable.md
على نظرة عامة على المهندس ، https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
https://moultano.wordpress.com/2023/06/28/the-many-ways-that-digital-minds-can-know/ مقارنة البحث مقابل AI
Recap of 2022 Major AI Developments https://www.deeplearning.ai/the-batch/issue-176/
Dalle2 Asset Generation + inpainting https://twitter.com/aifunhouse/status/1576202480936886273؟s=20&t=5exa1uydpva2sjzm-sxhcq
SUHAIL JOURNEY
الانتشار القابل للتأليف - "و" بدلاً من "و" https://twitter.com/tomlikesrobots/status/1580293860902985728
على الرمز المميز bpe https://towardsdatascience.com/byte-pair-encoding-sub-tokenization-algorithm-77828a70bee0 راجع أيضًا Google Sentencepiece و Openai Tiktoken
- المصدر في GPT2 مصدر https://github.com/openai/gpt-2/blob/master/src/encoder.py
- لاحظ أن BPEs هي https pubtimal https:
  - // ----------------------------------------------- ------------------------------------------------- -------------- هو رمز GPT-4 واحد
  - تعطل GPT-3.5 عندما يفكر في USERALATITIONIMAGEPTH أكثر من اللازم
  - تسبب مشكلات أحرف الرياضيات والسلسلة https://news.ycombinator.com/item؟id=35363769
  - وتسبب مشاكل مع EVALS
  - تحدث رموز خلل عندما يكون لدى Tokenizer مجموعة بيانات مختلفة عن LLM
  - الكاربي يتحدث عن سبب الرمز المميز فوضوي
- https://platform.openai.com/tokenizer و https://github.com/openai/tiktoken (أكثر حتى الآن: https://tiktokenizer.vercel.app/)
- WordPiece -> BPE -> SectenCetransformer
  - قراءة أولية على التضمينات
  - https://youtu.be/qddoffkvkw؟si=Qefzsddspxdnd313
  - Luggingface معيار MTEB لمجموعة من التضمينات
  - مشكلات ملحوظة مع تضمينات GPT3 والبدائل للنظر فيها
- https://observablehq.com/@simonw/gpt-3-token-encoder-decoder
- يريد Karpathy الرمز المميز للذهاب إلى https://twitter.com/karpathy/status/1657949234535211009
- الترميز الموضعي غير ضروري لفك تشفير فقط https://twitter.com/a_kazemnejad/status/166427755996892744؟s=20
تنشئ لغتها الخاصة https://twitter.com/giannis_daras/status/1531693104821985280
Google Cloud Generative AI Path Https://www.cloudskillsboost.google/paths/118
IMG2IMG https://andys.page/posts/how-to-draw/
على نمذجة اللغة https://lena-voita.github.io/nlp_course/language_modeling.html والتفسير التقني ودود لتوليد اللغة بما في ذلك أخذ العينات من التوزيعات وبعض التغذية الميكانيكية (العثور
البحث عن الواقعية https://www.reddit.com/r/stablediffusion/comments/x9zmjd/quest_for_ultimate_photorealism_part_2_colors/
- https://medium.com/merzazine/prompt-design-for-dall-e-photorealism-emulating-reality-6f478df6f186
الإعدادات تغيير https://www.reddit.com/r/stablediffusion/comments/x3k79h/the_feeling_of_discovery_sd_is_ike_a_great_proc/
- اختيار البذور https://www.reddit.com/r/stablediffusion/comments/x8szj9/tutorial_seed_selection_and_the_impact_on_your/
- دراسة فرق المعلمة الصغرى (الخطوات ، clamp_max ، eta ، cutn_batches ، etc) https://twitter.com/kyrickyoung/status/1500196286930292742
- AI Generative: الإكمال التلقائي لكل شيء
- كيف تحصل GPT على قدرتها؟ تتبع القدرات الناشئة لنماذج اللغة إلى مصادرها ورقة جيدة مع تاريخ تطوير عائلة GPT من النماذج وكيف تطورت القدرات
https://barryz-architecture-of-agentic-llm.notion.site/almim-everything-i- know-about-lms-lms-d117ca25d4624199be07e9b0ab356a77

قراءات متقدمة

https://github.com/mooler0410/llmspracticalguide
- قائمة منسقة جيدة لجميع أوراق Impt
https://github.com/eleutherai/cookbook#the-cookbook eleuther AI قائمة الموارد بالتدريب. قارن بـ https://github.com/google-research/tuning_playbook
anti hype llm قائمة القراءة https://gist.github.com/veekaybee/be375ab33085102f9027853128dc5f0e
6 أوراق من جيسون وي من Openai (مدونة)
- ورقة GPT-3 (https://arxiv.org/abs/2005.14165)
- مطالبة سلسلة من الفأر (https://arxiv.org/abs/2201.11903)
- قوانين التحجيم ، (https://arxiv.org/abs/2001.08361)
- قدرات ناشئة (https://arxiv.org/abs/2206.07682)
- يمكن أن تتبع نماذج اللغة كل من الملصقات المقلوبة والعلامات غير المرتبطة بها (https://arxiv.org/abs/2303.03846)
ملاحظات ورقة LLM - ملاحظات من نادي Pace Paper Club الكامن بواسطة يوجين يان
المحولات من الصفر https://e2eml.school/transformers.html
- Transformers vs LSTM https://medium.com/analytics-vidhya/why-are-lstms-trantgling-to-matchup-with-transformers-a1cc5b2557e3
- رمز المحولات walkthru https://twitter.com/mark_riedl/status/1555188022534176768
- Transformer Familyi
  - قائمة الورق carmack https://news.ycombinator.com/Item؟id=34639634
  - نماذج المحولات: مقدمة وكتالوج https://arxiv.org/abs/2302.07730
  - DeepMind - خوارزميات رسمية للمحولات https://arxiv.org/pdf/2207.09238.pdf
- شرح جاي الحمام
  - https://jalammar.github.io/illustrated-transformer/
  - https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/
karpathy على المحولات
- التقارب : الدمج المستمر في الذكاء الاصطناعى لا يصدق. عندما بدأت في ~ عقد من الزمان ، كانت الرؤية ، والكلام ، واللغة الطبيعية ، والتعلم التعزيز ، وما إلى ذلك منفصلين تمامًا ؛ لا يمكنك قراءة الأوراق عبر المناطق - كانت الأساليب مختلفة تمامًا ، وغالبًا ما لا تستند إلى ML. في عام 2010 ، بدأت جميع هذه المجالات في الانتقال 1) إلى التعلم الآلي وتحديداً 2) الشباك العصبية. كانت البنى متنوعة ولكن على الأقل بدأت الأوراق في قراءة أكثر مماثلة ، وكلها تستخدم مجموعات بيانات كبيرة وتحسين الشباك العصبية. ولكن اعتبارا من تقريبا. في العامين الماضيين ، حتى أن بنيات الشبكة العصبية في جميع المناطق بدأت تبدو متطابقة - محول (يمكن تحديده في حوالي 200 سطر من pytorch https://github.com/karpathy/mingpt/blob/master/mingpt/model.py… ) ، مع اختلافات بسيطة جدا. إما كخط أساس قوي أو (في كثير من الأحيان) على الحالة الفنية. (TweetStorm)
- لماذا فاز المحولات : المحول هو بنية الشبكة العصبية الرائعة لأنها جهاز كمبيوتر قابل للتمييز للأغراض العامة. في نفس الوقت: 1) التعبيرية (في الممر الأمامي) 2) قابلة للتحسين (عبر backpropagation+النسب التدرج) 3)
  - https://twitter.com/karpathy/status/1593417989830848512؟s=20
  - وضعت في محاضرة 1 ساعة ستانفورد و 8 دقائق ليكس فريدمان ملخص
- Babygpt مع اثنين من الرموز 0/1 وطول السياق 3 ، مع عرضها كسلسلة ماركوف الحالة المحدودة. تم تدريبه على تسلسل "11110111111011110" لـ 50 تكرارًا. تعدل المعلمات والهندسة المعمارية للمحول الاحتمالات على الأسهم.
- بناء GPT من الصفر https://www.youtube.com/watch؟v=KCC8FMEB1NY
- GPT مختلف من نقطة الصفر في 60 loc https://jaykmody.com/blog/gpt-from-scratch/
نماذج الانتشار من نقطة الصفر ، من منظور نظري جديد - مقدمة مدفوعة في الكود لنماذج الانتشار
137 قدرات ناشئة لنماذج اللغة الكبيرة
- دفعت قليلة ناشئة المهام: معايير المقعد الكبير و MMLU
- استراتيجيات الطالب الناشئة
  - تتبع التعليمات
  - scratchpad
  - باستخدام المعرفة المفتوحة للتحقق من الحقيقة
  - سلسلة من الأفكار
  - فهرس البحث القابل للتمييز
  - الاتساق الذاتي
  - الاستفادة من التفسيرات في المطالبة
  - على الأقل إلى أكثر
  - صفري سلسلة من الأفكار
  - المعايرة عبر P (صواب)
  - سلسلة متعددة اللغات الفكر
  - اسأل-أي شيء يدعى
- بعض التراجع - هل هم سراب؟ فقط لا تستخدم المقاييس القاسية
  - https://www.jasonwei.net/blog/Common-Arguments-regarding-epergent- Arrabilities
  - https://hai.stanford.edu/news/ais-ostensible-epergent-apability-are-mirage
- الصور
  - Eugene Yan شرح النص إلى مكدس الصورة https://eugeneyan.com/writing/text-to-image/
  - VQGAN/CLIP https://minimaxir.com/2021/08/VQGAN-LIP/
  - 10 سنوات من تاريخ توليد الصور https://zentralwerkstatt.org/blog/ten years-of-image-synthesis
  - أوضح محولات الرؤية (VIT) https://www.pinecone.io/learn/vision-transformers/
- المطالبة السلبية https://minimaxir.com/2022/11/stable-diffusion-negative-prompt/
- أفضل أوراق 2022 https://www.yitay.net/blog/2022-best-nlp-papers
- قابلية التنبؤ والمفاجأة في النماذج التوليدية الكبيرة - ورقة مسح جيدة لما نعرفه عن التحجيم والقدرات وصعود LLMS حتى الآن
المزيد من أوراق المهندس موجهة https://github.com/dair-ai/prompt-engineering-guide
https://creator.nightcafe.studio/vqgan-lip-keyword-modifier-comparison
تاريخ المحولات
- ريتشارد سوتشر على مساهمتهم في آلية الانتباه يؤدي إلى المحولات https://overcast.fm/+r1p4nkffu/1:00:00
- https://kipp.ly/blog/transformer-taxonomy/ هذه الوثيقة هي مراجعة الأدب قيد التشغيل للأشخاص الذين يحاولون اللحاق بالانعكاس. ويغطي 22 نموذجًا ، و 11 تغييرًا معماريًا ، و 7 تقنيات بعد التدريب و 3 تقنيات تدريب (و 5 أشياء ليست مما سبق)
- فهم نماذج اللغة الكبيرة مقطع عرضي من أكثر الأدب صلة بالسرعة
  - منح الائتمان إلى Bandanau et al (2014) ، والذي أعتقد أولاً أن مفهوم تطبيق وظيفة SoftMax على درجات الرمز المميز لحساب الانتباه ، مما يضع الطريق للمحول الأصلي بواسطة Vaswani et al (2017). https://news.ycombinator.com/item؟id=35589756
- https://finbarrtimbers.substack.com/p/five years-of-progress-in gpt1/2/3 ، megatron ، gopher ، chinchilla ، palm ، llama
- ورقة ملخص جيدة (8 أشياء يجب معرفتها) https://cims.nyu.edu/~sbowman/eightthings.pdf
Huggingface Moe Expleser
https://blog.alexalemi.com/kl-is-all-you-need.html

قمنا بمقارنة 126 معدلات الكلمات الرئيسية مع نفس المطالبة والصورة الأولية. هذه هي النتائج.

https://creator.nightcafe.studio/collection/8dmygkm1evxg7z9pv23w
أصدرت Google partiprompts كمعيار: https://parti.research.google/ "partiprompts (P2) هي مجموعة غنية من أكثر من 1600 مطالبة باللغة الإنجليزية التي نطلقها كجزء من هذا العمل. فئات مختلفة وجوانب التحدي. "
دروس الفيديو
- Pixel Art https://www.youtube.com/watch؟v=uvjkqptr-8s&feature=youtu.be
تاريخ الأوراق
- 2008: الهندسة المعمارية الموحدة لـ NLP (Collobert-Weston) https://twitter.com/ylecun/status/1611921657802768384
- 2015: Semi-Supervised Sequence Learning https://twitter.com/deliprao/status/1611896130589057025؟s=20
- 2017: Transformers (Vaswani et al)
- 2018: GPT (Radford et al)
متفرقات
- منظور استقرار CIO
- https://github.com/awesome-stable-diffusion/awesome-stable-dififus
- https://github.com/microsoft/lmops دليل بحث موجه MSFT
- Gwern's Bearch Conference مناقشة Bing ، GPT4 ، وعلاقة Microsoft-Openai https://www.lesswrong.com/posts/jtopawehlnxnxvgtt/bing-chat-is-islatally-Aggressivaly-misaligned

قوائم أخرى مثل هذا

https://gist.github.com/Rain-1/EEBD5E5EB2784FEECF450324E3341C8D
https://github.com/underlines/awesome-marketing-datascience/blob/master/awesome-ai.md#llama-models
https://github.com/imaurer/awesome-decentralized-llm

المجتمعات

Discords (انظر https://buttondown.email/ainews للحصول على ملخصات البريد الإلكتروني اليومية ، محدثة على الهواء مباشرة)
- خلاف الفضاء الكامن (لنا!)
- القرصنة والتعلم العام
  - Chatgpt Hackers Discord
  - محاذاة مختبر AI Discord
  - Nous Research Discord
  - Disnolm Discord
  - Karpathy Discord (غير نشط)
  - عانق الخلاف
  - Skunkworks AI Discord (جديد)
  - Jeff Wang/LLM Discords Discords
  - وضع CUDA (Mark Saroufim) انظر YouTube و Github
- فن
  - خلاف stablediffusion
  - Deforum Discord https://discord.gg/UPMXXSRWZC
  - معجم Discord https://discord.com/invite/bmhbjj9wrh
- أبحاث الذكاء الاصطناعي
  - Laion Discord https://discord.gg/xbpbxfcfhd
  - Eleuther Discord: https://www.eleuther.ai/get-involved/ (التمهيدي)
- الشركات الناشئة المختلفة
  - Discord proplexity https://discord.com/invite/kwjzsxpdux
  - خلاف Midjourney
    - كيفية استخدام Midjourney V4 https://twitter.com/fabianstelzer/status/1588856386540417024؟s=20&t=plglugaeeds9hwfegvrrpg
https://stablehorde.net/
- الوكلاء
  - خلاف الفرد التلقائي
  - Babyagi Discord
رديت
- https://reddit.com/r/stablediffusion
- https://www.reddit.com/r/localllamama/
- https://www.reddit.com/r/bing
- https://www.reddit.com/r/openai

الناس

*غير معروف لكثير من الناس ، هناك كمية متزايدة من ألفا الآن خارج Arxiv ، وتشمل المصادر على سبيل المثال لا الحصر: https://github.com/trending ، hn ، خادم Discord المتخصص ، صورة ملف تعريف أنيمي على x ، reddit *- ك

ستكون هذه القائمة قديمة ولكنها ستبدأ. قائمتي المباشرة من الأشخاص الذين يجب متابعتهم على: https://twitter.com/i/lists/1585430245762441216

الباحثون/المطورين
- https://twitter.com/_jasonwei
- https://twitter.com/johnowhitaker/status/1565710033463156739
- https://twitter.com/altryne/status/1564671546341425157
- https://twitter.com/schmidhuberai
- https://twitter.com/nearcyan
- https://twitter.com/karinanguyen_
- https://twitter.com/abhi_venigalla
- https://twitter.com/advadnoun
- https://twitter.com/polynoamial
- https://twitter.com/vovahimself
- https://twitter.com/sarahookr
- https://twitter.com/shaneguml
- https://twitter.com/maartensap
- https://twitter.com/ethancaballero
- https://twitter.com/shayneredford
- https://twitter.com/seb_ruder
- https://twitter.com/rasbt
- https://twitter.com/wightmanr
- https://twitter.com/garymarcus
- https://twitter.com/ylecun
- https://twitter.com/karpathy
- https://twitter.com/pirroh
- https://twitter.com/eerac
- https://twitter.com/teknium
- https://twitter.com/alignment_lab
- https://twitter.com/picoCreator
- https://twitter.com/charlespacker
- https://twitter.com/ldjconfirmed
- https://twitter.com/nisten
- https://twitter.com/far__el
- https://twitter.com/i/lists/1713824630241202630
الأخبار/المجمعين
- https://twitter.com/ai__pub
- https://twitter.com/weirdstableai
- https://twitter.com/multimodalart
- https://twitter.com/lastweekinai
- https://twitter.com/paperswithcode
- https://twitter.com/deeplearningai_
- https://twitter.com/dl_weekly
- https://twitter.com/slashml
- https://twitter.com/_akhaliq
- https://twitter.com/aaditya_ai
- https://twitter.com/bentossell
- https://twitter.com/johnvmcdonnell
المؤسسين/بناة/VCs
- https://twitter.com/levelsio
- https://twitter.com/goodside
- https://twitter.com/c_valenzuelab
- https://twitter.com/raza_habib496
- https://twitter.com/sharifshameem/status/1562455690714775552
- https://twitter.com/genekogan/status/155518488606564353
- https://twitter.com/levelsio/status/1566069427501764613؟s=20&t=campswtmhdssehqwd0k7ig
- https://twitter.com/amanrsanger
- https://twitter.com/ctjlewis
- https://twitter.com/sarahcat21
- https://twitter.com/jackclarksf
- https://twitter.com/alexandr_wang
- https://twitter.com/rameerez
- https://twitter.com/scottastevenson
- https://twitter.com/denisyarats
استقرار
- https://twitter.com/stableai
- https://twitter.com/stablediffusion
- https://twitter.com/hardmaru
- https://twitter.com/jjitsev
Openai
- https://twitter.com/sama
- https://twitter.com/ilyasut
- https://twitter.com/miramurati
luggingface
- https://twitter.com/younesbelkada
الفنانين
- https://twitter.com/karenxcheng/status/1564626773001719813
- https://twitter.com/tomlikesrobots
آخر
- شركات
  - https://twitter.com/anthropicai
  - https://twitter.com/assemblyai
  - https://twitter.com/cohereai
  - https://twitter.com/mosaicml
  - https://twitter.com/metaai
  - https://twitter.com/deepmind
  - https://twitter.com/hellopaperspace
الروبوتات والتطبيقات
- https://twitter.com/dreamtweetapp
- https://twitter.com/aiarteveryhour

ونقلت ، الواقع و demotvivation

الضيق ، مجال tedium usecases https://twitter.com/willmanidis/status/1584900092615528448 و https://twitter.com/willmanidis/status/1584900100480192516
antihype https://twitter.com/alexandr_wang/status/1573302977418387457
antihype https://twitter.com/fchollet/status/1612142423425138688؟s=46&t=plcnw9pf-co4bn08qqvaug
ميمات المهندس المطالبة
- https://twitter.com/_jasonwei/status/151684920367054848
الأشياء StableDiffusion تكافح مع https://opguides.info/posts/aiartpanic/
جوجل الجديد
- https://twitter.com/alexandr_wang/status/1585022891594510336
PowerPoint الجديد
عبر عصر
مطالبات الإلحاق افتراضيًا في واجهة المستخدم
Dalle: https://twitter.com/levelsio/status/158858868115912705؟s=20&t=0ojpgmh9k6miedyvg2i6gg
كان هناك فصلان سابقان ، واحد 1974-1980 وواحد 1987-1993. https://www.erichgrunewald.com/posts/the-prospect-of-an-ai-winter/. المزيد من التعليق هنا. ذات صلة - تأثير الذكاء الاصطناعي - "بمجرد أن يعمل ليس منظمة العفو الدولية"
إنها مجرد بباوات المصفوفة/الببغاوات العشوائية
- حتى LLM المتشكك يان ليكون يقول أن LLMs لديها مستوى من الفهم: https://twitter.com/ylecun/status/1667947166764023808
- غاري ماركوس "التعلم العميق يضرب جدارًا"
"Guo Lai Ren" Antihypers-> المخاوف
- https://adamkarvonen.github.io/machine_learning/2024/03/20/chess-gpt-interventions.html#next-token-predictors

القانونية والأخلاق والخصوصية

NSFW Filter https://vickiboykis.com/2022/11/18/some-notes-on-the-stable-diffusion-safety-filter/
على "AI Art Panic" https://opguides.info/posts/aiartpanic/
- لقد فقدت كل ما جعلني أحب وظيفتي خلال Midjourney
- قائمة فنان Midjourney
yannick يؤثر
مدارس الفنون التي تقبل AI Art https://twitter.com/daverogenmoser/status/1597746558145265664
قضايا DRM https://undeleted.ronsor.com/voice.ai-gpl-violations-with-a-side-of-drm/
سرقة الفن https://stablediffusionlitigation.com
- http://www.stablediffusionfrivolous.com/
- إسناد مستقر https://news.ycombinator.com/item؟id=34670136
- وسيطة Coutner لـ DISNEY
- بحث عن نسخ الانتشار المستقر https://twitter.com/officialzhvng/status/1620535905298817024؟s=20&t=nc-nw7pfda8nyrd08lx1nw تستخدم هذه الورقة مستقرة لتوليد 175 مليون صورة على 350،000 هل أنا محق في أن الوجبات الرئيسية الخاصة بي من هذا هو مدى جودة الانتشار المستقر في عدم حفظ أمثلة التدريب؟
تجريد المحتوى
- https://blog.ericgoldman.org/archives/2023/08/web-scraping-for-me-but-not-for-thee-guest-bost.htm
- سارة سيلفرمان-استجابة Openai https://arstechnica.com/tech-policy/2023/08/openai-disputes-authors-claims-that- chatgpt-response-is-a-derivative-work/
- استجابة Openai
الترخيص
- أوزان الذكاء الاصطناعى ليست مفتوحة "المصدر" - سيد سيجبرانديج
التنوع والإنصاف
- أقليات جنسية https://twitter.com/lanadenina/status/1680238883206832129 السبب هو الإباحية جيدة في الهيئات
- Openai يتصدى على "أسود" بشكل عشوائي لجعل Dalle متنوعًا
الخصوصية-الحوسبة السرية https://www.edgاني
منظمة العفو الدولية تولي وظائف

Alignment, Safety

Anthropic - https://arxiv.org/pdf/2112.00861.pdf
- Helpful: attempt to do what is ask. concise, efficient. ask followups. redirect bad questions.
- Honest: give accurate information, express uncertainty. don't imitate responses expected from an expert if it doesn't have the capabilities/knowledge
- Harmless: not offensive/discriminatory. refuse to assist dangerous acts. recognize when providing sensitive/consequential advice
- criticism and boundaries as future direction https://twitter.com/davidad/status/1628489924235206657?s=46&t=TPVwcoqO8qkc7MuaWiNcnw
Just Eliezer entire body of work
- https://twitter.com/esyudkowsky/status/1625922986590212096
- agi list of lethalities https://www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
- note that eliezer has made controversial comments in the past and also in recent times (TIME article)
Connor Leahy may be a more sane/measured/technically competent version of yud https://overcast.fm/+aYlOEqTJ0
- it's not just paperclip factories
- https://www.lesswrong.com/posts/HBxe6wdjxK239zajf/what-failure-looks-like
the 6 month pause letter
- https://futureoflife.org/open-letter/pause-giant-ai-experiments/
- yann lecun vs andrew ng https://www.youtube.com/watch?v=BY9KV8uCtj4
- https://scottaaronson.blog/?p=7174
- emily bender response
- Geoffrey Hinton leaving Google
- followed up by one sentence public letter https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
xrisk - Is avoiding extinction from AI really an urgent priority? (وصلة)
- AI Is not an arms race. (وصلة)
- If we're going to label AI an 'extinction risk,' we need to clarify how it could happen. (وصلة)
OpenAI superalignment https://www.youtube.com/watch?v=ZP_N4q5U3eE

أنظمة

chinese regulation https://www.chinalawtranslate.com/en/overview-of-draft-measures-on-generative-ai/
- https://twitter.com/mmitchell_ai/status/1647697067006111745?s=46&t=90xQ8sGy63D2OtiaoGJuww
- China is the only major world power that explicitly regulates generative AI
italy banning chatgpt
- At its annual meeting in Japan, the Group of Seven (G7), an informal bloc of industrialized democratic governments, announced the Hiroshima Process, an intergovernmental task force empowered to investigate risks of generative AI. G7 members, which include Canada, France, Germany, Italy, Japan, the United Kingdom, and the United States, vowed to craft mutually compatible laws and regulate AI according to democratic values. These include fairness, accountability, transparency, safety, data privacy, protection from abuse, and respect for human rights.
US President Joe Biden issued a strategic plan for AI. The initiative calls on US regulatory agencies to develop public datasets, benchmarks, and standards for training, measuring, and evaluating AI systems.
Earlier this month, France's data privacy regulator announced a framework for regulating generative AI.
regulation vs Xrisk https://1a3orn.com/sub/essays-regulation-stories.html
Multimodal Prompt Injection in GPT4V

متفرقات

يهمس
- https://huggingface.co/spaces/sensahin/YouWhisper YouWhisper converts Youtube videos to text using openai/whisper.
- https://twitter.com/jeffistyping/status/1573145140205846528 youtube whipserer
- multilingual subtitles https://twitter.com/1littlecoder/status/1573030143848722433
- video subtitles https://twitter.com/m1guelpf/status/1574929980207034375
- you can join whisper to stable diffusion for reasons https://twitter.com/fffiloni/status/1573733520765247488/photo/1
- known problems https://twitter.com/lunixbochs/status/1574848899897884672 (edge case with catastrophic failures)
textually guided audio https://twitter.com/FelixKreuk/status/1575846953333579776
Codegen
- CodegeeX https://twitter.com/thukeg/status/1572218413694726144
- https://github.com/salesforce/CodeGen https://joel.tools/codegen/
pdf to structured data - Impira used t to do it (dead link: https://www.impira.com/blog/hey-machine-whats-my-invoice-total) but if you look hard enough on twitter there are some alternatives
text to Human Motion diffusion https://twitter.com/GuyTvt/status/1577947409551851520
- abs: https://arxiv.org/abs/2209.14916
- project page: https://guytevet.github.io/mdm-page/