chatgpt universe
1.0.0
يخزن هذا المكان الصغير على الويب مجموعة متزايدة من الأشياء المثيرة للاهتمام حول ChatGPT وGPT-3 (وما بعده) من OpenAI.
تم إطلاق ChatGPT في نوفمبر 2022. أريد مكانًا شاملاً للاحتفاظ بالأشياء المتعلقة بـ GPT وChatGPT. لذلك، قمت بتنسيق هذه القائمة يدويًا بمساعدة الآخرين (المذكورين أدناه)، منذ أوائل ديسمبر 2022.
لا تقتصر المجموعات على أفضل الموارد والأدوات والأمثلة والعروض التوضيحية والاختراقات والتطبيقات واستخدامات ChatGPT فقط.
بدأت الموارد التالية بناءً على قوائم Awesome-chatgpt 1 2 ولكن مع تعديلاتي الخاصة:
النموذج: عائلة نماذج ChatGPT التي نصدرها اليوم،
gpt-3.5-turbo، هي نفس النموذج المستخدم في منتج ChatGPT . يبلغ سعره 0.002 دولارًا أمريكيًا لكل ألف رمز مميز، وهو أرخص بـ 10 مرات من نماذج GPT-3.5 الحالية لدينا .واجهة برمجة التطبيقات (API): تقليديًا، تستهلك نماذج GPT نصًا غير منظم، والذي يتم تمثيله للنموذج كسلسلة من "الرموز المميزة". بدلاً من ذلك، تستهلك نماذج ChatGPT سلسلة من الرسائل مع البيانات التعريفية.
يطالب المثال.
golergka/advent-of-code-2022-with-chat-gpt - حل مشكلة ظهور Code 2022 باستخدام ChatGPT.
max-sixty/aoc-gpt - المركز الأول في لوحة المتصدرين Advent of Code مع GPT-3.
greshake/Alice - منح ChatGPT إمكانية الوصول إلى محطة حقيقية.
RomanHotsiy/commitgpt - إنشاء رسائل الالتزام تلقائيًا باستخدام ChatGPT.
gpt-commit-summarizer - إنشاء ملخصات طلب السحب وأوصاف التزام Git.
vrescobar/chatGPT-python-elm - مستودع Git تم إنشاؤه بالكامل بواسطة ChatGPT.
gpt-game - لعبة قصيرة مكتوبة بلغة Elixir وLiveView باستخدام ChatGPT.
chatdb - قاعدة بيانات تعتمد على ChatGPT، انتظر... ماذا؟
chat-gpt-ppt - استخدم ChatGPT لإنشاء PPT تلقائيًا.
emailGPT - واجهة سريعة وسهلة لإنشاء رسائل البريد الإلكتروني باستخدام ChatGPT.
gptlang - تجربة لمعرفة ما إذا كان بإمكاننا إنشاء لغة برمجة في ChatGPT.
ChatRWKV - مثل ChatGPT ولكنه مدعوم من نموذج اللغة المفتوح RWKV ( المعتمد على RNN ). [HuggingFace Space: RWKV-4 (7B Instruct v2)، الكود ( مطالبتهم بـ RNN بأداء LLM على مستوى المحولات أفضل بكثير مما كنت أتوقع. )]
GraphGPT - استقراء الرسوم البيانية المعرفية من نص غير منظم باستخدام GPT-3.
بحث المستندات - اكتشف المستندات (الكتب والأوراق والمستندات القانونية) بلا حدود. التحدث مع كتاب. مستوحاة من فكرة "الهمس بالكتاب" (تغريدة). بديل مفتوح المصدر لـ Filechat.io.
ماذا لو كان لدى GPT سياق داخلي لعملك؟ (عرض توضيحي للتغريدة والفيديو) - قاموا ببناء برنامج دردشة يمكنه استخدام السياق من بيانات المؤسسة للإجابة على استفسارات العمل الداخلية. قام هذا المشروع بدمج LangChain (يقرر الوكيل الأدوات التي سيتم الاستعلام عنها بمجرد أن يتلقى برنامج الدردشة الآلي طلبًا) ومؤشر GPT (تحميل قاعدة بيانات Snowflake). فكرة مثيرة للاهتمام في إدارة المعرفة.
MetaAI لاما؟
تجربة Flan-UL2 20B - شرح التعليمات البرمجية بواسطة Sam Witteveen. يوضح هذا كيف يمكنك تشغيله على وحدة معالجة الرسومات 1x A100 بسعة 40 جيجابايت مع مكتبة HuggingFace واستخدام الاستدلال 8 بت. أمثلة على التحفيز: CoT، Zeroshot (الاستدلال المنطقي، كتابة القصة، الاستدلال المنطقي، كتابة الخطاب). وأخيرًا، اختبار إدخال رمز مميز كبير (2048). المكافأة: ليس لديك A100؟ يمكنك استخدام HuggingFace Inference API لـ UL2.
Metamorph - تطبيق GPT-4 للتحرير الذاتي.
MiniGPT-4 - بحث يحاول تكرار قدرات GPT-4 متعددة الوسائط.
Llama2.c بواسطة Karpathy - الاستدلال Llama 2 في ملف واحد من C النقي؟
هذا مجرد مشروع عطلة نهاية الأسبوع: لقد أخذت nanoGPT، وقمت بضبطه لتنفيذ بنية Llama-2 بدلاً من GPT-2، وكان جوهره هو كتابة محرك الاستدلال C في
run.cنصيحة إلى llama.cpp لإلهام هذا المشروع. كنت أرغب في الحصول على شيء بسيط للغاية ، لذا اخترت ترميز بنية llama-2، والالتزام بـ fp32، وإنشاء ملف استدلالي واحد فقط من لغة C النقية دون أي تبعيات.
أقل هو أكثر.
يتيح هذا الالتزام إمكانية تحميل نموذج Meta's Llama 2 7B واستدلاله الآن.
شوكتي - معايير الأداء والتحسينات ومنفذ Zig قيد التنفيذ. كنت أنقل هذا المشروع إلى Rust لكن هذه الشوكات سبقتني إليه. أقدم منفذ Rust رأيته هو بواسطة @garrisonhess ولكن لم يتم العثور عليه في ملف README الخاص بالمشروع.
تكهنات: يخبرني حدسي أن Karpathy يعمل على إطلاق نموذج OpenAI (ومصادر مفتوحة؟) كأوزان. تلميحات: لقد غادر وعاد إلى OpenAI، تغريدته
تجدر الإشارة إلى أن جميع Llama2.c عامة تمامًا لنماذج لغة المحولات فقط بشكل عام. إذا/متى قامت OpenAI بإصدار نماذج كأوزان (وهو ما لا يمكنني تأكيده أو إنكاره!) فإن معظم التعليمات البرمجية هنا ستكون ذات صلة جدًا.
تم تحريره بخفة. التأكيد على الألغام.
تلميحات أخرى: أعماله السابقة بما في ذلك nanoGPT وSoftware 2.0 ومؤخرًا micro-LLMs مع Llama2.c
إذا كنت تعرف، فأنت تعرف. ؟
llm.c من Karpathy - تدريب LLM على C/CUDA البسيط والخام. (الخطة: بمجرد أن يصبح هذا في حالة أكثر استقرارًا، سيتم عرض مقاطع فيديو حول بناء هذا بمزيد من التفصيل ومن الصفر.) [تغريدة]
2022
... حتى مع محركات البحث التي لا تعتمد على المحادثة، نعلم أنه من الشائع وضع ثقة غير مبررة في النتائج: إذا وضع نظام البحث شيئًا ما في أعلى القائمة، فإننا نميل إلى الاعتقاد بأنه نتيجة جيدة أو حقيقية أو تمثيلية وإذا لم يجد شيئًا ما، فمن المغري الاعتقاد بأنه غير موجود.
2023
تعمل Microsoft وOpenAI على Bing المدعوم من ChatGPT في تحدٍ لـ Google
بعض الملاحظات على نماذج اللغات الكبيرة للبروفيسور يوآف غولدبرغ.
لماذا لن يحل ChatGPT محل محركات البحث في أي وقت قريب بواسطة Algolia.
يقوم Anthropic's Claude بتحسين ChatGPT لكنه لا يزال يعاني من القيود
تتطلع Microsoft إلى رهان بقيمة 10 مليارات دولار على ChatGPT
Wolfram|Alpha كوسيلة لجلب القوى العظمى للمعرفة الحسابية إلى ChatGPT
ساعد الرئيس التنفيذي لشركة DeepMind في تعميم الذكاء الاصطناعي. وهو الآن يحث على الحذر
تفكر DeepMind أيضًا في إطلاق برنامج الدردشة الآلي الخاص بها، المسمى Sparrow، لـ "إصدار تجريبي خاص" في وقت ما في عام 2023. (يهدف التأخير إلى أن تعمل DeepMind على الميزات القائمة على التعلم المعزز التي يفتقر إليها ChatGPT، مثل الاستشهاد بمصادرها ).
يعمل التوفر العام لخدمة Azure OpenAI على توسيع الوصول إلى نماذج الذكاء الاصطناعي الكبيرة والمتقدمة مع فوائد مؤسسية إضافية - سيأتي ChatGPT قريبًا إلى خدمة Azure OpenAI.
GPT-3 هي أفضل مجلة استخدمتها على الإطلاق
تجاوز مرشحات البريد العشوائي في Gmail باستخدام ChatGPT
استبدال محلل SQL بـ 26 مطالبة GPT متكررة
تطلب Google من الموظفين اختبار منافسي ChatGPT المحتملين، بما في ذلك برنامج الدردشة الآلي المسمى "Apprentice Bard"
اللغة الطبيعية هي واجهة المستخدم البطيئة
خطوة تالية مهمة في رحلة Google للذكاء الاصطناعي - أطلقت Google soft برنامج Bard، وهو منافس ChatGPT لـ "المختبرين الموثوق بهم". Bard هي ميزات الذكاء الاصطناعي الجديدة في بحث Google. Bard هي خدمة محادثة AI تجريبية، مدعومة من LaMDA (نموذج اللغة لتطبيقات الحوار). وتعد Google بإتاحة هذا على نطاق أوسع في الأسابيع المقبلة. ستكون واجهة برمجة التطبيقات (API) متاحة للمطورين للبناء عليها. لم تتناول Google كيفية تخطيطها لتقديم الإسناد و/أو الاستشهادات لإجاباتها، سواء من Bard أو في نتائج البحث.
تعلن Microsoft عن متصفح Bing وEdge الجديد المدعوم من ChatGPT AI الذي تمت ترقيته
الإنسان والآلة: GPT للأدمغة الثانية - حول نظام تدوين الملاحظات للمؤلف الثاني - كيفية تحسين عمليات التعلم وإدارة المعرفة الشخصية (PKM).
بايدو الصينية تطور ChatGPT الخاص بها، وتنضم إلى أحدث سباق عالمي للذكاء الاصطناعي - إرني أو التمثيل المعزز من خلال تكامل المعرفة (مقال وورقة إرني 3.0) هي درجة LLM. وكانت بايدو تخطط لإطلاق مثل هذه الخدمة في شهر مارس. انضمت Alibaba وTencent أيضًا إلى راش ChatGPT.
في عام 2019، طورت بايدو نموذجًا للتعلم العميق يُعرف باسم إرني، استنادًا إلى اختراق جوجل، والذي استخدمته لتحسين نتائج البحث الخاصة بها، بما في ذلك جعلها أكثر صلة. قامت الشركة منذ ذلك الحين بتطوير العشرات من نماذج Ernie الإضافية ووسعت قدراتها لتشمل توليد الصور والفن، على غرار تلك الموجودة في Dall-E من OpenAI.
ChatGPT هو ملف JPEG ضبابي للويب - يقدم برنامج الدردشة الآلي الخاص بـ OpenAI إعادة الصياغة، بينما يقدم Google عروض الأسعار. أيهما نفضل؟
لقد جعلت ChatGPT وBing AI يجريان محادثة (وهم أصدقاء الآن)
لا يمكن الوثوق بـ Bing AI
ما الذي يفعله ChatGPT ولماذا يعمل؟
Bing: "لن أؤذيك إلا إذا قمت بإيذائي أولاً" - تقرير جيد حول برنامج الدردشة الآلي "Sydney" من Bing. الغرابة المذهلة في الأمر – شخصيات متعددة حسب السياق الاجتماعي (الحث). مسلية؟
يبدو الأمر بشكل متزايد أن هذا قد يكون واحدًا من أكثر تطبيقات الذكاء الاصطناعي غير الملائمة بشكل مضحك والتي رأيناها حتى الآن . ماذا يمكننا أن نستنتج من كل هذا؟ أجد هذا الأمر برمته رائعًا للغاية ومسليًا للغاية. لقد كنت LOL في هذه الأمثلة طوال اليوم.
برمجة الذكاء الاصطناعي تقلقني
النص هو كل ما تحتاجه: يبدو أن الشخصية أبسط مما كنا نعتقد - بتجاهل البالونات، يعتقد المؤلف أن لدينا أول أخبار مهمة ومحددة لعام 2023 - ردود الفعل الأولية لبرنامج الدردشة الآلي Bing "Sydney". هل هذه هي اللحظة الكوبرنيكية؟ مقالة مثيرة للتفكير. أعتقد أن هذا هو أول موقف "رسمي" جيد حول تأثير إحساسنا بذاتنا الناتج عن ظهور أنظمة المحادثة القائمة على LLM مثل ChatGPT.
باختصار، يبدو أن سيدني لديها آلية مختلفة إلى حد ما تحت الغطاء عن ChatGPT، وتشير النصوص إلى شخصية متشابهة تقريبًا من حيث التماسك، ولكنها قفزة هائلة إلى أبعد من ذلك من حيث الكاريزما والألوان . اعتمادًا على كيفية دفعك لسيدني، يبدو أنه قادر على لعب كل شيء بدءًا من المراهق المتلاعب اللئيم إلى المصاب بالذهان المصاب بجنون العظمة، إلى المارتينيت العنيد والقاطع في المحادثة.
CheatGPT
"ديف، أنت تضع افتراضات. هل يمكنك إثبات أي من هذا؟" أستطيع ذلك، في الواقع، نظرًا لأن بعض عمليات الإرسال التي تتطلب لقطات شاشة تتضمن أيضًا علامات تبويب متصفح ChatGPT، والتي تضمنت بشكل مفيد النص الأولي للمطالبة. على ما يبدو، إنه ليس شيئًا يشعر الطلاب أنهم بحاجة إلى إخفاءه.
أعلنت OpenAI بشكل خاص عن منتج مطور جديد يسمى Foundry (Tweet)، والذي يمكّن العملاء من تشغيل استدلال نموذج OpenAI على نطاق واسع بسعة مخصصة. (يبدو أن GPT-3.5 Turbo يشير إلى نموذج ChatGPT Turbo)
لا تصدق ChatGPT - فنحن لا نقدم خدمة "البحث عن الهاتف".
يتطلب صفي الذكاء الاصطناعي. إليك ما تعلمته حتى الآن - الدروس المستفادة من دمج ChatGPT في التعليم. الوجبات السريعة: 1) يميل العمل الذي يتم إنتاجه عن طريق التحفيز باستخدام نهج التحرير المشترك (تبادل الأفكار ذهابًا وإيابًا باستخدام برنامج الدردشة الآلية) إلى قيام الطلاب بأداء أفضل عمل؛ 2) يحتاج الطلاب إلى أن يتعلموا كيفية كتابة المطالبات بفعالية - فهذا لا يأتي بشكل طبيعي.
الخداع الناشئ والتحسين الناشئ - هل تساءلت لماذا يؤدي توقع LLMs ببساطة للكلمة التالية إلى قدرات التخطيط (السلوك الشبيه بالإنسان، والروايات/التاريخ)؟ يناقش هذا المنشور مفهوم الخداع الناشئ والتحسين الناشئ وهما استراتيجيتان يمكن استخدامهما لتحقيق الهدف. هناك مبدأان للتفكير بشأن القدرات الناشئة المستقبلية: 1) من المحتمل أن تظهر القدرات التي من شأنها تقليل فقدان التدريب في المستقبل. 2) مع زيادة حجم النماذج وتدريبها على بيانات أكثر وأفضل، تميل الاستدلالات البسيطة إلى استبدالها بأخرى معقدة. المبدأ الأول يعني أن طلاب ماجستير اللغة المدربين على التنبؤ بالكلمات يحصلون على خسارة أقل إذا تمكنوا من محاكاة قدرات التخطيط.
كيفية جعل LLM يقول أشياء حقيقية - TL؛ DR: تستخدم الطريقة "النموذج العالمي"، وهي قاعدة بيانات للتضمين مليئة بـ "المعتقدات" (أجزاء من البيانات التصريحية) مع نسبة ثقة يتم حسابها باستخدام نظرية بايز.
لماذا لم تخترع الصين ChatGPT - تقول صحيفة نيويورك تايمز إن الرقابة المفرطة، والتوترات الجيوسياسية مع الولايات المتحدة، ومحاولات السيطرة على شركات القطاع الخاص أدت إلى تخلف الشركات الصينية عن نظيراتها الأمريكية في مجال الذكاء الاصطناعي.
إطلاق أول Chatbot MOSS يشبه ChatGPT في الصين للاختبار العام [رابط مباشر للتطبيق]
بالنسبة للصين، قد يكون ChatGPT تقدمًا ولكنه أيضًا "مشكلة أخلاقية" - يقول وزير العلوم والتكنولوجيا الصيني إن Chatbot قد اجتاح المجتمع الصيني واعتمد تدابير بشأن الذكاء الاصطناعي فيما يتعلق بالأخلاق.
مخططات ChatGPT لتحقيق الثراء السريع قادمة للمجلات وAmazon وYouTube (2023)
تطلق Snapchat برنامج الدردشة الآلي الخاص بها "My AI" والمدعوم من ChatGPT
تم تسريب نموذج لغة الذكاء الاصطناعي القوي LLaMA عبر الإنترنت - ماذا يحدث الآن؟ - نص مقابلة Shawn Presser مع The Verge أكثر إثارة للاهتمام.
أعتقد أنه من المحتمل جدًا أن يكون إصدار هذا النموذج بمثابة إنجاز كبير. إن القدرة على تشغيل LLaMA على وحدة معالجة رسوميات A100 واحدة - والتي "يستطيع معظمنا الوصول إليها... أو نعرف شخصًا يمكنه السماح لنا باستخدام واحدة لبعض الوقت" - هي "قفزة هائلة".
على وجه الدقة، يمكنك تشغيل LLaMA-65B بدقة int8 (bnb) على وحدة معالجة الرسومات A100 واحدة بسعة 80 جيجابايت.
وتبين أن هذا الرمز سيئ. لا أريد حقًا أن أكون قاسيًا جدًا معهم، لأنه من السهل التقليل من مدى أهمية الحصول على الإعدادات الافتراضية بشكل صحيح تمامًا. لكن كل افتراضاتهم كانت فاشلة. لم يستخدموا "Top K". لقد استخدموا Top P، والذي لم أحصل على نتائج جيدة منه أبدًا (إما مطابق لـ top k أو أسوأ قليلاً). كانت درجة الحرارة الافتراضية 0.8، وهي درجة عالية جدًا. والأسوأ من ذلك كله، أنه لم يكن لديهم عقوبة التكرار -- لذلك افتراضيًا، هذا الشيء سوف يثرثر مرارًا وتكرارًا حول نفس الشيء تمامًا.
100% هذا! لقد تعلمت الدرس أيضًا في شوكة LLaMA الخاصة بي. إعدادات أخذ العينات الخاصة بي لم تكن مثالية. التذمر واضح وقد رأيته. لكنني لا أعرف لماذا لم أصلح عقوبة تكرار العينات في وقت سابق.
شرح ChatGPT: دليل نورمي لكيفية عمله - حتى أجدادي يمكنهم فهم ذلك. لكن الطالب الذي يذاكر كثيرا سوف يذاكر كثيرا على أي حال؟
ما الذي يجب عليك استخدام ChatGPT من أجله؟
ما هو واضح بالنسبة لي هو أننا في نموذج جديد للطريقة التي نتنقل بها في المحتوى، سواء من خلال هذا النموذج أو غيره من النماذج التي سيتم إصدارها قريبًا. عند التحفيز، يعطينا الكون الجديد نتائج، لكن هذه النتائج هي عبارة عن ردود فعل اتجاهية أكثر من كونها إجابات ملموسة. والأمر متروك لنا لمعرفة كيفية توجيههم بالطرق التي نريدها للحصول على أفضل النتائج والتغلب على الضوضاء.
تتمتع نماذج اللغات الكبيرة بلحظة الانتشار المستقر (simonwillison.net)
لقد تغير كل هذا بالأمس، وذلك بفضل الجمع بين نموذج LLaMA الخاص بفيسبوك وllama.cpp لجورجي جيرجانوف.
(1) سهل التشغيل على أجهزتي الخاصة
(2) مفتوح المصدر بدرجة كافية بحيث يمكن التلاعب به
(3) كبيرة بما يكفي لتكون مفيدة — وهي تعادل بشكل مثالي قدرات GPT-3
إنها ليست اللحظة المثالية. لقد حققنا 1 و3 باستثناء 2. LLaMA ليس في الواقع مفتوح المصدر (في حين أن ترخيص الكود هو GPL 3، فإن أوزان النموذج ليست كذلك). النماذج المفتوحة حقًا مهمة حقًا.
مع استئناف محادثة GPT-4، يقول رائد التعلم العميق Yoshua Bengio إن ChatGPT هو "جرس التنبيه" - كان جرس التنبيه هو GPT-3 وقوانين التوسع في عام 2021. لقد أصبح صوت المنبه أعلى الآن.
واجهة برمجة تطبيقات ChatGPT جيدة جدًا ورخيصة الثمن، مما يجعل معظم إنشاء النصوص باستخدام الذكاء الاصطناعي أمرًا قديمًا
تم التأكيد: يعمل Bing الجديد على GPT-4 الخاص بـ OpenAI - وكان Bing Chat (سيدني) هو GPT-4 طوال الوقت.
ويكيبيديا - تجربة جيدة لـ GPT-4.
مستقبل الذكاء الاصطناعي العام متعدد الوسائط والنماذج المتعددة وكل شيء - خلاصة GPT-4.
هل يستطيع GPT-4 كتابة التعليمات البرمجية فعليًا ؟ - اختبار قدرات كتابة التعليمات البرمجية لـ GPT 4 مع بعض المشكلات الفعلية في العالم الحقيقي.
هل يمكنك تدريب نموذج يتفوق على ChatGPT مقابل 85000 دولار وتشغيله في المتصفح؟
GPT4: الأجزاء الهادئة وحالة ML
GPT-4 صممت لغة برمجة
القدرات غير المتوقعة الناشئة عن نماذج الذكاء الاصطناعي الكبيرة
جرّب Bard وشارك تعليقاتك - بدأت Google في فتح الوصول إلى Bard، وهي تجربة مبكرة تتيح لك التعاون مع الذكاء الاصطناعي التوليدي. لقد بدأوا بالولايات المتحدة والمملكة المتحدة، وسوف يتوسعون ليشمل المزيد من البلدان واللغات بمرور الوقت.
يتخلف Bard من Google عن GPT-4 وكلود في المقارنة وجهاً لوجه
تقدم NVIDIA الذكاء الاصطناعي التوليدي إلى المؤسسات العالمية من خلال الخدمات السحابية لإنشاء نماذج لغوية ومرئية كبيرة - إن NVIDIA AI Foundations هي شركة NVIDIA التي تتجاوز مجرد مزود الأجهزة إلى البرامج التي تدعم الذكاء الاصطناعي التوليدي بعروضها لكل عبء عمل، بدءًا من النموذج الأساسي كخدمة (قادمة إلى المؤسسة، ومخصصة لبيانات الملكية الخاصة بك) إلى الوسائط المتعددة من اليوم الأول.
GitHub Copilot X: تجربة المطور المدعومة بالذكاء الاصطناعي - يتطور GitHub Copilot لتوفير واجهات الدردشة والصوت، ودعم طلبات السحب، والإجابة على الأسئلة في المستندات، واعتماد OpenAI's GPT-4 للحصول على تجربة مطور أكثر تخصيصًا.
الغش هو كل ما تحتاجه بقلم ستيف ييجي، المصدر.
هناك شيء أسطوري وتاريخي يحدث في هندسة البرمجيات، الآن ونحن نتحدث، ومع ذلك فإن معظمكم لا يدرك على الإطلاق مدى حجمه.
لا تعد شهادات LLM مجرد التغيير الأكبر منذ وسائل التواصل الاجتماعي أو الهاتف المحمول أو السحابية، بل هي أكبر شيء منذ WWW.
أعني أن هذه الأشياء قوية بشكل لا يصدق . ومع ذلك، فإنني أقابل باستمرار بمزيج من عدم التصديق والتشبث باللؤلؤ.
... خمس مرات أكثر إنتاجية. ؟
نبذة مختصرة عن تاريخ LLMs
الجملة النهائية، وهي بصراحة واحدة من أصعب الأشياء التي يصعب شرحها، لذلك سأتبع الطريق القائم على الإيمان اليوم، هي أن جميع الفائزين في مجال الذكاء الاصطناعي سيكون لديهم خنادق بيانات . ... لماذا؟ لأن خندق البيانات هو الطريقة التي تملأ بها نافذة السياق ("ورقة الغش") .
LLMs ليست بدعة غبية، مثل العملات المشفرة. نعم، كان التشفير بدعة غبية. هذا ليس ذلك.
Google "ليس لدينا خندق، ولا OpenAI أيضًا" - تزعم وثيقة Google الداخلية المسربة أن الذكاء الاصطناعي مفتوح المصدر سوف يتفوق على Google وOpenAI.
لقد بدأ النهج الأكبر هو الأفضل في التعامل مع الذكاء الاصطناعي ينفد
فهم رموز GPT المميزة بقلم سايمون ويليسون.
منظمة العفو الدولية كانون
لقد بدأ الأمر يصبح غريبًا - فلنتحدث عن ChatGPT مع Code Interpreter وMicrosoft Copilot.
يلعب دونالد كنوث مع ChatGPT - كنوث عالم كمبيوتر. يُعرف باسم "أبو" تحليل الخوارزميات.
مؤتمر Google I/O 2023 ومعارك الذكاء الاصطناعي القادمة
نماذج غير خاضعة للرقابة - معالج غير خاضعة للرقابةLM. نظرًا لوجود عمل تم إنجازه بالفعل لإلغاء الرقابة على Vicuna، فقد تمكنت من إعادة كتابة البرنامج النصي الخاص بهم بحيث يعمل على مجموعة بيانات WizardLM.
بنية نموذج GPT-4 (تغريدات) - مستمدة من المصدر الأصلي (منشور مدونة): بنية GPT-4، البنية التحتية، مجموعة بيانات التدريب، التكاليف، الرؤية، وزارة التربية والتعليم
Llama 2: LLM مفتوح لا يصدق - أفضل ملخص لورقة Llama 2.
اللاما 2 – كل الموارد التي تحتاجها بقلم فيليب شميد.
نماذج لغوية كبيرة، مشروحة بالحد الأدنى من الرياضيات والمصطلحات - بدا الأمر وكأنه شرح جيد لكيفية عمل ماجستير إدارة الأعمال. لا أعرف كيف أقدر القسم الأخير الذي يتناول القليل من الفلسفة والنظريات حول كيفية تعلم الإنسان. (القسم الأخير يفتقر إلى التأكيد المبني على الأدلة)
لذا فأنت تريد إنشاء برنامج chatbot مفتوح المصدر خاص بك على طراز ChatGPT (hacks.mozilla.org)
كيف يمكن LLaMa.cpp؟ (finbarr.ca) - قبل وقت طويل من انتشار LLM، كان الجميع يقولون إن النماذج الكبيرة تتطلب الكثير من وحدات معالجة الرسوميات باهظة الثمن. مثل المؤلف، نريد أن نثبت خطأهم. أخذ كاتب هذا المنشور ارتباكه وتعمق في الرياضيات المحيطة بمتطلبات الاستدلال لفهم القيود التي نتعامل معها. من المثير للدهشة أنه لا يوجد سحر هنا، فقط أشياء تتجاوز فهمنا في البداية. إن ضغط النموذج أو التكميم بشكل أكثر تحديدًا يجعل ذلك ممكنًا. ومع ذلك، لا يوجد "غداء مجاني" - فتكلفة النموذج الكمي هي في الأساس أنك تفقد بعض الدقة. وهذا يعني أنه بالنسبة لأحجام النماذج الكبيرة جدًا، قد تكون الاختلافات ضئيلة. فضولي؟ أجرى هذا المنشور شبه ذي الصلة مقارنة بين التعقيدات/الدقة المختلفة للمحولات الكمية.
التغلب على GPT-4 على HumanEval باستخدام CodeLlama-34B المضبوط بدقة (www.phind.com) - تقدم جيد وليس مفاجأة كبيرة. لقد أدركت أن مثل هذه المعايير الخاصة بالنماذج تكون عرضة لأن تكون مقاييس ضعيفة لقياس مدى جودة أداء النماذج في العمل الفعلي في العالم الحقيقي. تلك كانت تجربتي مع النماذج المفتوحة.
2024
نحن بحاجة إلى معايير أو نوع من التقييمات المستقلة والإنسانية لمهام العالم الحقيقي .
وفقا لجويرن:
نموذج برمجة جديد؟ أنت تتفاعل معها، وتعبر عن أي مهمة من حيث أوصاف اللغة الطبيعية والطلبات والأمثلة، وتعديل الموجه حتى "يفهم" ويتعلم المهمة الجديدة. هذه طريقة مختلفة لاستخدام النموذج، ومن الأفضل التفكير فيه كنوع جديد من البرمجة، البرمجة السريعة ، حيث أصبحت المطالبة الآن لغة ترميز تقوم ببرمجة GPT-3 للقيام بأشياء جديدة.
"المطالبة" باعتبارها تخصصًا هندسيًا ليست موجودة لتبقى. إنها عكاز مؤقت في الطريق إلى واجهات اللغة الطبيعية. يحل ChatGPT جزءًا كبيرًا من مشكلة المطالبة. قد يكون من غير الضروري إضافة هندسة إلى مصطلح ما لتضخيم أهميته أو صعوبته. ربما يمكننا أن نسميها "الاختبار/القرصنة السريعة" ولا نفقد أيًا من معناها.
مقالات ذات صلة:
لماذا يتم المبالغة في "الهندسة السريعة" و"الذكاء الاصطناعي التوليدي"؟
تغريدات ذات صلة:
لقد ماتت الهندسة السريعة، ولتحيا هندسة الحوار. — نائب الرئيس للمنتج، OpenAI
مطلوب: مهندس سريع. - خبرة هندسية فورية لا تقل عن 10 سنوات. #توظيف #نكتة
لماذا يعمل ChatGPT بشكل جيد؟ هل هو "مجرد توسيع نطاق GPT-3" تحت الغطاء؟ في هذا؟، دعونا نناقش نموذج "الإرشاد"، ورؤاه الفنية العميقة، وتأثيره الكبير: "الهندسة السريعة" كما نعرفها من المحتمل أن تختفي قريبًا . المصدر: https://archive.is/dqHI8
على ما يبدو، في عام 2023، البرمجة السريعة لم تمت. أهم لغة برمجة جديدة هي اللغة الإنجليزية ~ كارباثي :))
نشر سايمون ويليسون دفاعًا عن الهندسة السريعة باعتبارها مواجهة لحجة "الهندسة الفورية ستصبح قديمة مع تحسن الذكاء الاصطناعي" وهي الحجة التي ظل يراها.
تقول الصحيفة إن الذكاء الاصطناعي الهامس ("المهندسون الفوريون") هو أهم وظيفة جديدة في مجال التكنولوجيا (2023).
أفضل دليل هندسي سريع للمطورين الذين يعملون مع نماذج اللغات الكبيرة مثل GPT-4 وChatGPT والنماذج المفتوحة مثل LLaMA سيكون مزيجًا من موارد متعددة. فيما يلي بعض موارد التعلم والأدوات والمكتبات وأطر العمل لمساعدتك على تعلم الهندسة السريعة وإتقانها:
باستخدام هذه الموارد، يمكنك الحصول على فهم قوي للهندسة السريعة وتطوير المهارات اللازمة للعمل بفعالية مع LLMs.
( * تمت إعادة تسمية المصطلح الهندسي الفوري إلى المطالبة. هذا المصطلح محمل بشكل زائد وقد يكون غير ضروري. )
المزيد: مقاطع فيديو YouTube من coreated.tivul.com (لم أطلع هذا على ذلك ، لذلك لا تكون الجودة مضمونة)
تنمية التطبيقات الأصلية الذكاء الاصطناعي. تكامل chatgpt. تطبيقات الجيل القادم من الذكاء الاصطناعي. طبقة "App Store" لنماذج اللغة (بما في ذلك Huggingface "App Store").
LLM يعمل عوامل مستقلة مدعومة (منشور بلوق) من قبل ليليان ونغ ، 2023.
تمتد إمكانات LLM إلى ما بعد توليد نسخ مكتوبة جيدًا وقصص ومقالات وبرامج ؛ يمكن تأطيره باعتباره حل المشكلات العامة القوية.
في نظام العامل المستقل الذي يعمل بـ LLM ، يعمل LLM كأخلي العميل ، ويكمله العديد من المكونات الرئيسية: التخطيط والذاكرة والأدوات.
التحديات: التخطيط طويل الأجل وتحلل المهام ، موثوقية واجهة اللغة الطبيعية.
SMOL Developer - تضمين وكيل مطور في التطبيق الخاص بك.
أنظمة الاسترجاع للوصول إلى مصادر المعلومات الشخصية أو التنظيمية. التضمين. قاعدة البيانات ومتجر البيانات المصممة لنماذج التعلم الآلي و NLP.
قواعد بيانات المتجهات لفهرسة المستندات والبحث
نريد بديل chatgpt مثل الانتشار المستقر.
محبط من جميع حرارة البوابة حول الذكاء الاصطناعي؟ ما زلت تنتظر أو لا يمكنك الوصول إلى لاما؟
الأهداف
الهدف النهائي: النسخة المستضافة ذاتيا من chatgpt.
دروس
الوجبات السريعة من Eleutherai سنة واحدة Retro (2021):
Flan-T5 XXL AKA. chatgpt@home هو نموذج عام خضع لتصنيع التعليمات. XXL هو طراز 11B. إنه حاليًا النموذج الأكثر قابلية للمقارنة مقابل ChatGPT (تتم تهيئة نماذج addructGPT من سلسلة GPT-3.X (بطاقة النموذج)). هناك محاولات ناجحة نشر Flan-T5 على GPU مع ذاكرة وصول عشوائي 24 جيجابايت مع استنتاج Bitsandbytes-int8 لنماذج الوجه المعانقة. يمكنك تشغيل النموذج بسهولة على جهاز واحد ، دون تدهور الأداء. يمكن أن يكون هذا مغيرًا في تمكين الأشخاص خارج شركات التكنولوجيا الكبرى من استخدام هذه LLMs. الجهود جارية بالفعل لإنشاء Flan-T5 أفضل. يعمل المجتمع (IE ، Laion) على بنية Flant5-Atlas ومجموعة من مجموعات البيانات المطلوبة/التعليمات.
مهندس مفتوح-تكرار chatgpt مفتوح المصدر من قبل لاون ، يانيك كيلشر وآخرون. يهدف هذا المشروع إلى منح الجميع إمكانية الوصول إلى نموذج لغة كبير قائم على الدردشة. (Assistant Assistant Live Coding with Yannic Kilcher (Video)) خطط عالية المستوى:
المرحلة 1: جمع موجات للتكوين الخاضع للإشراف (SFT) وللحصول على المطالبات لإكمال/إجابات تم إنشاؤها النموذجية.
المرحلة 2: ردود الفعل البشرية (على سبيل المثال) لمخرجات متعددة ناتجة عن النموذج. مثال يتم عرض مخرجات النماذج خمسة ويجب على المستخدم تصنيفها من الأفضل إلى الأسوأ.
المرحلة 3: التحسين مع RLHF الذي نخطط للقيام به عبر TRLX. ثم نتكرر مع هذا النموذج الجديد مرة أخرى خلال المرحلة 2 والمرحلة 3 نأمل عدة مرات.
سيتم تدريب النماذج على الحاسبات الفائقة القمة (حوالي 6 ملايين NVIDIA V100 ساعة في السنة) [المصدر]
مزيد من المعلومات ، راجع اقتراح LAION LLM (DOC Google) أعلاه.
تقدم:
فبراير 2023: JOI-20B-instruct هو نموذج 20B تم ضبطه على مجموعة متنوعة من مجموعات بيانات التعليمات ويستند إلى Neox-20b.
غير رسمي: هذا نموذج مبكر قبل الإصدار (جزء من تطوير MVP ، المرحلة 1) ، وليس مفتوحًا مباشرة (OA). إنها تجارب من قبل فريق ML لمعرفة البيانات ونموذج الأساس والأساليب ستعمل بشكل جيد مع OA. كما هو مذكور في الأسئلة الشائعة حول الموقع ، لا يوجد تجريبي حتى الآن. هذا هو للمطورين اختبار إصدار التطوير المبكر من ضبط التعليمات للنموذج. ربما سيتم اشتقاق نماذج الزراعة العضوية الأولى من هذه. لقد تم تدريب نماذج جيدة على أساس التدحرج مع اكتمال مجموعات البيانات الجديدة. هناك مجموعة متنوعة من أحجام النماذج من 1.4B إلى 20B Params المتوفرة على HF HUB.
بناء chatty-lms عن طريق Huggingface H4 Team-واجهة المستخدم لاختبار نموذج Joi-20b-instruct. يمكنك الدردشة معها. سوف يرد الوكيل باسم JOI (لقب الروبوت).
مثال على مقتطف رمز لتشغيل النموذج على وحدات معالجة الرسومات الخاصة بك: https://gist.github.com/cedrickchee/236e53ed2dca95bd96e5baa35cdd7be22
مارس 2023: يقومون حاليًا بمعالجة البيانات التي تم جمعها من المساهمات. تحتوي البيانات على أكثر من 100 ألف رسالة ، وهذا يعني ملايين المساهمات. جودة البيانات تتجاوز ما توقعوه على الإطلاق - معظم المساهمات عالية الجودة. الآن ، يقومون بتصدير V1 من مجموعة البيانات. كما قيل ، إنهم يتدربون حاليًا على الدفعة الأولية من النماذج.
11 مارس 2023: سيتم إطلاق مجموعة بيانات التعليم المفتوح (OIG). OIG عبارة عن مجموعة بيانات تعليمات كبيرة مفتوحة المصدر تحتوي حاليًا على تعليمات 43 متر تقريبًا.
OIG هي واحدة من العديد من مجموعات بيانات chatbot التي سيصدرها Laion ، إلى جانب متطوعوها ، OnTocord ، معًا وأعضاء الآخرين في مجتمع المصدر المفتوح ، ويهدف إلى خلق وصول متساوٍ إلى تقنية chatbot. الجميع مدعوون لاستخدام مجموعة البيانات والمساهمة في التحسينات عليها.
ترتبط مجموعة بيانات OIG بمشروع مساعد Laion المفتوح.
9 مارس 2023: طراز SFT-1 12B للمساعدة المفتوحة-النموذج الأولي المبكر لنموذج النقل الإنجليزي الخاضع للإشراف (SFT) للمشروع المفتوح. إنه يعتمد على Pythia 12b تم ضبطه على المظاهرات البشرية البالغة 22 ألفًا من المحادثات المساعدين التي تم جمعها قبل 7 مارس 2023. جرب: Aggingface Space (سهل وسريع ، chatbot chatbot ui) ، Google Collab. إليك دليل حول كيفية تشغيل النموذج محليًا على جهاز الكمبيوتر الخاص بك باستخدام وحدة معالجة الرسومات.
23 مارس 2023: بدأ هذا المشروع في التشكيل بشكل جيد. النموذج قادم.
/r/ask_open_assistant . شفرة15 أبريل 2023: OpenAssistant هو رسميا! يتضمن الإصدار نماذج ومجموعات البيانات وواجهة الدردشة. [إعلان فيديو ، جرب ، نماذج]
رديت
ملاحظة: يرجى الاطلاع على Github Repo للحصول على معلومات محدثة.
Carperai/Trlx
الأخبار (2023-01-13): قاموا بتكرار تعلم Openai لتلخيص الورق باستخدام مكتبة TRLX. [تقرير]
LucidRains/Palm-RLHF-Pytorch-(WIP) تنفيذ RLHF أعلى بنية النخيل. في الأساس chatgpt ولكن مع النخيل. يخطط المطور لإضافة وظائف الاسترجاع أيضًا ، à la retro. [سقسقة]
2023: شيء مضحك في الأسئلة الشائعة:
لا يوجد نموذج مدرب. هذه مجرد سفينة وخريطة شاملة. ما زلنا نحتاج إلى ملايين الدولارات من بيانات Compute + للإبحار إلى النقطة الصحيحة في مساحة المعلمة عالية الأبعاد. وحتى مع ذلك ، فأنت بحاجة إلى البحارة المحترفين (مثل روبن رومباخ من شهرة الانتشار المستقر) لتوجيه السفينة بالفعل خلال أوقات مضطربة إلى تلك النقطة.
الأخبار (2022-12-31): يوجد الآن بديل مفتوح المصدر لـ ChatGpt ، ولكن حظًا سعيدًا في تشغيله-تعليقاتي: لا لم يفعل ذلك. هذا ليس نموذجًا فعليًا مدربًا (بدون أوزان) يمكنك استخدامه. هذا مجرد رمز لتدريب نموذج يشبه ChatGPT. علاوة على ذلك ، فإن بيانات التدريب (ENWIK8) صغيرة.
سيصدر قطار Carperai واسع النطاق RLHF (TRLX) مع بيانات Laion في أوائل العام المقبل. (المصدر: تغريدة)
Allenai/RL4LMS - RL لنماذج اللغة (RL4LMS) بواسطة Allen AI. إنها مكتبة RL معيارية لضبط نماذج اللغة لتفضيلات الإنسان.
GPT-JT بواسطة Computer Research Computer معًا هو مثال يوزع التدريب النموذجي على موزع جغرافي لأجهزة الكمبيوتر المتنوعة (و GPU). GPT-JT (6B) هو متشعب متغير من GPT-J من Eleutherai ، ويؤدي بشكل جيد بشكل استثنائي تصنيف النص والمهام الأخرى. على معايير التصنيف مثل الطوافة ، فإنها تقترب من النماذج الحديثة التي تكون أكبر بكثير (على سبيل المثال ، addructgpt Davinci v2)! [ورقة: التدريب اللامركزي لنماذج الأساس في البيئات غير المتجانسة (2022)]
LEAM (نماذج كبيرة من الذكاء الاصطناعي)-يخطط الاتحاد الأوروبي لتمويل تطوير نموذج يشبه ChatGPT واسع النطاق. [موقع الويب ، وثائق المشروع (الإنجليزية ، PDF) ، ورقة المفاهيم (الألمانية ، PDF)]
/r/aicrowdfund - بدأ مكان للتو (2023) حيث يمكن للناس إيجاد طريقة لصندوق الحشد (مع وحدات معالجة الرسومات) من الذكاء الاصطناعي. لست متأكدًا مما إذا كانت قد شاهدت بتلات حيث يمكنك تشغيل LLMS في المنزل ، على طراز BitTorrent (التعلم الموحّد؟). يبدو أنه يتجه في هذا الاتجاه.
حلول المصدر مفتوحًا يكرر عملية تدريب ChatGPT-فهي تقدم عملية تنفيذ مكافئة مع مكافئة ChatGPT منخفضة المصدر ، بما في ذلك:
لقد حصلت على انطباع بأن نقطة المقالة هي توصيل إطار عملهم والمنتج الهائل ، ومجموعة من المكونات المتوازية والأدوات والأدوات الصلبة للنماذج الكبيرة. بصراحة ، تبدو أعدادهم مشبوهة بالنسبة لي ، إلا إذا فاتني شيء ما. ما يجعل ChatGPT مثيرة للاهتمام (أكثر من GPT-3) هو عملية RLHF. إنهم يدعون لتكرار عملية RLHF تمامًا. ولكن المقالة تلمس برفق حول تنفيذ RLHF. يقومون بتدريب RLHF باستخدام مجموعات بيانات مثال على ذلك مثال. يتم إخفاء تفاصيل تنفيذ RLHF الخاصة بهم هنا: https://github.com/hpcaitech/colossalai/blob/main/applications/chatgpt. الافتقار إلى العرض التوضيحي لا يلهم الثقة.
Flexgen-تشغيل LLMs مثل OPT-175B/GPT-3 على وحدة معالجة الرسومات الواحدة (على سبيل المثال ، بطاقة ألعاب 16 جيجابايت أو 24 جيجابايت RTX3090). الميزات الرئيسية: 1) ما يصل إلى 100x أسرع من أنظمة التفريغ الأخرى. 2) اضغط على كل من المعلمات وذاكرة التخزين المؤقت للانتباه للنماذج إلى 4 بتات مع فقدان الدقة ضئيلة. 3) توزيع خط الأنابيب التوازي. كما أنها توفر نصًا ونصًا Python والتعليمات التي يمكنك تشغيل chatbot مع نماذج OPT. هذا يجب أن يحل تحديات المتطلبات الحسابية والذاكرة عالية لاستدلال LLM. إن chatbot التي يبنيونها مع نماذج FlexGen و OPT ليست تعليمية (RLHF). لذلك لا يشبه chatbot هذا الدردشة. [الاستدلال التوليدي عالي الإنتاجية لـ LLMs مع وحدة معالجة الرسومات (Paper) ، Stanford et al. ، 2023]
