gpt3 poc tutorial with braindump

Braindump

التحديث (نوفمبر 2023): الإصدار الجديد GPT-3.5-Turbo هو المفضل. لقد أضفت إصدارًا جديدًا يدعم Chat Completion API (تم اختباره باستخدام GPT-3.5-Turbo). المجلدات الفرعية المناسبة ( gpt-3 , gpt-35-turbo ) تحتوي الآن على النسخة الأصلية والجديدة. بخلاف تغيير النموذج والتعديلات المقابلة، فهي نفسها، ولكن يفضل gpt-35-turbo ، لأنه تم إهمال إكمال GPT-3.

Braindump هو تطبيق نموذجي لتدوين الملاحظات وتحويلها إلى قاعدة بيانات يمكن الاستعلام عنها بسهولة أكبر. ما عليك سوى كتابة ما يدور في ذهنك وسيقوم التطبيق بتصنيفه وتقسيمه إلى شرائح وتخزينه بشكل صحيح لاستخدامه لاحقًا. تم تصميمه كعرض توضيحي لإظهار كيفية الاستفادة من GPT-3 لإنشاء تطبيقات بدءًا من إثباتات المفهوم، كما هو موضح في برنامجي التعليمي Data Science @ Microsoft، "إنشاء تطبيقات GPT-3 - خارج نطاق الموجه". يمكنك استخدامه لمتابعة البرنامج التعليمي وكنقطة بداية للدراسات والتطبيقات الخاصة بك (على سبيل المثال، عن طريق إعادة استخدام وظائف الأداة المساعدة وهياكل البرنامج الشاملة في مشاكلك المختلفة).

إنه تطبيق Python بسيط يستفيد من Streamlit لتوفير واجهة ويب. لاستدعاء نموذج GPT-3 فعليًا، يجب أن يكون لديك مفتاح OpenAI API فعال. في وقت كتابة هذا التقرير، بمجرد إنشاء حسابك، ستحصل على بعض الاعتمادات المجانية التي يجب أن تكون كافية لمتابعة البرنامج التعليمي والبدء في التطبيق. يجب أن يعمل التطبيق أيضًا مع خدمة Azure OpenAI بدلاً من عرض OpenAI الأصلي، على الرغم من أنني لم أختبره هناك بعد.

إلى جانب التطبيق نفسه، يتضمن هذا المستودع الدراسات، في شكل دفاتر ملاحظات Jupyter، التي أدت إلى ذلك.

تبدو واجهة المستخدم للبحث كما يلي:

لإضافة حقائق، تكون واجهة المستخدم كما يلي، بما في ذلك الفحص اليدوي الاختياري لتفسير النموذج:

تشغيل التطبيق أو الدراسات

تم اختبار التطبيق على Python 3.8 (GPT-3) و3.10 (GPT-3.5-Turbo). المكتبات الرئيسية التي ستحتاج إليها هي: openai و streamlit و pandas و notebook و pytest . يمكنك تثبيتها يدويًا، أو اتباع الإجراء الموضح أدناه لإنشاء بيئة جديدة وتثبيتها تلقائيًا. لاحظ أنه بالنسبة لقاعدة التعليمات البرمجية الأقدم، ستحتاج إلى إصدار أقدم من مكتبة openai .

لتشغيل التطبيق:

1. يوصى بتشغيل Python 3.10+، من توزيعة Anaconda، والتي يمكن الحصول عليها هنا.
2. لضمان تثبيت التبعيات بشكل صحيح، يمكنك أولاً إنشاء بيئة جديدة لهذا التطبيق فقط باستخدام conda create -n braindump_py310 python=3.10
3. قم بتنشيط البيئة الجديدة باستخدام conda activate braindump_py310
4. بالنسبة إلى GPT-3.5-Turbo (مستحسن)، قم بتثبيت التبعيات المدرجة في requirements.txt . يمكنك القيام بذلك عن طريق تشغيل pip install -r requirements.txt من جذر المشروع. بالنسبة لإصدار GPT-3 الأصلي (المهمل)، استخدم requirements.gpt3.txt بدلاً من ذلك، للحصول على التبعيات الأقدم اللازمة لتشغيله.
5. للحصول على ذلك، يجب أن يكون لديك مفتاح OpenAI API صالح وإتاحته كمتغير بيئة يسمى OPENAI_API_KEY .
6. وأخيرا، قم بتشغيل التطبيق من جذر المشروع. على نظام التشغيل Windows: run.gpt3.bat (إصدار GPT-3) أو run.gpt35turbo.bat (إصدار GPT-3.5-Turbo)؛ على Linux: run.gpt3.sh (إصدار GPT-3) أو run.gpt35turbo.sh (إصدار GPT-3.5-Turbo).

لإجراء الدراسات:

1. اتبع الخطوات المذكورة أعلاه، باستثناء الخطوة الأخيرة.
2. افتح دفتر Jupyter المطلوب ضمن notebooks/ مع عميل Jupyter المفضل لديك (أنا شخصياً أستخدم VS Code كثيرًا لذلك).

هيكل المشروع

يتم تنظيم المشروع على النحو التالي:

• notebooks/ : دفاتر Jupyter المستخدمة في الهندسة السريعة.
• src/ : الكود المصدري للتطبيق النهائي.
  • src/gpt-3 : مصادر إصدار GPT-3 الأصلي (مهمل).
  • src/gpt-3.5-turbo : مصادر إصدار GPT-3.5-Turbo ( موصى به منذ نوفمبر 2023).
• data/ : البيانات المخزنة بواسطة التطبيق.
• tests/ : اختبارات الوحدة للتطبيق.
  • tests/gpt-3/ : اختبارات لإصدار GPT-3 الأصلي (مهمل).
  • tests/gpt-3.5-turbo/ : اختبارات إصدار GPT-3.5-Turbo ( موصى به منذ نوفمبر 2023).
• docs/ : الوثائق والأصول ذات الصلة.

يقترب

تم تقديم هذا النهج بالتفصيل في برنامجي التعليمي Data Science @ Microsoft، "إنشاء تطبيقات GPT-3 - خارج نطاق الموجه". ومع ذلك، اسمحوا لي أن أسلط الضوء على بعض النقاط الرئيسية هنا:

• توفر نماذج اللغات الكبيرة، ولا سيما GPT-3 وGPT-3.5-Turbo وGPT-4، طريقة سهلة نسبيًا ومرنة جدًا لبناء بعض أنواع البرامج. ومع ذلك، هناك حاجة إلى جوانب إضافية كبيرة في هندسة البرمجيات لبناء تطبيق قوي وقابل للاستخدام.
• تعتبر إثباتات المفهوم (PoC) رائعة لاستكشاف إمكانيات التقنيات الجديدة وإظهار القيمة بسرعة وبتكلفة منخفضة. وبالتالي فهي توفر وسيلة لتأمين المزيد من الاستثمارات إذا لزم الأمر. نظرًا لأن تطبيق LLMs مثل GPT-3 لا يزال مجالًا جديدًا جدًا، فإن PoCs هي طريقة رائعة لاستكشاف المساحة والتعلم.
• تعتبر العملية التدريجية والمتكررة هي أفضل طريقة لبناء إثباتات المفهوم والتطبيقات. ابدأ بحالة استخدام بسيطة وأضف الميزات والتعقيد أثناء المضي قدمًا.
• وبهذه الطريقة، أصبح من الممكن الآن تحقيق نتائج مبهرة بجهد قليل نسبيًا. فالأشياء التي كانت مكلفة للغاية أو حتى مستحيلة القيام بها في السابق أصبحت الآن ممكنة. وبالتالي فهي طريقة رائعة لتحسين الإنتاجية - سواء للأفراد أو للمؤسسات. حان الوقت لاستكشاف وتجربة المشاريع التي لم يكن من الممكن تصورها سابقًا!

وفيما يتعلق بالمراحل المحددة، فمن المستحسن ما يلي

• جرب OpenAI Playground مع بعض الحالات البسيطة جدًا لمعرفة ما إذا كانت الفكرة تستحق المزيد من العمل.
• بمجرد أن تقرر المتابعة، اكتب مواصفات بسيطة تتكون من هياكل البيانات الأساسية التي ستتعامل معها وبعض الأمثلة على المدخلات والمخرجات.
• قم بتقسيم المشكلة إلى مشكلات فرعية، وحدد المشكلات التي يمكن معالجتها بواسطة GPT-3 أو النماذج المشابهة.
• قم بتصميم مطالباتك تدريجيًا وتكراريًا، ويفضل استخدام دفاتر ملاحظات Jupyter.
• بمجرد الرضا عن جودة المطالبات، قم بتغليفها والآليات المساعدة في المحرك.
• أنشئ واجهة مستخدم لمحركك، ويفضل أن يكون ذلك باستخدام شيء مثل Streamlit أو Gradio، وكلاهما ينتج نتائج جيدة بسرعة كبيرة.
• اعرض إثبات المفهوم (PoC) لأصحاب المصلحة وكرره حسب الاقتضاء.

رخصة

رخصة معهد ماساتشوستس للتكنولوجيا

حقوق الطبع والنشر (ج) 2023 لباولو سالم دا سيلفا

يُمنح الإذن مجانًا لأي شخص يحصل على نسخة من هذا البرنامج وملفات الوثائق المرتبطة به ("البرنامج")، للتعامل في البرنامج دون قيود، بما في ذلك، على سبيل المثال لا الحصر، حقوق الاستخدام والنسخ والتعديل والدمج. ونشر و/أو توزيع وترخيص من الباطن و/أو بيع نسخ من البرنامج، والسماح للأشخاص الذين تم توفير البرنامج لهم بالقيام بذلك، وفقًا للشروط التالية:

يجب تضمين إشعار حقوق الطبع والنشر أعلاه وإشعار الإذن هذا في جميع النسخ أو الأجزاء الكبيرة من البرنامج.

يتم توفير البرنامج "كما هو"، دون أي ضمان من أي نوع، صريحًا أو ضمنيًا، بما في ذلك، على سبيل المثال لا الحصر، ضمانات القابلية للتسويق والملاءمة لغرض معين وعدم الانتهاك. لا يتحمل المؤلفون أو أصحاب حقوق الطبع والنشر بأي حال من الأحوال المسؤولية عن أي مطالبة أو أضرار أو مسؤولية أخرى، سواء في إجراء العقد أو الضرر أو غير ذلك، الناشئة عن أو خارج أو فيما يتعلق بالبرنامج أو الاستخدام أو المعاملات الأخرى في برمجة.