تم إنشاؤها بواسطة تانغ يودي
الهدف الأصلي من تنظيم هذا المشروع هو تسهيل قيام الطلاب بسرعة ببدء خطة الدراسة الذاتية للذكاء الاصطناعي، وتجنب الانعطافات في عملية التعلم، والبدء في استخدام الذكاء الاصطناعي في أسرع وقت ممكن وبدء المشاريع العملية، وهو يوفر ما يقرب من 200 حالة عملية للذكاء الاصطناعي والمشاريع ليست على الإنترنت. ما قمت بجمعه هو الحالات التي قمت بتطويرها وجمعها في السنوات الخمس الماضية من التدريس عبر الإنترنت وغير متصل. ويمكن القول أنه تم تحديثها بشكل متكرر ومتكرر، وهي مناسبة للطلاب للتعلم والممارسة خطوة بخطوة. الطلاب الذين يأتون إلى هنا، تذكروا النقر على النجمة لحفظها!
في نهاية عام 2019، قمت بنشر الكتاب المدرسي الداعم لدورة التعلم الآلي "تعلم تحليل بيانات بايثون وممارسة التعلم الآلي مع دييغو". لا يزال الأسلوب سهل الفهم، وقد استغرق الأمر عامين وأكثر من عشرة مراجعات لمقابلتك أخيرًا . ولتسهيل الأمر على المزيد من الطلاب لبدء خطتهم الدراسية بسرعة، قررت أن أقدم لكم النسخة الإلكترونية من هذا الكتاب مجانًا . آمل أن يحقق مكاسب تعليمية للجميع! يمكنك تنزيل نسخة PDF على الصفحة الرئيسية لهذا المشروع، وإذا أعجبتك المواد التعليمية، يمكنك أيضًا شراؤها من موقع JD.com.
"تعلم تحليل بيانات بايثون وممارسة التعلم الآلي مع دييغو" تنزيل PDF الأصلي :
(رابط قرص الشبكة: https://pan.baidu.com/s/19wzJeyPmwTBDp9ASEWBvFQ رمز الاستخراج: tece )
الكتالوج التالي هو طريق التعلم ويُنصح المبتدئين بالدراسة بالترتيب الوارد في الكتالوج، ويمكن للطلاب الذين بدأوا بالفعل الاختيار وفقًا لتفضيلاتهم الخاصة.
البيانات المتضمنة في هذه الحالة كلها مجموعات بيانات حقيقية، وبعضها سيكون كبيرًا جدًا، وسيكون تحميلها مباشرة على github بطيئًا جدًا بالنسبة للجميع، وسأقوم تدريجيًا بتحميل روابط قرص الشبكة لكل وحدة، والتي تتضمن البيانات والتعليمات البرمجية وPPT وغيرها من موارد التعلم. إذا كنت بحاجة إلى شرح فيديو داعم، فيرجى إضافة WeChat: digexiaozhushou (المساعد الصغير لـ Pinyin of Di Ge)
إذا كان لديك أي مشاكل في التعاون أو التواصل أو المشروع في جوانب مختلفة، فيمكنك إضافة WeChat مباشرة: digexiaozhushou (Pinyin of Dige Assistant)
لتعلم الذكاء الاصطناعي (علم البيانات)، لا تزال بحاجة إلى بعض المهارات الأساسية، وأهمها بايثون والرياضيات ! ليس من الصعب على هذين الأخوين البدء، فلا بأس بإتقان الأساسيات أولاً والتعلم أثناء استخدامها!
إذا لم تكن معتادًا على لغة Python، أقترح عليك مشاهدة دورة الفيديو التمهيدية الخاصة بـ Python للبدء بسرعة! منفذ
التفسير الأكثر مباشرة هو أن الجميع يستخدمه! لقد كانت برمجة موجهة للكائنات، ولكن لاحقًا فضل الناس برمجة النسخ واللصق، وهم الآن كسالى جدًا بحيث لا يمكنهم البرمجة لـ GitHub. هذا صحيح، عليك أن تكون كسولًا عندما يجب أن تكون كسولًا، وهذا ما تفعله بايثون ! كل المحتوى العملي اللاحق سيعتمد على لغة بايثون، لذلك ليس لديك خيار آخر!
الأناكوندا تكفي! الأناكوندا تكفي! الأناكوندا تكفي! حسنًا، لقد قلت ذلك ثلاث مرات للحصول على شرح مفصل، ما عليك سوى الرجوع إلى دورة البوابة أعلاه.
تعني مجموعة الأدوات أن الآخرين قد كتبوا جميع الوظائف، ويمكننا أن نسميها مباشرة وهذا كل شيء! توجد مجموعات أدوات مقابلة لمعالجة البيانات وتحليلها ووضع النماذج وما إلى ذلك. للتعلم، ليست هناك حاجة لحفظ مجموعات الأدوات هذه، فأنت بحاجة إلى التعرف عليها أولاً، وستحتاج بالتأكيد إلى استخدامها والتحقق منها لاحقًا.
اسم مجموعة الأدوات | نظرة عامة على الوظيفة |
---|---|
نومبي | لا بد منه لحسابات المصفوفة! إنه جوهر جميع الحسابات اللاحقة ومجموعة الأدوات الأساسية في مجال علم البيانات. |
الباندا | لا بد منه لمعالجة البيانات! قراءة البيانات ومعالجة البيانات وتحليل البيانات يجب أن يقوم بها! |
ماتبلوتليب | التصور أمر لا بد منه! الوظيفة قوية جدًا ولا توجد صورة لا يمكن رسمها والتحليل عليها. |
سيبورن | أداة تصور أبسط! يمنحك سطر واحد من التعليمات البرمجية عرضًا مرئيًا للنتائج |
يجب أن يكون الطلاب على دراية تامة بمدى أهمية الرياضيات، خاصة في مجال الذكاء الاصطناعي (علم البيانات)، فمن الصعب القيام بأي شيء دون معرفة الرياضيات. لقد سألني العديد من الطلاب، هل يمكن حقًا استخدام الكثير من الرياضيات في العمل ؟ دعني أوضح لك أن صناعة الذكاء الاصطناعي تتطور بسرعة كبيرة في العمل الفعلي، يجب أن تتعلم أثناء القيام بذلك. يجب أن تكون بعض الأوراق البحثية المتميزة حاليًا. إذا لم تتمكن حتى من فهم الصيغ الرياضية الأساسية، فلا داعي للحديث عن التكنولوجيا المتطورة. من المؤكد أن الطلاب في هذا المجال سيكون لديهم هذه الفكرة. إن ما يسمى بالذكاء الاصطناعي يقوم فقط بإجراء حسابات رياضية مختلفة على البيانات!
لا أعتقد أنك بحاجة إلى البدء من الصفر وقضاء الكثير من الوقت في التعلم خطوة بخطوة، على سبيل المثال، لقد قمت أنا وزملائي بذلك لفترة طويلة، ولا أعرف عدد المرات التي قمت فيها بذلك لقد قمت بدراسة الرياضيات في بعض الأحيان بحل عدد لا يحصى من الأسئلة، لكنني سأواجه أيضًا هذه المشكلة، وسيتم نسيان العديد من نقاط المعرفة بسرعة إذا لم ألقي نظرة عليها لفترة من الوقت. أحد الأشياء التي أقوم بها غالبًا هو البحث عن كل ما أستخدمه. عملية البحث هي في الواقع عملية تعلم وتقدم. من المستحسن أن تمر بسرعة عبر نقاط المعرفة المشتركة (الرياضيات المتقدمة، الخطية، أساسيات نظرية الاحتمالات)، خلال هذه العملية، لا تنظر إلى عمليات حل المشكلات المختلفة، ولا داعي للقلق بشأن طرق الحل المحددة بصراحة، يكفي أن تفهم ما تفعله الصيغة وما تُستخدم من أجله، ولن تحتاج إليها في المستقبل، على غرار التمارين الموجودة في الكتاب المدرسي والحلول الموجودة في كتاب التمارين قلم لحساب هذه الأشياء المزعجة، وفر هذا الوقت للدراسة، فالخوارزميات أكثر فعالية من حيث التكلفة!
نقاط المعرفة | محتوى | تأثير |
---|---|---|
الرياضيات المتقدمة | أساسيات الرياضيات المتقدمة، وحساب التفاضل والتكامل، وصيغة تايلور ولاغرانج، | ضروري لاستخلاص صيغ التعلم الآلي |
الجبر الخطي | أساسيات الجبر الخطي والقيم الذاتية وتحلل المصفوفات، | اللازمة لحل الخوارزمية |
نظرية الاحتمالات | أساسيات نظرية الاحتمالات، المتغيرات العشوائية وتقدير الاحتمالات، التوزيعات شائعة الاستخدام | غالبًا ما يذكر التعلم الآلي هذه الكلمات |
التحليل الإحصائي | تحليل الانحدار، اختبار الفرضيات، تحليل الارتباط، تحليل التباين | ضروري لتحليل البيانات |
جوهر مجال الذكاء الاصطناعي هو التعلم الآلي. بغض النظر عن الاتجاه الذي تريد اتباعه في المستقبل، يجب أن تبدأ بالتعلم الآلي! هناك شيئان رئيسيان، الأول هو إتقان مبادئ الخوارزميات الكلاسيكية، والثاني هو أن تكون بارعًا في استخدام مجموعة أدوات بايثون للنمذجة العملية!
ماذا نتعلم عن الخوارزميات؟ فهم كيفية عمل خوارزميات التعلم الآلي على البيانات لإكمال عملية النمذجة والحل، وبصراحة، يعني ذلك التعرف على كيفية استخدام الرياضيات في الخوارزميات. الشيء المهم هو أن نفهم! لا تفكر في مشكلة ما إلى ما لا نهاية، فهي مضيعة للوقت، وقد تتمكن من حلها في وقت قصير أثناء عملية التعلم اللاحقة. أعتقد أنه يجب عليك دراسة الخوارزميات أكثر من مرة، خاصة للطلاب الذين يستعدون لمقابلات العمل، فمن الطبيعي أن تدرس الخوارزمية مرتين أو ثلاث مرات (أخبرني أحد زملائي ذات مرة أنه درس الدورة ما مجموعه 6 مرات قبل المقابلة). )
مع التعلم العميق، هل لا تزال هناك حاجة للتعلم الآلي؟
يمكن القول أن التعلم العميق هو نوع من خوارزميات التعلم الآلي، وهذا لا يعني أنه لا توجد حاجة إلى خوارزميات كلاسيكية أخرى مع الشبكات العصبية، ويجب تحديد الخوارزمية الأكثر ملاءمة بناءً على المهام والبيانات المختلفة في الواقع، من السهل جدًا النظر إلى الشبكات العصبية بعد إتقان هذه الخوارزميات الكلاسيكية.
نقاط المعرفة | محتوى | ملخص |
---|---|---|
خوارزمية التصنيف | الانحدار اللوجستي، شجرة القرار، آلة ناقل الدعم، خوارزمية المجموعة، خوارزمية بايزي | يجب على الطلاب الذين يستعدون للمقابلات إتقانها |
خوارزمية الانحدار | الانحدار الخطي، أشجار القرار، خوارزميات المجموعة | يمكن لبعض الخوارزميات القيام بالتصنيف والانحدار |
خوارزمية التجميع | يعني k، dbscan، الخ. | يتم أخذ "غير خاضع للرقابة" في الاعتبار فقط عندما لا يكون هناك تصنيف فعليًا. |
خوارزمية تخفيض الأبعاد | تحليل المكونات الرئيسية، التحليل التمييزي الخطي، الخ. | التركيز على فهم فكرة تقليل الأبعاد |
خوارزميات متقدمة | خوارزمية تعزيز GBDT، خوارزمية lightgbm، خوارزمية EM، نموذج ماركوف المخفي | يمكن للطلاب الذين لديهم الوقت والطاقة تحدي الخوارزميات المتقدمة |
تحليل تأثير أساليب النمذجة الخوارزمية الكلاسيكية والمعلمات على النتائج من خلال التجارب المقارنة، وفهم المعلمات وأمثلة التطبيق في الخوارزميات من خلال التجارب والعروض المرئية.
اسم الحالة | نظرة عامة على المحتوى |
---|---|
التحليل التجريبي للانحدار الخطي | إتقان الانحدار الخطي أحادي المتغير والمتعدد، وطرق الانحدار غير الخطية، ودور عقوبة التنظيم |
طريقة التقييم النموذجي | مقارنة بين طرق تقييم التصنيف وخوارزميات الانحدار شائعة الاستخدام، وأمثلة على تجزئة مجموعة البيانات |
التحليل التجريبي للانحدار اللوجستي | طريقة بناء نموذج التصنيف الكلاسيكي، طريقة رسم حدود شجرة القرار |
التحليل التجريبي لخوارزمية التجميع | أمثلة على النمذجة غير الخاضعة للرقابة، وطرق تقييم الخوارزمية المجمعة، والأدوار غير الخاضعة للرقابة، وأمثلة التطبيق |
التحليل التجريبي لشجرة القرار | أمثلة لتصور نموذج الشجرة وطرق البناء وتطبيقات التصنيف والانحدار لنماذج الشجرة |
التحليل التجريبي للخوارزمية المتكاملة | أمثلة تطبيقية وتحليل تأثير طرق التكامل، ومقارنة استراتيجيات التكامل الشائعة |
دعم التحليل التجريبي لآلة المتجهات | يتضمن SVM المعلمات وتجارب مقارنة النمذجة |
التحليل العملي لقواعد الجمعية | نقاط المعرفة الأساسية وأمثلة تحليل النمذجة لقواعد الارتباط |
من أجل فهم آلية الخوارزمية بشكل أفضل، فإننا نعيد إنتاج الخوارزمية الكلاسيكية من الصفر، ونلتزم بمبدأ عدم فقدان الحزمة، ونكمل جميع الوحدات التي تتطلبها الخوارزمية خطوة بخطوة.
الغرض الرئيسي هو فهم مبدأ عمل الخوارزمية بشكل أفضل، وينصب التركيز على الممارسة! يمكن للطلاب الذين لديهم الوقت إعادة إنتاج ذلك بأنفسهم، لكن الطلاب الذين ليس لديهم الوقت الكافي لا يتعين عليهم القيام بذلك بأنفسهم.
اسم الحالة | نظرة عامة على المحتوى |
---|---|
تنفيذ رمز الانحدار الخطي | الوظائف الشائعة الاستخدام لخوارزميات بناء الوحدات |
تنفيذ رمز الانحدار اللوجستي | مثال على تفسير طريقة تنفيذ الانحدار اللوجستي |
تنفيذ كود Kmeans | خوارزمية غير خاضعة للرقابة بسيطة للغاية وسهلة الفهم |
تنفيذ كود شجرة القرار | نموذج الشجرة هو في الواقع تطبيق متكرر |
تنفيذ كود الشبكة العصبية | كمية التعليمات البرمجية كبيرة بعض الشيء، لذا يوصى بتعلم وضع التصحيح. |
تنفيذ كود بايزي | لا يزال شرح بايز أسهل في المهام النصية |
تنفيذ رمز قاعدة الرابطة | خوارزميات تحليل البيانات شائعة الاستخدام |
بناء نظام توصية الموسيقى | بناء نموذج نظام التوصية من الصفر |
في القتال الفعلي، قد تضعف نقاط المعرفة الرياضية، لأننا في معظم الأوقات نستخدم مجموعات أدوات جاهزة لإكمال المهام (رجل نقل الحزمة). هناك العديد من وظائف توفير الطاقة التي يجب على الجميع إتقانها هنا. الأول هو أن يكون بارعًا في استخدام مجموعات الأدوات الشائعة هذه، وتعد المعالجة المسبقة للبيانات وهندسة الميزات وتعديل المعلمات والتحقق من الخطوات الأساسية. باختصار، تتشابه العمليات والروتينات المطلوبة لإنجاز المهام المختلفة، لكن الأساليب والخوارزميات المستخدمة قد تكون مختلفة، مما يتطلب من الجميع التراكم المستمر لإثراء الخبرة العملية. يمكن استخدام هذه الحالات المقدمة للطلاب كنماذج عملية خاصة بهم!
الشيء الأكثر أهمية هو تعلم كيفية المعالجة المسبقة وتحليل البيانات المختلفة (القيم الرقمية والنصوص والصور)، وتطبيق الوظائف الأساسية الرئيسية بمهارة في مجموعة الأدوات للمشاركة في المعالجة المسبقة، واقتراح حلول متعددة لمهام مختلفة، وإجراء التحليل التجريبي. خلاصة القول، قم بإجراء المزيد من التجارب والمزيد من العمل العملي. كلما كتبت المزيد من التعليمات البرمجية، أصبحت أكثر كفاءة!
اسم الحالة | نظرة عامة على المحتوى |
---|---|
خوارزمية أقرب جار K في الممارسة العملية | حالة تمهيدية للتعلم الآلي، وإتقان مجموعة الأدوات المطبقة على أساليب النمذجة |
الكشف عن شذوذ بيانات المعاملات | تحليل مفصل ومهم جدًا ومقارنة بين استراتيجيات معالجة البيانات والنمذجة |
ممارسة نمذجة الخوارزمية المتكاملة | لا أحتاج أن أقول المزيد عن التكامل، فهي استراتيجية أساسية لا بد منها. |
التنبؤ بدرجة الحرارة على أساس الغابات العشوائية | الغابة العشوائية هي الخوارزمية الأكثر استخدامًا في التعلم الآلي والتحليل التفصيلي |
ممارسة تصنيف الأخبار | تحليل ومعالجة البيانات النصية، والنمذجة العملية على أساس خوارزمية بايزي |
تحليل ممارسات التجميع | أمثلة على التطبيقات غير الخاضعة للرقابة |
تحليل السلاسل الزمنية | طريقة إنتاج بيانات السلاسل الزمنية، والنمذجة على أساس بيانات التسلسل |
تحذير من تغيير المستخدم | كثيرًا ما أقول إن مستخدمي Fantasy Westward Journey يخسرون، وهذا مجرد عرض توضيحي |
استخدم lightgbm للتنبؤ بحركة مرور الفندق | قاتل كبير آخر، أسوأ من xgboost |
توقعات ممارسة مشروع مجموعة بيانات التعداد والدخل | القوالب الأساسية، وتحليل البيانات، والتصور، وما إلى ذلك كلها موجودة. |
التحسين بايزي في الممارسة | الأكثر صعوبة، أمثلة استخدام مجموعة أدوات التحسين الافتراضية |
مقارنة طرق ميزة النص | مقارنة طرق استخراج الميزات شائعة الاستخدام للبيانات النصية |
اصنع مجموعة الأدوات الخاصة بك | اصنع حقيبتك الخاصة للمتعة |
اسم الحالة | نظرة عامة على المحتوى |
---|---|
قواعد الارتباط العملية في بايثون | من السهل جدًا استخدام مجموعة الأدوات لوضع قواعد الارتباط |
تحليل ونمذجة مجموعة بيانات Airbnb | تحليل مجموعة بيانات أسعار المساكن وأمثلة النمذجة |
نظام توصيات الفنادق على أساس التشابه | بناء نظام توصيات لاستكمال توصيات الفنادق |
تحليل انحدار مبيعات المنتج | التنبؤ بالمبيعات، وهي مهمة روتينية للغاية، يمكن تنفيذها بطرق روتينية |
تحليل واستكشاف مجموعة بيانات PUBG | مجموعة بيانات PlayerUnknown's Battlegrounds، لنرى من قتلك |
طريقة التفسير النموذجي في الممارسة العملية | كيفية تفسير النموذج بعد النمذجة؟ يمكن أن تساعدك مجموعات الأدوات هذه على القيام بذلك. |
مجموعة الأدوات الأساسية لمعالجة اللغة الطبيعية في الممارسة العملية | تفسير مجموعات أدوات البرمجة اللغوية العصبية الشائعة والأمثلة العملية |
توقعات احتمالية سداد عملاء البنك | بيانات عملاء البنك للتنبؤ باحتمالية السداد |
ممارسة تحليل مجموعة ميزات الصورة | كيفية تجميع بيانات الصورة؟ |
توقعات ممارسة مشروع مجموعة بيانات التعداد والدخل | القوالب الأساسية، وتحليل البيانات، والتصور، وما إلى ذلك كلها موجودة. |
الجميع يسمع كلمة تحليل البيانات كل يوم، ولكن ماذا علينا أن نفعل؟ إنه ليس أكثر من مجرد الحصول على معلومات قيمة من البيانات، ولا يزال هناك العديد من الأساليب والإجراءات. هذا الاتجاه لا يتطلب أي تراكم نظري، فقط استخدم البيانات وقم بذلك! تراكم الحالات هو عملية التعلم!
ببساطة، التنقيب عن البيانات هو تطبيق خوارزميات التعلم الآلي على كميات هائلة من البيانات للحصول على النتائج المرجوة. لا ينصب التركيز في استخراج البيانات على اختيار خوارزمية التعلم الآلي، بل على كيفية معالجة البيانات للحصول على نتائج تنبؤية أفضل، وهنا ستصبح هندسة الميزات والمعالجة المسبقة هي الحل الأساسي.
اسم الحالة | نظرة عامة على المحتوى |
---|---|
توقعات إنقاذ تيتانيك | حالة المنافسة الكلاسيكية Kaggle، أول مشروع عملي لاستخراج البيانات على مستوى المبتدئين |
بناء ميزة البيانات | هندسة الميزات هي جوهر استخراج البيانات، استنادًا إلى sklearn، يتم شرح طرق إنشاء الميزات المختلفة. |
ممارسة صورة المستخدم | لا بد أن الجميع قد سمعوا عن صور المستخدمين، وكيفية تطبيق البيانات لإكمال الصورة؟ |
مثال على استراتيجية التكامل | في استخراج البيانات، عادة ما يتم اختيار استراتيجيات التكامل لتحسين التأثير بشكل أفضل. |
Xgboost القتال الفعلي | ممثل نموذجي في التكامل وسلاح قاتل في المنافسة |
JD.com توقعات نية الشراء | مشكلة التنبؤ الكلاسيكية، مهام التنبؤ الكاملة بناءً على بيانات سلوك المستخدم التاريخية |
مسح علوم البيانات Kaggle | عرض المشاركين في مسابقة kaggle بشكل مرئي |
توقعات أسعار المنازل | حالات للمبتدئين في استخراج البيانات لإتقان الإجراءات الروتينية بسرعة |
تحليل المستخدم الحساسة للطاقة | أمثلة المنافسة، تشرح بشكل أساسي دور هندسة الميزات |
fbprophet التنبؤ بالسلسلة الزمنية | خوارزمية عملية للغاية للتنبؤ بالسلاسل الزمنية، وسهلة الاستخدام للغاية |
لقد اخترنا حالات منافسة واسعة النطاق مثل Tianchi وKaggle وRongji للجميع، والأكواد والحلول المقدمة هي أفكار الحلول للفائزين خلال المسابقة. تمامًا كما لو كنت تريد أن تتعلم لعب الشطرنج، عليك أن تلعب مع أفضل اللاعبين لتحسين نفسك. ستشرح كل حالة أفكار الفائز والحل الشامل وستوفر تنفيذ التعليمات البرمجية. من المفيد جدًا للجميع أن يتحسنوا!
اسم الحالة | نظرة عامة على المحتوى |
---|---|
Kuaishou تحليل نشاط مستخدم الفيديو القصير | توقع النشاط التالي بناءً على بيانات سلوك المستخدم |
توقعات الإنتاج الكيميائي الصناعي | تحليل بيانات الصناعة الكيميائية ونموذجها للتنبؤ بكفاءة الإنتاج |
التنبؤ بوقت السفر على الطرق الذكية بين المدن | منافسة واقعية للغاية، حيث يتم التنبؤ بوقت السفر بناءً على بيانات الطريق |
مجموعة أدوات قابلة للتفسير للنمذجة الهندسية | أحد أصعب جوانب استخراج البيانات هو تفسير الميزات. تعتبر مجموعات الأدوات هذه مفيدة جدًا. |
بيانات مرض السكري الطبية تسمى التعرف على الكيان | شرح خوارزمية التعرف على الكيان المسمى وتحليل مثال التطبيق |
هندسة ميزات نموذج التحكم في مخاطر منصة القروض | يعد استخدام النماذج الرسومية لبناء هندسة الميزات فكرة مستخدمة على نطاق واسع. |
نموذج استخراج الكلمات الرئيسية للأخبار | يمكن القول أن استخراج الكلمات الرئيسية هو مهارة أساسية في البرمجة اللغوية العصبية |
نموذج عملي لمشروع التعلم الآلي | القالب موجود هنا ويمكنك تطبيقه على المهام المستقبلية. |
تحليل المستخدم الحساس للطاقة | أمثلة المنافسة، تشرح بشكل أساسي دور هندسة الميزات |
يستخدم استخراج البيانات بشكل أساسي النمذجة لإجراء التنبؤات، بينما يركز تحليل البيانات على العرض المرئي وتحليل تأثير المؤشرات المختلفة على النتائج. لقد اخترنا لك بعض حالات التحليل الكلاسيكية، والتي يمكن استخدام الكثير منها مباشرة كقوالب.
اسم الحالة | نظرة عامة على المحتوى |
---|---|
تقنيات رسم المؤامرة المبعثرة | لقد قيل أن التصور هو النقطة الأساسية، والرسم أمر لا بد منه بالتأكيد. |
تحليل ونمذجة عملية تاكسي نيويورك | بعد استخدام العديد من مجموعات الأدوات، يمكنك التعرف على كيفية تحليل البيانات الجغرافية وعرضها. |
مهمة توصية الفيلم بناء على التحليل الإحصائي | الطرق الشائعة الاستخدام للتحليل الإحصائي والتوصيات |
تحليل البيانات وقوالب التعلم الآلي | هذا القالب شامل حقًا، بما في ذلك التحليل والعرض والنمذجة والتقييم. |
تخفيض أبعاد البيانات | التحليل المقارن وعرض العديد من خوارزميات تقليل الأبعاد شائعة الاستخدام |
العرض المرئي للمنتج ومعالجة النصوص | المعالجة المسبقة للبيانات النصية والعرض المرئي |
تحليل متعدد المتغيرات | يعد التحليل متعدد المتغيرات أيضًا طريقة شائعة في تحليل البيانات |
تحليل مجموعة بيانات طلب المنتج | ترتيب تحليل مجموعة البيانات |
تحليل بيانات قرض KIVA | تحليل مجموعة بيانات القروض |
يمكن القول أن التعلم العميق هو الخوارزمية الأكثر فائدة في الوقت الحالي، ويمكن استخدامه في مجالات مختلفة. في الواقع، لا يزال الجوهر يكمن في رؤية الكمبيوتر ومعالجة اللغة الطبيعية، لأن خوارزميات الشبكة العصبية أكثر ملاءمة لبيانات الصور والنص. الأشياء الرئيسية التي تحتاج إلى إتقانها هي الخوارزميات وأطر العمل، وهي نماذج شبكية كلاسيكية مثل CNN وRNN، وأطر العمل هي أدوات عملية مثل Tenorflow وPytorch وما إلى ذلك، والتي سيتم مناقشتها بالتفصيل لاحقًا.
يبدو أنه عندما يحصل العديد من الأصدقاء على مهمة الآن، فإن أول ما يفكرون فيه هو استخدام التعلم العميق مباشرة. إذا كان التعلم العميق صعبًا ومرهقًا، فهل سيظل يتمتع بشعبية كبيرة؟ في الواقع، على العكس من ذلك، أعتقد أن التعلم العميق أبسط بكثير من التعلم الآلي. في التعلم الآلي، نحتاج إلى اختيار طرق مختلفة للمعالجة المسبقة وأساليب البناء الهندسي المميزة للبيانات المختلفة. تعتبر الإجراءات الروتينية في التعلم العميق أكثر ثباتًا نسبيًا، ومع هذه الأطر مفتوحة المصدر وبنيات الشبكات الكلاسيكية الرئيسية، كل ما يتعين علينا فعله عادةً هو تطبيقها. الصعوبة الإجمالية أسهل من مهمة التعلم الآلي (نسبيًا!).
اسم الخوارزمية | نظرة عامة على المحتوى |
---|---|
الشبكة العصبية | الشبكة العصبية هي الأكثر أساسية، وهي تعادل وضع الأساس لتعلم الشبكات اللاحقة. |
الشبكة العصبية التلافيفية | يبدو هذا مألوفًا للجميع، الأخ الأكبر في التعلم العميق! الشبكة الأساسية لرؤية الكمبيوتر |
الشبكة العصبية المتكررة | Bei Qiao Feng وNan Murong هما الأخوين الأكبر في معالجة اللغة الطبيعية! |
شبكة توليدية معادية | إنه نموذج شائع الآن، ومن الممتع اللعب به ويمكن استخدامه في عمليات دمج الصور المختلفة. |
نموذج الشبكة التسلسلية | تحتوي البنى شائعة الاستخدام في البرمجة اللغوية العصبية، ونماذج ترجمة التعلم الآلي، على العديد من نقاط التطبيق |
أبنية الشبكات الكلاسيكية الرئيسية | تعد CNN وRNN المذكورة للتو من نماذج الشبكات الأساسية نسبيًا، وهناك العديد من الامتدادات المبنية عليها والتي يحتاج الجميع إلى إتقانها. |
يشبه إطار العمل القول بأنك تصمم نموذجًا للشبكة، ولكن سيكون من الصعب جدًا إكمال جميع عمليات الحساب المحددة بنفسك. يوفر الإطار طريقة حسابية فعالة ولا يتطلب منا إكمالها، وهي مجموعة من الحسابات التلقائية بالكامل. ويعادل ذلك أننا نحتاج فقط إلى تصميم الهيكل وترك البناء المحدد له. ما هو ضروري للعب التعلم العميق هو الإطار.
Tensorflow، Pytorch، keras، caffe، وما إلى ذلك، هناك الكثير من الأطر، أي واحد يجب أن أختار؟ هل هناك اختلافات كبيرة بين الأطر المختلفة؟ وأكثرها شيوعًا الآن هي Tensorflow وPyTorch، والتي تعادل KFC وMcDonald's. كلاهما قوي جدًا بالنسبة لأيهما تختار، يرجى الرجوع إلى فريق المشروع الخاص بك ومتطلبات المهمة. إذا كان علي أن أوصي بواحدة، فإنني أوصي بـ PyTorch للجميع لأنها أكثر إيجازًا وشعبية. لقد استخدمت كل هذه الأطر والسبب الرئيسي هو أنني غالبًا ما أحتاج إلى الرجوع إلى الأوراق البحثية والمشاريع مفتوحة المصدر في عملي، وعادة ما أتابع الأطر المستخدمة في الكود المصدري في أوراق الآخرين للتطوير الثانوي، لذلك الجميع سوف تستخدم هذه الأطر عاجلا أم آجلا!
لا توجد نظرية للحديث عن الإطار، وليست هناك حاجة لقراءة جميع أنواع الشروحات الطويلة، فقط استخدمه! في الواقع، إنها مجموعة أدوات، يمكنك التعلم أثناء استخدامها، ويمكن استخدام الحالات كقوالب للتلخيص!
اسم الإطار | نظرة عامة على المحتوى |
---|---|
إطار القهوة | لقد سقط إطار مستوى الإله في العصور القديمة في حالة من العار الآن، وكان هذا هو الإطار الأول الذي تعلمته. |
نسخة Tensorflow2 | لقد أجرى الإصدار 2 العديد من التحسينات وأصبح أخيرًا أكثر سهولة في الاستخدام، وهو أكثر راحة في الاستخدام من الإصدار 1. |
كيراس | في جملة واحدة، الأمر بسيط! بسيط! بسيط! لا حاجة للتعلم، فمن السهل جدًا فهمه من خلال النظر إلى الكود |
باي تورش | إطار العمل الأكثر شيوعًا في هذه المرحلة، أقدر أنه سيكون أيضًا الإطار الأكثر شيوعًا هذا العام (2020)، موصى به! |
نحن نقدم لك مجموعة كبيرة من الحالات العملية لكل إطار عمل رئيسي للتعلم العميق، ويعتمد أي منها على تفضيلاتك.
لا أحتاج إلى توضيح أنه من إنتاج Google. لذا فإن العديد من مشاريع Google مفتوحة المصدر تعتمد بالتأكيد على إطار عمل TF. إذا كنت ترغب في الدراسة أو الرجوع إلى مشاريع وأوراق بحثية مفتوحة المصدر لأشخاص آخرين، فيجب عليك تعلم TF. كما أنها تستخدم على نطاق واسع في الصناعة. هذه الموجة ستؤتي ثمارها بالتأكيد!
اسم الحالة | نظرة عامة على المحتوى |
---|---|
تركيب ومقدمة Tensorflow | تم تقديم الإصدار 2 في طريقة التثبيت، ما عليك سوى الاطلاع عليه لفترة وجيزة. |
تفسير مبادئ الشبكة العصبية والهندسة المعمارية الشاملة | مراجعة بنية الشبكة العصبية |
بناء شبكة عصبية لمهام التصنيف والانحدار | استخدم TF لإكمال مهام التصنيف والانحدار الأساسية وإتقان طرق تطبيقه |
مبادئ الشبكة العصبية التلافيفية وتفسير المعلمات | يتم شرح بنية CNN بالتفصيل لكل معلمة. |
ممارسة تحديد هوية القطط والكلاب | مهمة تصنيف الصور الكلاسيكية، هناك الكثير لنتحدث عنه هنا، وهو مهم جدًا |
أمثلة على تحسين بيانات الصورة | يمكن القول أن تحسين البيانات أصبح الآن مهارة لا بد منها. |
استراتيجية التدريب - نقل التعلم إلى الممارسة العملية | التأثير الناتج عن نقل التعلم لا يزال جيدًا جدًا. |
تفسير مبادئ الشبكات العصبية العودية ونواقل الكلمات | تفسير نموذج RNN |
تنفيذ word2vec على أساس TensorFlow | تفسير وتنفيذ نموذج ناقل الكلمات بناءً على TF |
مهمة تصنيف النص على أساس نموذج RNN | أكمل مهام تصنيف النص بناءً على TF |
يقوم tfrecord بإنشاء مصدر البيانات | مثال على إنتاج مصدر البيانات |
تطبيق شبكة CNN لممارسة تصنيف النص | يمكن لـ CNN أيضًا إجراء تصنيف النص |
التنبؤ بالسلاسل الزمنية | معالجة بيانات السلاسل الزمنية وأمثلة النمذجة |
الشبكات التوليدية العدائية في الممارسة العملية | GAN هنا، وهذا ممتع للغاية |
دمج الصور العملي بناءً على مشروع CycleGan مفتوح المصدر | لعبتي المفضلة من GAN، التأثير مسلي للغاية! |
هندسة الشبكة الكلاسيكية Resnet في الممارسة العملية | يمكنك تعلم بنية الشبكة التي يجب أن تفهمها! |
في نهاية عام 2019، تجاوز عدد مستخدمي إطار عمل Pytorch Tensorflow ليصبح الإطار الأكثر شيوعًا في الوقت الحالي، والسبب في الواقع بسيط للغاية. إن الشعور العام أسهل في الاستخدام من Tensorflow وهو مناسب جدًا لتصحيح الأخطاء. كما يوصى للمبتدئين بإعطاء الأولوية لإطار عمل Pytorch.
اسم الحالة | نظرة عامة على المحتوى |
---|---|
عمليات المعالجة الأساسية لإطار عمل PyTorch | ما عليك سوى التعرف على PyTorch ومن السهل جدًا البدء. |
الشبكة العصبية التصنيف العملي ومهام الانحدار | يعد استخدام PyTorch لبناء نموذج شبكة عصبية أسهل في الاستخدام من TF |
مبادئ الشبكة العصبية التلافيفية وتفسير المعلمات | بنية نموذج CNN وتفسير كتاب المعلمات |
التفسير العملي للوحدة الأساسية للتعرف على الصور | الوحدة الأساسية لمعالجة الصور في PyTorch مهمة جدًا |
دور وأمثلة تطبيق نقل التعلم | تحميل النماذج في PyTorch لنقل التعلم |
تفسير مبادئ الشبكات العصبية العودية ونواقل الكلمات | تفسير بنية نموذج RNN |
الممارسة العملية على تصنيف النص لمجموعات البيانات الإخبارية | بناء نموذج تصنيف النص على أساس PyTorch |
المبادئ والتحليل العملي لهندسة الشبكات التوليدية العدائية | التفسير الشعبي لنموذج GAN |
دمج الصور العملي بناءً على مشروع CycleGan مفتوح المصدر | إصدار PyTorch من CYCLEGAN، هذا المشروع مفتوح المصدر مكتوب بشكل جيد للغاية |
مبدأ التعرف على النص OCR | مبدأ التعرف الضوئي على الحروف بسيط جدًا في الواقع ويتطلب مساعدة نماذج متعددة لإكماله. |
ممارسة مشروع التعرف على النص OCR | بناء نموذج شبكة التعرف الضوئي على الحروف |
تحليل الفيديو والتعرف على الحركة على أساس الإلتواء ثلاثي الأبعاد | استخدم الالتفاف ثلاثي الأبعاد لمعالجة بيانات الفيديو واستكمال التعرف على السلوك |
نموذج BERT العملي المبني على PyTorch | تحظى بنية BERT بشعبية كبيرة، وهي واحدة من النماذج التي يجب اقتناؤها. |
تفسير القوالب العملية لإطار عمل PyTorch | قم بتوفير قالب حتى يمكن تحسين المهام المستقبلية بناءً على القالب |
الشعور العام هو أنك لست بحاجة إلى تعلم أي شيء، يمكنك فقط استخدامه مباشرة من العلبة. إصدار TF2 يشبه إلى حد كبير keras. مناسبة لإجراء التجارب وكتابة الأوراق، بسيطة وسريعة!
اسم الحالة | نظرة عامة على المحتوى |
---|---|
التثبيت والمقدمة | من السهل تثبيت Keras والبدء ، استنادًا إلى TF |
بناء نموذج الشبكة العصبية | بناء نموذج شبكة عصبية لاختبار المياه |
معركة أخرى مع الشبكات العصبية " | من السهل جدًا بناء نماذج CNN |
مهمة التنبؤ السلسلة الزمنية LSTM | تطبق نموذج LSTM على مهام السلاسل الزمنية |
ممارسة تصنيف النص | مثال تصنيف النص |
ملصقات متعددة ومخرجات متعددة | تعتبر المهام متعددة العلامات شائعة جدًا ولها قيمة تعليمية رائعة |
الممارسة العملية على تصنيف النص لمجموعات بيانات الأخبار | مهمة تصنيف النص على أساس كيراس |
زيادة البيانات | تفسير أمثلة زيادة البيانات |
شبكة التوليد العدائية | هندسة GAN ، من الأسهل استخدام keras |
نقل الشبكة المتبقية للتعلم و Resnet | يجب أن تلعب مع طراز Resnet بنفسك |
معالجة الرمز البريدي مهمة تسلسل متعددة | مثال نموذج نص |
SEQ2SEQ ممارسة شبكة | لا يزال نموذج شبكة التسلسل يستخدم على نطاق واسع. |
ملخص القوالب العملية | يتم توفير قالب Keras للجميع. |
أعتقد أن Tensorflow و Pytorch متاحان بالفعل في هذه المرحلة ، وليس دور الكافيين في الوقت الحالي. قد يكون هناك بعض الأوراق والمهام التي لا تزال تتطلب إطار عمل الكافيين.
اسم القضية | نظرة عامة على المحتوى |
---|---|
تفسير ملف تكوين الكافيين | تفسير ملفات التكوين الشائعة الاستخدام من إطار عمل الكافيين |
طرق بناء مجموعة البيانات المختلفة | طريقة بناء مجموعة البيانات ، هذا أمر مهم للغاية |
تفسير أدوات الكافيين المشتركة | هناك العديد من الأدوات الصغيرة المدمجة فيها لإكمال المهام بسرعة |
اكتشاف الوجه في الممارسة العملية | بناء نموذج اكتشاف الوجه يعتمد على إطار الكافيين |
الممارسة العملية لتحديد نقاط الوجه الرئيسية | إكمال نموذج التعرف على نقطة الوجه على أساس Caffe Framework |
لست بحاجة إلى أن أقول الكثير عن صناعة رؤية الكمبيوتر ، إنها الأكثر شعبية في الوقت الحالي. إذن ماذا تحتاج إلى تعلم؟ النواة هي في الواقع جزأين ، والآخر هو معالجة الصور والآخر هو نمذجة الصور. ما يسمى معالجة الصور هي ما لا يقهر هذه الأدوات. يستخدم نمذجة الصور بشكل أساسي التعلم العميق لإكمال المهام مثل الكشف والاعتراف. في هذه المرحلة من الدراسة ، أعتقد أنك لا تحتاج إلى قراءة عن خوارزميات معالجة الصور التقليدية.
من المستحسن أن تختار إصدار Python للتعلم واستخدامه. إذا واجهت شيئًا ما لم تكن على دراية به ، فتحقق من التعلم أكثر. في الأساس ، تتضمن جميع الوظائف في OpenCV الكثير من الصيغ الرياضية.
لقد أعدنا الكثير من موارد التعلم للجميع.
اسم القضية | نظرة عامة على المحتوى |
---|---|
مقدمة OpenCV وتكوين البيئة | تثبيت البيئة والتكوين |
عمليات الصور الأساسية | استخدم OpenCV لإكمال عمليات معالجة الصور الأساسية والممارسة! |
عتبة وتنعيم | يمكن إكمال عمليات المعالجة الأكثر شيوعًا مع بضعة أسطر من التعليمات البرمجية |
عمليات مورفولوجيا الصور | فقط تعرف على هذه العمليات المورفولوجية |
حساب التدرج الصورة | مثال حساب تدرج الصورة |
اكتشاف الحافة | يحتوي اكتشاف الحافة على مجموعة واسعة من التطبيقات |
هرم الصورة وكشف الكنتور | مثال اكتشاف الكنتور ، التأثير لا يزال جيدًا |
الرسم البياني والتحويل فورييه | فقط تعرف على ذلك |
بطاقة الائتمان الممارسة التابعة لمشروع التعريف الرقمي | قم بعمل مشروع عملي للكشف عن أرقام بطاقات الائتمان وتحديده |
تدريب الممارسة الممارسة-المسح التعرف على التعرف على الحروف | فحص بيانات المستندات للتعرف على المعرفة التعريفي |
ميزات الصورة هاريس | طرق استخراج الميزات الشائعة الاستخدام ، الخوارزمية بسيطة ومألوفة |
ميزات الصورة | أقدم طريقة استخراج ميزة ، لا يزال يتطلب الكثير من الرياضيات. |
خياطة صورة الممارسة الممارسة | يجب أن يكون الجميع قد لعبوا مع الكاميرا البانورامية ، وكيفية تحقيقها؟ |
تحديد الفضاء الممارسات الممارسة للمشروع | مشروع الخدمة الشاقة ، بناء نموذج التعرف على أماكن وقوف السيارات من الصفر |
تعريف بطاقة الممارسة-الإجابة عنهم وحكمه | دعنا نستمتع أيضًا بالعلامة التلقائية |
نمذجة الخلفية | طرق العلاج التقليدية |
تقدير التدفق البصري | فقط كن على دراية به |
OPENCV DNN وحدة | تحميل النموذج المدرب للاعتراف |
ممارسة المشروع - تتبع الأهداف | تأثير التتبع مثير للاهتمام للغاية. |
مبادئ الالتفاف والعمليات | أينما يذهب الالتواء ، فهو جوهر. |
الكشف عن الممارسات الممارسة | اكتشاف التعب على أساس الكاميرا |
أوصي بأن يستعد الطلاب لمقابلات العمل من خلالها. سيكون الكود الموجود داخل المبلغ كبيرًا نسبيًا ، لذلك يوصى بالبدء في وضع التصحيح وإلقاء نظرة على سطر الكود.
نوصي بشدة بمشروع Mask-RCNN. سيناريوهات التطبيق واسعة للغاية ، وهي مناسبة أيضًا للتنمية الثانوية والتحسين. سوف أركز على شرح المشروع وتطبيقه على نفسي.
اسم المشروع | نظرة عامة على المحتوى |
---|---|
نقل نمط الصورة (نقل النمط) | لتعلم أفكاره بشكل أساسي ، لا يزال التأثير مثيرًا للاهتمام |
إكمال الصور المفقودة تلقائيًا | هناك العديد من سيناريوهات التطبيق لشبكة GAN ، ويمكن أيضًا إصلاح الصور بأنفسهم. |
إعادة الإعمار فائقة الدقة | أحد المجالات الرئيسية للبحث في السنوات الأخيرة ، نتائج هذه الورقة جيدة جدًا بالفعل. |
مشروع الكشف عن الكائنات Maskrcnn | هذا هو المشروع المفتوح المصدر الذي أبرزه ، لا بد منه! يجب أن نرى! يجب أن نرى! |
شرح مفصل لرمز مصدر إطار عمل شبكة Maskrcnn | رمز المصدر مهم للغاية ، تحتاج إلى فهم كل سطر! |
تدريب البيانات الخاصة بك بناءً على إطار Mask-RCNN | كيفية تسمية بيانات الصورة وتدريبها؟ ها هو إجابتك |
عرض التعرف على الموقف البشري | هناك العديد من سيناريوهات التطبيق لـ Maskrcnn |
سلسلة الكشف عن الكائنات أسرع | عمل كلاسيكي على اكتشاف الكائنات يمكن استخدامه كمورد تعليمي |
اندماج الصور العملي على أساس مشروع المصدر المفتوح Cyclegan | نسخة Pytorch من Cyclegan ، هذا المشروع مفتوح المصدر مكتوب بشكل جيد للغاية |
مبدأ التعرف على نص OCR | مبدأ OCR بسيط للغاية في الواقع ويتطلب المساعدة من نماذج متعددة لإكمالها. |
ممارسة مشروع التعرف على نص التعرف الضوئي على الحروف | بناء نموذج شبكة OCR |
تحليل الفيديو والتعرف على الإجراء على أساس الالتفاف ثلاثي الأبعاد | استخدم الالتفاف ثلاثي الأبعاد لمعالجة بيانات الفيديو والتعرف على السلوك الكامل |
يمكن القول أن الصعوبة مرتفعة للغاية. لكن البيانات النصية ليست ثابتة للغاية ، وفي بعض الأحيان ليس من السهل على البشر فهمها ، ناهيك عن أجهزة الكمبيوتر. التحديات العالية هي أيضا فوائد عالية.
في عام 2018 ، خرجت ورقة Google ، بيرت! إنه يعادل إطار حل عام لمعالجة اللغة الطبيعية ، ويمكنه في الأساس القيام بجميع المهام! هذا يتطلب من الجميع التركيز على التعلم ، ويمكن كتابته كمشروع في سيرتك الذاتية.
اسم المشروع | نظرة عامة على المحتوى |
---|---|
نموذج اللغة | يتطلب نموذج اللغة أن يكون الجميع على دراية بأعلى أساس متجهات الكلمات اللاحقة. |
استخدم Gemsim لإنشاء ناقلات Word | Gensim هي حزمة مفيدة حقا! |
مهمة التصنيف بناءً على Word2Vec | دعنا نستخدم هذا المثال أولاً لفهم كيفية استخدام ناقلات الكلمات |
مقارنة طرق ميزة النص NLP | هناك العديد من الطرق لإنشاء ميزات نصية ، أيهما أفضل؟ |
تحليل المشاعر LSTM | استخدم هذا المشروع لفهم شكل الإدخال المطلوب بواسطة نموذج RNN |
نموذج تشابه NLP | طريقة حساب تشابه النص |
بوت المحادثة | بناء chatbot استنادًا إلى إطار عمل TensorLfow |
قم بإنشاء طريقة الإدخال الخاصة بك | هل يمكنك بناء طريقة الإدخال الخاصة بك؟ مساعدتك في إنجازها! |
يكتب روبوت شعر تانغ | ألقِ نظرة على شعر تانغ كتبه النموذج! |
مربع ترجمة آلة NMT | مشروع مفتوح المصدر ، قادر على التطوير الثانوي |
معالجة الرمز البريدي مهمة تسلسل متعددة | مهام تصنيف النص الكلاسيكية |
مبدأ بيرت ، إطار عام لمعالجة اللغة الطبيعية | هذا هو بيرت المذكور أعلاه ، النقطة! النقطة! النقطة! |
تفسير الكود المصدري لمشروع Google المصدر Bert من Google | رمز المصدر مهم للغاية ، يجب فهم كل سطر |
تحليل المشاعر الصينية على أساس بيرت | تطوير النماذج بناءً على مشاريع مفتوحة المصدر |
صينية اسم التعرف على الكيان على أساس بيرت | التعرف على الكيان المسمى بناءً على مشاريع مفتوحة المصدر |
من خلال الدورات التدريبية عبر الإنترنت والتدريب على الشركات في السنوات القليلة الماضية ، قابلت العديد من الأصدقاء. يعرفني الجميع بشكل أساسي من خلال دورات الفيديو ، ويسعدني جدًا أن أكون قادرًا على تحقيق فوائد للجميع. بفضل الكثير من الأصدقاء لدعمهم ، هيا ، أنت كل التوفيق!