bigdata_analyse
1.0.0
هذا الريبو عبارة عن مجموعة من مشاريع تحليل البيانات التي تدربت عليها، وسيتضمن كل مشروع وثيقة وصف سهلة لشرح وعرض عملية التطوير بأكملها، كما سيوفر مجموعات البيانات ذات الصلة للتنزيل والممارسة.
وباستخدام مجموعات تقنية مختلفة وتحليل مجموعات البيانات من مختلف الصناعات، نأمل في تحقيق الأهداف التالية:
Jupyter Notebook عبارة عن محرر Python تفاعلي على الويب يتم تثبيته مباشرة من خلال النقطة ويدعم أيضًا تخفيض السعر، وهو مناسب جدًا لتصور تحليل البيانات وكتابة المقالات وكتابة الأكواد النموذجية وما إلى ذلك.
سمة | طريقة المعالجة | كومة التكنولوجيا | تحميل مجموعة البيانات |
---|---|---|---|
تحليل 100 مليون بيانات سلوك مستخدم تاوباو | معالجة دون اتصال | تنظيف الخلية + تحليل الخلية + تصور الرسوم البيانية | رمز استخراج قرص شبكة Alibaba Cloud أو Baidu: 5ipq |
تحليل في الوقت الحقيقي لبيانات سلوك مستخدم تاوباو لـ 10 ملايين | المعالجة في الوقت الحقيقي | مصدر البيانات كافكا + فلينك التحليل في الوقت الحقيقي + التصور (es + kibana) | رمز استخراج قرص شبكة بايدو: m4mc |
تحليل بيانات 3 ملايين لاعب من "العصر البربري" | معالجة دون اتصال | تنظيف الباندا + تحليل MySQL + تصور Pyecharts | رمز استخراج قرص شبكة بايدو: paq4 |
تحليل 1.3 مليون بيانات تمرير بطاقة Shenzhen Pass | معالجة دون اتصال | تنظيف الباندا + تحليل الإمبالا + تصور dbeaver | رمز استخراج قرص شبكة بايدو: t561 |
تحليل 100000 قطعة من بيانات التوظيف في شيامن | معالجة دون اتصال | تنظيف الباندا + تحليل الخلية + التصور (تدرج اللون + pycharts) + توقع sklearn | رمز استخراج قرص شبكة بايدو: 9wx0 |
تحليل 7000 بيانات الإيجار | معالجة دون اتصال | تنظيف الباندا + تحليل sqlite + تصور matplotlib | رمز استخراج قرص شبكة بايدو: 9en3 |
تحليل بيانات 6000 شركة مفلسة | معالجة دون اتصال | تنظيف الباندا + تحليل الباندا + التصور (دفتر Jupyter + Pyecharts) | رمز استخراج قرص شبكة بايدو: xvgm |
تحليل البيانات الوبائية لكوفيد-19 | معالجة دون اتصال | تنظيف الباندا + تحليل الباندا + التصور (دفتر Jupyter + Pyecharts) | كود استخراج قرص الشبكة الخاص بـCOVID-19 أو Baidu: wgmg |
تحليل 70.000 بيانات طلب Tmall | معالجة دون اتصال | تنظيف الباندا + تحليل الباندا + التصور (دفتر Jupyter + Pyecharts) | رمز استخراج قرص شبكة بايدو: 27nr |
- https://tianchi.aliyun.com/dataset/
- https://opendata.sz.gov.cn/data/api/toApiDetails/29200_00403601
- https://www.kesci.com/home/dataset
- https://github.com/CSSEGISandData/COVID-19