منصة تحليل سلوك المستخدم Xiaoxiang v1.0

منصة تحليل سلوك المستخدم Xiaoxiang

يقدم

لقد تم تطبيق تكنولوجيا البيانات الضخمة بسرعة على الأعمال التجارية وولدت قيمة. إن تحديد سلوك المستخدم من خلال تحليل البيانات وإنشاء نمو سريع منخفض التكلفة يتمحور حول المستخدم هو القدرة التنافسية الأساسية التي يجب أن تتمتع بها المؤسسة. ومع الزيادة الكبيرة في التكاليف، يجب على الشركات تغيير أساليب التسويق والتشغيل الواسعة السابقة، وخاصة في التسويق وتصنيع المنتجات والمبيعات وخدمة العملاء في المستقبل، لتصبح أكثر علمية وكفاءة.

بعد إطلاق نظام التجارة الإلكترونية Xiaoxiang، يحتاج إلى جمع بيانات سلوك المستخدم وتحقيق التشغيل الرقمي لأعمال التجارة الإلكترونية من خلال تحليل البيانات الضخمة في الوقت الفعلي. بناءً على هذا الطلب القوي، تم تطوير تحليل سلوك المستخدم Xiaoxiang وهو متوافق مع SDK للنقطة المفتوحة المصدر من Shence لإكمال تقارير السلوك الطرفي، ويستخدم Nginx+Flume+kafka لتنفيذ مجموعة السجلات، ويستخدم Flink للكتابة إلى HDFS .

تتضمن محتويات هذا المشروع مفتوح المصدر تكوين بيئة nginx، وفك تشفير Flume ومعالجة تنسيق السجل، وتخزين بيانات النص العادي تحت موضوع kafka، والخطوات الأربع الرئيسية لتخزين البيانات المدفونة في HDFS بعد استهلاك Flink. من أجل تسهيل التحقق من النقاط المدفونة المبكرة وتحسينها، يتم تخزين بيانات تحليل النقاط المدفونة في رابط كافكا بتنسيق JSON في MySQL. تتمثل خطة المتابعة في إضافة معالجة التتبع بواسطة Umeng وبائعي SDK الآخرين، بالإضافة إلى جمع وتخزين سجلات نظام الأعمال.

المحتوى الرئيسي للمشروع

1. جمع السجل (فلوم + كافكا)

2. تخزين السجل (Flink+HDFS)

سير العمل

أفكار التصميم المعماري

أفكار تصميم الأعمال

العمارة التقنية

تشتمل المحطات المصدرية للبيانات السلوكية التي تم جمعها بواسطة SDK على iOS وAndroid وWeb وH5 وWeChat الصغير وما إلى ذلك. تستخدم حزم SDK الطرفية المختلفة حزم SDK المتوافقة مع النظام الأساسي واللغات السائدة، ويتم إرسال البيانات المجمعة بواسطة النقاط المدفونة إلى واجهة برمجة تطبيقات الخادم في وضع HTTP POST من خلال بيانات JSON. تتكون واجهة برمجة التطبيقات من جانب الخادم من نظام وصول إلى البيانات، والذي يستخدم Nginx لتلقي البيانات المرسلة عبر واجهة برمجة التطبيقات وكتابتها في ملف السجل. استخدم Nginx لتحقيق موثوقية عالية وقابلية للتوسع. بالنسبة للسجلات المطبوعة بواسطة Nginx إلى الملفات، تقرأ وحدة مصدر Flume سجلات Nginx في الوقت الفعلي، وتقوم وحدة القناة بمعالجة البيانات، وتنشر نتائج المعالجة أخيرًا إلى Kafka من خلال وحدة Sink.

بنية برمجية كاملة

خطوات تكامل SDK للنقطة المدفونة لجهة خارجية

1. مقدمة SDK: أضف تبعيات SDK في ملف تكوين التطبيق الطرفي، وستكون طرق تقديم المحطات الطرفية المختلفة مختلفة، وستنعكس خطوات التشغيل المحددة في المستندات الفنية لـ SDK.

2. تكوين عنوان واجهة برمجة تطبيقات خادم التقارير: يُستخدم لتعيين عنوان الخادم الخاص بواجهة برمجة تطبيقات تقارير SDK.

3. تشغيل التغطية الكاملة: يمكن لـ SDK جمع بعض سلوكيات المستخدم تلقائيًا، مثل بدء تشغيل التطبيق، والخروج، وتصفح الصفحة، والتحكم في النقرات. عند تهيئة SDK، يمكنك تكوين نقاط الدفن الكاملة وتمكينها من خلال طريقة التهيئة التي توفرها SDK.

تصميم خدمة الوصول إلى API

يتم إرسال البيانات المخفية من القنوات المختلفة إلى واجهة برمجة تطبيقات الخادم من خلال HTTP API لتحقيق الوصول إلى البيانات. استخدم Nginx كحاوية WEB لتلقي البيانات التي يرسلها العميل SDK وكتابتها في ملف السجل. السبب الرئيسي لاستخدام Nginx هو مراعاة التزامن العالي والموثوقية العالية وقابلية التوسع العالية.

سيناريوهات جمع سلوك المستخدم

من خلال فرز سيناريوهات التطبيق، يمكننا استخدام السيناريوهات لتخطيط النقاط المخفية واكتشافها. يمكن تلخيص فرز المشهد إلى ثلاثة مستويات:

1. السيناريوهات الأساسية المشتركة: يتم النظر في العمليات المشتركة بشكل موحد

2. سيناريوهات التشغيل المهمة: الإسناد العام للعمليات المهمة

3. سيناريو العملية الرئيسية للأعمال: حدد العملية الكاملة مع خطوط الأعمال

تأثير التطبيق

بيان حقوق التأليف والنشر

يستخدم تحليل سلوك بيانات Little Elephant اتفاقية Apache2.0 مفتوحة المصدر، ويجب على الأفراد والمؤسسات الالتزام بما يلي للاستخدام المباشر أو الاستخدام التجاري بعد التطوير الثانوي:

1. يحتوي على ملف ترخيص تحليل شياو شيانغانا (المستخدمون المصرح لهم باستخدام براءات اختراع تحليل شياو شيانغانا وحقوق الملكية الفكرية مجانًا)

2. إذا تم تعديل الكود، فيجب ذكره في الملف المعدل.

3. في الكود المعدل أو المشتق من الكود المصدري يجب تضمين الاتفاقية والعلامة التجارية في الكود الأصلي

4. إذا تم استخدام العديد من البرامج مفتوحة المصدر في المنتج الذي تم إصداره تجاريًا بعد التطوير الثانوي، فيجب تضمين ملف إشعار، ويجب أن يحتوي ملف الإشعار على ترخيص تحليل شياو شيانغاناليز. يمكنك إضافة الترخيص الخاص بك في الإشعار، ولكن لا يمكن إظهاره كتغيير في ترخيص تحليل شياو شيانغانا.

على سبيل المثال:

`

ترخيص أباتشي-2.0

`