แพลตฟอร์มการวิเคราะห์พฤติกรรมผู้ใช้ Xiaoxiang เวอร์ชัน 1.0

แพลตฟอร์มวิเคราะห์พฤติกรรมผู้ใช้ Xiaoxiang

แนะนำ

เทคโนโลยีบิ๊กดาต้าถูกนำไปใช้กับธุรกิจอย่างรวดเร็วและสร้างมูลค่า การระบุพฤติกรรมของผู้ใช้ผ่านการวิเคราะห์ข้อมูลและการสร้างการเติบโตอย่างรวดเร็วโดยคำนึงถึงผู้ใช้เป็นศูนย์กลางถือเป็นความสามารถในการแข่งขันหลักที่องค์กรต้องมี ด้วยต้นทุนที่เพิ่มขึ้นอย่างมาก บริษัทต่างๆ จะต้องเปลี่ยนวิธีทางการตลาดและการดำเนินงานที่กว้างขวางในอดีต โดยเฉพาะอย่างยิ่งในด้านการตลาด การผลิตผลิตภัณฑ์ การขาย และการบริการลูกค้าในอนาคต เพื่อให้เป็นวิทยาศาสตร์และมีประสิทธิภาพมากขึ้น

หลังจากเปิดตัวระบบอีคอมเมิร์ซ Xiaoxiang ก็จำเป็นต้องรวบรวมข้อมูลพฤติกรรมผู้ใช้และตระหนักถึงการดำเนินงานดิจิทัลของธุรกิจอีคอมเมิร์ซผ่านการวิเคราะห์บิ๊กดาต้าแบบเรียลไทม์ ตามความต้องการอันแข็งแกร่งนี้ การวิเคราะห์พฤติกรรมผู้ใช้ของ Xiaoxiang จึงได้รับการพัฒนา โดยสามารถทำงานร่วมกับ SDK แบบโอเพ่นซอร์สของ Shence เพื่อทำการรายงานพฤติกรรมของเทอร์มินัลให้เสร็จสมบูรณ์ได้ .

เนื้อหาของโปรเจ็กต์โอเพ่นซอร์สนี้ประกอบด้วยการกำหนดค่าสภาพแวดล้อม nginx การถอดรหัส Flume และการประมวลผลรูปแบบบันทึก การจัดเก็บข้อมูลข้อความธรรมดาภายใต้หัวข้อ kafka และสี่ขั้นตอนสำคัญในการจัดเก็บข้อมูลที่ฝังอยู่ใน HDFS หลังจากการใช้ Flink เพื่ออำนวยความสะดวกในการตรวจสอบและเพิ่มประสิทธิภาพของจุดที่ฝังไว้ในช่วงแรก ในลิงก์ kafka ข้อมูลการวิเคราะห์จุดที่ฝังไว้จะถูกจัดเก็บในรูปแบบ JSON ใน MySQL แผนติดตามผลคือการเพิ่มการประมวลผลการติดตามโดย Umeng และผู้จำหน่าย SDK อื่นๆ รวมถึงการรวบรวมและการจัดเก็บบันทึกระบบธุรกิจ

เนื้อหาหลักของโครงการ

1. การรวบรวมบันทึก (Flume+kafka)

2. พื้นที่เก็บข้อมูลบันทึก (Flink+HDFS)

ขั้นตอนการทำงาน

แนวคิดการออกแบบสถาปัตยกรรม

แนวคิดการออกแบบธุรกิจ

สถาปัตยกรรมทางเทคนิค

เทอร์มินัลต้นทางของข้อมูลพฤติกรรมที่รวบรวมโดย SDK ได้แก่ iOS, Android, เว็บ, H5, แอปเพล็ต WeChat เป็นต้น SDK เทอร์มินัลต่างๆ ใช้ SDK ที่สอดคล้องกับแพลตฟอร์มและภาษากระแสหลัก ข้อมูลที่รวบรวมโดยจุดที่ฝังไว้จะถูกส่งไปยัง API ของเซิร์ฟเวอร์ในโหมด HTTP POST ผ่านข้อมูล JSON API ฝั่งเซิร์ฟเวอร์ประกอบด้วยระบบการเข้าถึงข้อมูล ซึ่งใช้ Nginx เพื่อรับข้อมูลที่ส่งผ่าน API และเขียนลงในไฟล์บันทึก ใช้ Nginx เพื่อให้ได้ความน่าเชื่อถือและความสามารถในการปรับขนาดสูง สำหรับบันทึกที่พิมพ์โดย Nginx ไปยังไฟล์ โมดูล Source ของ Flume จะอ่านบันทึก Nginx แบบเรียลไทม์ และโมดูล Channel จะดำเนินการประมวลผลข้อมูล และสุดท้ายจะเผยแพร่ผลการประมวลผลไปยัง Kafka ผ่านโมดูล Sink

สถาปัตยกรรมซอฟต์แวร์ที่สมบูรณ์

ขั้นตอนการผสานรวม Point SDK ที่ฝังไว้โดยบุคคลที่สาม

1. การแนะนำ SDK: เพิ่มการพึ่งพา SDK ในไฟล์การกำหนดค่าแอปพลิเคชันเทอร์มินัล วิธีการแนะนำของเทอร์มินัลที่แตกต่างกันจะแตกต่างกัน ขั้นตอนการดำเนินการเฉพาะจะสะท้อนให้เห็นในเอกสารทางเทคนิคของ SDK ที่ตามมา

2. กำหนดค่าที่อยู่ API ของเซิร์ฟเวอร์การรายงาน: ใช้เพื่อตั้งค่าที่อยู่เซิร์ฟเวอร์ของ API การรายงาน SDK

3. เปิดการครอบคลุมเต็มรูปแบบ: SDK สามารถรวบรวมพฤติกรรมของผู้ใช้บางอย่างได้โดยอัตโนมัติ เช่น การเริ่มต้นแอป การออก การเรียกดูหน้า และการควบคุมการคลิก เมื่อเริ่มต้น SDK คุณสามารถกำหนดค่าและเปิดใช้งานจุดฝังแบบเต็มผ่านวิธีการเริ่มต้นที่ SDK มอบให้

การออกแบบบริการการเข้าถึง API

ข้อมูลที่ซ่อนอยู่จากช่องทางต่างๆ จะถูกส่งไปยัง API ของเซิร์ฟเวอร์ผ่าน HTTP API เพื่อให้สามารถเข้าถึงข้อมูลได้ ใช้ Nginx เป็นคอนเทนเนอร์เว็บเพื่อรับข้อมูลที่ส่งโดย SDK ไคลเอ็นต์และเขียนลงในไฟล์บันทึก เหตุผลหลักในการใช้ Nginx คือการคำนึงถึงการทำงานพร้อมกันสูง ความน่าเชื่อถือสูง และความสามารถในการปรับขนาดสูง

สถานการณ์การรวบรวมพฤติกรรมผู้ใช้

ด้วยการแยกแยะสถานการณ์การใช้งาน เราสามารถใช้สถานการณ์เพื่อวางแผนและตรวจจับจุดที่ซ่อนอยู่ได้ การเรียงลำดับฉากสามารถสรุปได้เป็นสามระดับ:

1. สถานการณ์พื้นฐานทั่วไป: การดำเนินงานทั่วไปถือว่าเหมือนกัน

2. สถานการณ์การดำเนินงานที่สำคัญ: การระบุแหล่งที่มาโดยรวมของการดำเนินงานที่สำคัญ

3. สถานการณ์จำลองกระบวนการหลักของธุรกิจ: กำหนดกระบวนการทั้งหมดด้วยสายธุรกิจ

ผลการสมัคร

คำชี้แจงลิขสิทธิ์

การวิเคราะห์พฤติกรรมข้อมูล Little Elephant ใช้ข้อตกลงโอเพ่นซอร์ส Apache2.0 บุคคลและองค์กรจำเป็นต้องปฏิบัติตามข้อกำหนดต่อไปนี้สำหรับการใช้งานโดยตรงหรือเชิงพาณิชย์หลังจากการพัฒนาขั้นที่สอง:

1. มีไฟล์ลิขสิทธิ์ xiaoxianganalysis (ผู้ใช้ที่ได้รับอนุญาตให้ใช้สิทธิบัตร xiaoxianganalysis และสิทธิ์ในทรัพย์สินทางปัญญาฟรี)

2. หากมีการแก้ไขโค้ด จะต้องระบุไว้ในไฟล์ที่แก้ไข

3. ในรหัสที่ถูกแก้ไขหรือได้มาจากซอร์สโค้ด จะต้องรวมข้อตกลงและเครื่องหมายการค้าในรหัสต้นฉบับด้วย

4. หากมีการใช้ซอฟต์แวร์โอเพ่นซอร์สหลายตัวในผลิตภัณฑ์ที่วางจำหน่ายในเชิงพาณิชย์หลังจากการพัฒนาขั้นที่สอง จะต้องรวมไฟล์ประกาศไว้ด้วย และไฟล์ประกาศจะต้องมีใบอนุญาต xiaoxianganalysis คุณสามารถเพิ่มใบอนุญาตของคุณเองในประกาศได้ แต่ไม่สามารถแสดงเป็นการเปลี่ยนแปลงใบอนุญาต xiaoxianganalysis ได้

ตัวอย่างเช่น:

-

ใบอนุญาต Apache-2.0

-