Xiaoxiang-Plattform zur Analyse des Benutzerverhaltens v1.0

Xiaoxiang-Plattform zur Analyse des Benutzerverhaltens

einführen

Die Big-Data-Technologie wurde schnell auf Unternehmen angewendet und generierte Werte. Die Identifizierung des Benutzerverhaltens durch Datenanalyse und die Etablierung eines benutzerzentrierten, kostengünstigen, schnellen Wachstums sind die zentrale Wettbewerbsfähigkeit, die ein Unternehmen haben muss. Angesichts des erheblichen Kostenanstiegs müssen Unternehmen ihre bisherigen umfangreichen Marketing- und Betriebsmethoden ändern, insbesondere in den Bereichen Marketing, Produktherstellung, Vertrieb und zukünftiger Kundenservice, um wissenschaftlicher und effizienter zu werden.

Nachdem das E-Commerce-System von Xiaoxiang eingeführt wurde, muss es Daten zum Benutzerverhalten sammeln und den digitalen Betrieb des E-Commerce-Geschäfts durch Echtzeit-Big-Data-Analyse realisieren. Basierend auf dieser starken Nachfrage wurde die Benutzerverhaltensanalyse von Xiaoxiang entwickelt. Sie ist mit dem Open-Source-SDK für vergrabene Punkte kompatibel, um die Protokollerfassung über Nginx + Flume + Kafka zu implementieren, und zum Schreiben in HDFS .

Zu den Inhalten dieses Open-Source-Projekts gehören die Konfiguration der Nginx-Umgebung, die Flume-Entschlüsselung und die Protokollformatverarbeitung, das Speichern von Klartextdaten unter dem Thema Kafka sowie die wichtigsten vier Schritte zum Speichern vergrabener Daten in HDFS nach dem Flink-Verbrauch. Um die Überprüfung und Optimierung früher vergrabener Punkte zu erleichtern, werden im Kafka-Link die Analysedaten vergrabener Punkte im JSON-Format in MySQL gespeichert. Der Folgeplan sieht vor, die Tracking-Verarbeitung durch Umeng und andere SDK-Anbieter sowie die Erfassung und Speicherung von Geschäftssystemprotokollen hinzuzufügen.

Hauptinhalt des Projekts

1. Protokollsammlung (Flume + Kafka)

2. Protokollspeicher (Flink+HDFS)

Arbeitsablauf

Ideen für die Architekturgestaltung

Geschäftsdesign-Ideen

Technische Architektur

Zu den Quellterminals der vom SDK gesammelten Verhaltensdaten gehören iOS, Android, Web, H5, WeChat-Applet usw. Verschiedene Terminal-SDKs verwenden SDKs, die der Plattform und den gängigen Sprachen entsprechen. Die von vergrabenen Punkten gesammelten Daten werden im HTTP-POST-Modus über JSON-Daten an die Server-API übermittelt. Die serverseitige API besteht aus einem Datenzugriffssystem, das Nginx verwendet, um über die API gesendete Daten zu empfangen und in die Protokolldatei zu schreiben. Verwenden Sie Nginx, um eine hohe Zuverlässigkeit und Skalierbarkeit zu erreichen. Für von Nginx in Dateien gedruckte Protokolle liest das Quellmodul von Flume Nginx-Protokolle in Echtzeit, und das Kanalmodul führt die Datenverarbeitung durch und veröffentlicht die Verarbeitungsergebnisse schließlich über das Sink-Modul an Kafka.

Komplette Softwarearchitektur

Integrationsschritte für das SDK für vergrabene Punkte von Drittanbietern

1. Einführung des SDK: Fügen Sie SDK-Abhängigkeiten in der Konfigurationsdatei der Terminalanwendung hinzu. Die Einführungsmethoden verschiedener Terminals werden unterschiedlich sein. Die spezifischen Betriebsschritte werden in den nachfolgenden technischen Dokumenten des SDK widergespiegelt.

2. Konfigurieren Sie die API-Adresse des Berichtsservers: Wird zum Festlegen der Serveradresse der SDK-Berichts-API verwendet.

3. Vollständige Abdeckung aktivieren: Das SDK kann einige Benutzerverhaltensweisen automatisch erfassen, z. B. das Starten und Beenden von Apps, das Durchsuchen von Seiten und Kontrollklicks. Bei der Initialisierung des SDK können Sie vollständige Vergrabungspunkte über die vom SDK bereitgestellte Initialisierungsmethode konfigurieren und aktivieren.

Design des API-Zugriffsdienstes

Die verborgenen Daten aus verschiedenen Kanälen werden über die HTTP-API an die Server-API gesendet, um den Datenzugriff zu ermöglichen. Verwenden Sie Nginx als WEB-Container, um die vom Client-SDK gesendeten Daten zu empfangen und in die Protokolldatei zu schreiben. Der Hauptgrund für die Verwendung von Nginx ist die hohe Parallelität, hohe Zuverlässigkeit und hohe Skalierbarkeit.

Szenarien zur Erfassung des Benutzerverhaltens

Durch das Sortieren von Anwendungsszenarien können wir Szenarien verwenden, um versteckte Punkte zu planen und zu erkennen. Die Szenensortierung kann in drei Ebenen abstrahiert werden:

1. Gemeinsame Grundszenarien: Gemeinsame Vorgänge werden einheitlich betrachtet

2. Wichtige Operationsszenarien: Gesamtzuordnung wichtiger Operationen

3. Geschäftshauptprozessszenario: Definieren Sie den gesamten Prozess mit Geschäftsbereichen

Anwendungseffekt

Copyright-Erklärung

Die Datenverhaltensanalyse von Little Elephant nutzt die Open-Source-Vereinbarung Apache2.0. Einzelpersonen und Unternehmen müssen für die direkte Nutzung oder kommerzielle Nutzung nach der Sekundärentwicklung Folgendes einhalten:

1. Enthält die Xiaoxianganalysis-LIZENZdatei (autorisierte Benutzer zur kostenlosen Nutzung von Xiaoxianganalysis-Patenten und geistigen Eigentumsrechten).

2. Wenn der Code geändert wird, muss dies in der geänderten Datei angegeben werden.

3. In dem Code, der vom Quellcode geändert oder abgeleitet wird, müssen die Vereinbarung und das Warenzeichen im Originalcode enthalten sein

4. Wenn im kommerziell veröffentlichten Produkt nach der Sekundärentwicklung mehrere Open-Source-Software verwendet wird, muss eine Hinweisdatei enthalten sein, und die Hinweisdatei muss eine Xiaoxianganalysis-LIZENZ enthalten. Sie können im Hinweis Ihre eigene Lizenz hinzufügen, diese kann jedoch nicht als Änderung der xiaoxianganalysis-LIZENZ angezeigt werden.

Zum Beispiel:

`

Apache-2.0-Lizenz

`