Xiaoxiang ユーザー行動分析プラットフォーム v1.0

Xiaoxiang ユーザー行動分析プラットフォーム

導入

ビッグデータ技術は急速にビジネスに応用され、データ分析によってユーザーの行動を特定し、ユーザー中心の低コストでの急速な成長を確立することが、企業が持つべき核となる競争力です。 コストの大幅な増加に伴い、企業は、特にマーケティング、製品製造、販売、将来の顧客サービスにおいて、これまでの広範なマーケティングおよび運用方法を、より科学的かつ効率的に変更する必要があります。

Xiaoxiang 電子商取引システムの立ち上げ後は、ユーザーの行動データを収集し、リアルタイムのビッグデータ分析を通じて電子商取引ビジネスのデジタル運営を実現する必要があります。この強い需要に基づいて、Xiaoxiang ユーザー動作分析は Shence オープンソース埋め込みポイント SDK と互換性があり、Nginx+Flume+kafka を使用してログ収集を実装し、Flink を使用して HDFS に書き込みます。 。

このオープンソース プロジェクトの内容には、nginx 環境の構成、Flume の復号化とログ形式の処理、kafka のトピックに基づいたプレーン テキスト データの保存、および Flink 使用後に埋め込まれたデータを HDFS に保存する重要な 4 つのステップが含まれます。初期の埋め込みポイントの検証と最適化を容易にするために、kafka リンクでは、埋め込みポイントの分析データが MySQL に JSON 形式で保存されます。今後は、Umeng やその他の SDK ベンダーによる追跡処理や、業務システムのログの収集・保管機能を追加する予定です。

プロジェクトの主な内容

1.ログ収集(Flume+kafka)

2. ログストレージ (Flink+HDFS)

ワークフロー

建築設計のアイデア

ビジネスデザインのアイデア

技術的なアーキテクチャ

SDKが収集する行動データのソース端末には、iOS、Android、Web、H5、WeChatアプレットなどが含まれます。さまざまな端末 SDK は、プラットフォームと主流言語に対応する SDK を使用します。埋め込みポイントによって収集されたデータは、JSON データを通じて HTTP POST モードでサーバー API に送信されます。 サーバー側 API は、Nginx を使用して API 経由で送信されたデータを受信し、ログ ファイルに書き込むデータ アクセス システムで構成されます。 Nginx を使用して、高い信頼性と拡張性を実現します。 Nginx によってファイルに出力されたログは、Flume の Source モジュールがリアルタイムで Nginx ログを読み取り、Channel モジュールがデータ処理を実行し、最終的に処理結果を Sink モジュールを通じて Kafka にパブリッシュします。

完全なソフトウェア アーキテクチャ

サードパーティの埋め込みポイント SDK 統合手順

1. SDK の導入: 端末アプリケーション設定ファイルに SDK の依存関係を追加します。具体的な操作手順は、以降の SDK 技術ドキュメントに反映されます。

2. レポート サーバー API アドレスの構成: SDK レポート API のサーバー アドレスを設定するために使用されます。

3. フル カバレッジをオンにする: SDK は、アプリの起動、終了、ページの閲覧、クリックの制御など、一部のユーザーの行動を自動的に収集できます。 SDK を初期化するときに、SDK が提供する初期化メソッドを通じて完全な埋め込みポイントを構成して有効にすることができます。

APIアクセスサービス設計

さまざまなチャネルからの非表示データが HTTP API を通じてサーバー API に送信され、データ アクセスが実現されます。 WEBコンテナとしてNginxを使用し、クライアントSDKから送信されたデータを受信し、ログファイルに書き込みます。 Nginx を使用する主な理由は、その高い同時実行性、高い信頼性、および高いスケーラビリティを考慮することです。

ユーザー行動収集シナリオ

アプリケーションのシナリオを整理することで、シナリオを使用して計画を立て、隠れたポイントを検出することができます。シーンの並べ替えは、次の 3 つのレベルに抽象化できます。

1. 共通基本シナリオ：共通操作を一律に考慮

2. 重要な運用シナリオ: 重要な運用の全体的な帰属

3. ビジネスのメインプロセスシナリオ: ビジネスラインを含む完全なプロセスを定義する

応用効果

著作権に関する声明

Little Elephant のデータ動作分析では、Apache2.0 オープンソース契約を使用しています。個人および企業は、直接使用する場合、または二次開発後の商用使用を行う場合、以下に準拠する必要があります。

1. xiaoxianganalysis LICENSE ファイルが含まれています (xiaoxianganalysis の特許および知的財産権を無料で使用できる権限のあるユーザー)

2. コードを変更した場合は、変更後のファイルに記載する必要があります。

3. ソースコードを変更または派生したコードには、元のコードに含まれていた契約および商標が含まれている必要があります。

4. 二次開発後の商用リリース製品に複数のオープンソース ソフトウェアが使用されている場合は、通知ファイルを含める必要があり、通知ファイルには xiaoxianganalysis LICENSE が含まれている必要があります。通知に独自のライセンスを追加することはできますが、xiaoxianganaracy ライセンスへの変更として表示することはできません。

例えば：

`

Apache-2.0ライセンス

`