Platform analisis perilaku pengguna Xiaoxiang v1.0

Platform Analisis Perilaku Pengguna Xiaoxiang

memperkenalkan

Teknologi big data telah diterapkan dengan cepat pada bisnis dan menghasilkan nilai. Mengidentifikasi perilaku pengguna melalui analisis data dan membangun pertumbuhan cepat berbiaya rendah yang berpusat pada pengguna merupakan daya saing inti yang harus dimiliki suatu perusahaan. Dengan peningkatan biaya yang besar, perusahaan harus mengubah metode pemasaran dan operasi ekstensif mereka di masa lalu, terutama dalam pemasaran, pembuatan produk, penjualan, dan layanan pelanggan di masa depan, menjadi lebih ilmiah dan efisien.

Setelah sistem e-commerce Xiaoxiang diluncurkan, sistem tersebut perlu mengumpulkan data perilaku pengguna dan mewujudkan operasi digital bisnis e-commerce melalui analisis data besar secara real-time. Berdasarkan permintaan yang kuat ini, analisis perilaku pengguna Xiaoxiang dikembangkan. Analisis ini kompatibel dengan SDK titik terkubur sumber terbuka Shence untuk menyelesaikan pelaporan perilaku terminal. Nginx+Flume+kafka digunakan untuk mengimplementasikan pengumpulan log, dan Flink digunakan untuk menulis ke HDFS .

Isi dari proyek sumber terbuka ini mencakup konfigurasi lingkungan nginx, dekripsi Flume dan pemrosesan format log, penyimpanan data teks biasa dengan topik kafka, dan empat langkah utama penyimpanan data yang terkubur di HDFS setelah konsumsi Flink. Untuk memudahkan verifikasi dan optimalisasi titik-titik awal yang terkubur, pada link kafka, data analisis titik terkubur disimpan dalam format JSON di MySQL. Rencana tindak lanjutnya adalah menambahkan pemrosesan pelacakan oleh Umeng dan vendor SDK lainnya, serta pengumpulan dan penyimpanan log sistem bisnis.

Konten utama proyek

1. Pengumpulan kayu gelondongan (Flume+kafka)

2. Penyimpanan log (Flink+HDFS)

Alur kerja

Ide desain arsitektur

Ide desain bisnis

Arsitektur teknis

Terminal sumber data perilaku yang dikumpulkan oleh SDK termasuk iOS, Android, Web, H5, applet WeChat, dll. SDK terminal yang berbeda menggunakan SDK yang sesuai dengan platform dan bahasa umum. Data yang dikumpulkan oleh titik terkubur dikirimkan ke API server dalam mode HTTP POST melalui data JSON. API sisi server terdiri dari sistem akses data, yang menggunakan Nginx untuk menerima data yang dikirim melalui API dan menulisnya ke file log. Gunakan Nginx untuk mencapai keandalan dan skalabilitas tinggi. Untuk log yang dicetak oleh Nginx ke file, modul Sumber Flume membaca log Nginx secara real-time, dan modul Channel melakukan pemrosesan data, dan terakhir mempublikasikan hasil pemrosesan ke Kafka melalui modul Sink.

Arsitektur perangkat lunak yang lengkap

Langkah-langkah integrasi SDK titik terkubur pihak ketiga

1. Pengenalan SDK: Tambahkan dependensi SDK dalam file konfigurasi aplikasi terminal. Metode pengenalan terminal yang berbeda akan berbeda. Langkah-langkah operasi spesifik akan tercermin dalam dokumen teknis SDK berikutnya.

2. Konfigurasikan alamat API server pelaporan: Digunakan untuk mengatur alamat server API pelaporan SDK.

3. Aktifkan cakupan penuh: SDK dapat secara otomatis mengumpulkan beberapa perilaku pengguna, seperti memulai aplikasi, keluar, penelusuran halaman, dan mengontrol klik. Saat menginisialisasi SDK, Anda dapat mengonfigurasi dan mengaktifkan titik penguburan penuh melalui metode inisialisasi yang disediakan oleh SDK.

Desain layanan akses API

Data tersembunyi dari saluran berbeda dikirim ke API server melalui API HTTP untuk mencapai akses data. Gunakan Nginx sebagai wadah WEB untuk menerima data yang dikirim oleh SDK klien dan menuliskannya ke file log. Alasan utama menggunakan Nginx adalah untuk mempertimbangkan konkurensinya yang tinggi, keandalan yang tinggi, dan skalabilitas yang tinggi.

Skenario pengumpulan perilaku pengguna

Dengan memilah skenario aplikasi, kita dapat menggunakan skenario untuk merencanakan dan mendeteksi titik-titik tersembunyi. Penyortiran adegan dapat diabstraksi menjadi tiga tingkatan:

1. Skenario dasar umum: operasi umum dianggap seragam

2. Skenario operasi penting: Atribusi keseluruhan dari operasi penting

3. Skenario proses utama bisnis: Tentukan proses lengkap dengan lini bisnis

Efek aplikasi

Pernyataan hak cipta

Analisis perilaku data Little Elephant menggunakan perjanjian sumber terbuka Apache2.0. Individu dan perusahaan harus mematuhi hal-hal berikut untuk penggunaan langsung atau penggunaan komersial setelah pengembangan sekunder:

1. Berisi file LISENSI analisis xiaoxiang (pengguna yang berwenang untuk menggunakan paten xiaoxianganalisis dan hak kekayaan intelektual secara gratis)

2. Jika kode diubah, perlu dicantumkan dalam file yang dimodifikasi.

3. Pada kode yang dimodifikasi atau diturunkan dari kode sumber, harus dicantumkan perjanjian dan merek dagang pada kode aslinya

4. Jika beberapa perangkat lunak sumber terbuka digunakan dalam produk yang dirilis secara komersial setelah pengembangan sekunder, file Pemberitahuan harus disertakan, dan file Pemberitahuan harus berisi LISENSI analisis xiaoxiang. Anda dapat menambahkan lisensi Anda sendiri di Pemberitahuan, tetapi lisensi tersebut tidak dapat ditampilkan sebagai perubahan pada LISENSI analisis xiaoxiang.

Misalnya:

`

Lisensi Apache-2.0

`