Xiaoxiang 사용자 행동 분석 플랫폼 v1.0

Xiaoxiang 사용자 행동 분석 플랫폼

소개하다

빅데이터 기술이 비즈니스에 빠르게 적용되어 가치를 창출하고 있습니다. 데이터 분석을 통해 사용자 행동을 파악하고 사용자 중심의 저비용 고속성장을 구축하는 것은 기업이 갖춰야 할 핵심 경쟁력입니다. 비용이 크게 증가함에 따라 기업은 과거의 광범위한 마케팅 및 운영 방식, 특히 마케팅, 제품 제조, 판매 및 향후 고객 서비스 분야를 더욱 과학적이고 효율적으로 바꿔야 합니다.

Xiaoxiang 전자상거래 시스템이 출시된 후에는 사용자 행동 데이터를 수집하고 실시간 빅데이터 분석을 통해 전자상거래 비즈니스의 디지털 운영을 실현해야 합니다. 이러한 강력한 수요를 바탕으로 Xiaoxiang 사용자 행동 분석은 Shence 오픈 소스 매장 SDK와 호환되어 Nginx+Flume+kafka를 사용하여 로그 수집을 구현하고 Flink를 사용하여 HDFS에 기록합니다. .

이번 오픈소스 프로젝트의 내용에는 nginx 환경 구성, Flume 복호화 및 로그 형식 처리, kafka 주제로 일반 텍스트 데이터 저장, Flink 소비 후 HDFS에 묻힌 데이터를 저장하는 핵심 4단계가 포함됩니다. 초기 매몰점 검증 및 최적화를 용이하게 하기 위해 카프카 링크에서는 매몰점 분석 데이터를 JSON 형식으로 MySQL에 저장한다. 후속 계획은 Umeng 및 기타 SDK 벤더에 의한 추적 처리와 비즈니스 시스템 로그 수집 및 저장 기능을 추가하는 것입니다.

프로젝트의 주요 내용

1. 로그 수집(Flume+kafka)

2. 로그 저장(Flink+HDFS)

작업흐름

건축 디자인 아이디어

비즈니스 디자인 아이디어

기술 아키텍처

SDK가 수집하는 행동 데이터의 소스 단말로는 iOS, Android, Web, H5, WeChat applet 등이 있습니다. 다양한 터미널 SDK는 플랫폼 및 주류 언어에 해당하는 SDK를 사용합니다. 매장지에서 수집한 데이터는 JSON 데이터를 통해 HTTP POST 모드로 서버 API에 제출됩니다. 서버 측 API는 Nginx를 사용하여 API를 통해 전송된 데이터를 수신하고 이를 로그 파일에 기록하는 데이터 액세스 시스템으로 구성됩니다. Nginx를 사용하여 높은 안정성과 확장성을 달성하세요. Nginx에서 파일로 출력한 로그에 대해 Flume의 Source 모듈은 Nginx 로그를 실시간으로 읽고, Channel 모듈은 데이터 처리를 수행한 후 최종적으로 Sink 모듈을 통해 처리 결과를 Kafka에 게시합니다.

완전한 소프트웨어 아키텍처

타사 매장지점 SDK 통합 단계

1. SDK 소개: 터미널 애플리케이션 구성 파일에 SDK 종속성을 추가합니다. 다양한 터미널의 도입 방법은 후속 SDK 기술 문서에 반영됩니다.

2. 보고 서버 API 주소 구성: SDK 보고 API의 서버 주소를 설정하는 데 사용됩니다.

3. 전체 적용 범위 켜기: SDK는 앱 시작, 종료, 페이지 탐색 및 클릭 제어와 같은 일부 사용자 행동을 자동으로 수집할 수 있습니다. SDK를 초기화할 때 SDK에서 제공하는 초기화 방법을 통해 전체 매장지점을 구성하고 활성화할 수 있습니다.

API 액세스 서비스 설계

다양한 채널의 숨겨진 데이터는 데이터 액세스를 달성하기 위해 HTTP API를 통해 서버 API로 전송됩니다. Nginx를 WEB 컨테이너로 사용하여 클라이언트 SDK에서 보낸 데이터를 수신하고 이를 로그 파일에 기록합니다. Nginx를 사용하는 주된 이유는 높은 동시성, 높은 신뢰성, 높은 확장성을 고려하기 위해서입니다.

사용자 행동 수집 시나리오

응용 시나리오를 정리함으로써 시나리오를 활용하여 숨겨진 포인트를 계획하고 탐지할 수 있습니다. 장면 정렬은 세 가지 수준으로 추상화될 수 있습니다.

1. 공통 기본 시나리오: 공통 작업이 균일하게 고려됩니다.

2. 중요 작업 시나리오: 중요 작업의 전반적인 귀속

3. 비즈니스 주요 프로세스 시나리오: 비즈니스 라인으로 전체 프로세스를 정의합니다.

적용 효과

저작권 진술

Little Elephant 데이터 행동 분석은 Apache2.0 오픈 소스 계약을 사용합니다. 개인과 기업은 2차 개발 후 직접 사용 또는 상업적 사용을 위해 다음 사항을 준수해야 합니다.

1. xiaoxianganalytic LICENSE 파일이 포함되어 있습니다(인증된 사용자는 xiaoxianganalytic 특허 및 지적 재산권을 무료로 사용할 수 있습니다)

2. 코드가 수정된 경우 수정된 파일에 명시해 주어야 합니다.

3. 소스코드를 수정하거나 파생한 코드에는 원본 코드의 동의사항 및 상표가 포함되어야 합니다.

4. 2차 ​​개발 후 상용 출시된 제품에 다수의 오픈소스 소프트웨어를 사용하는 경우 공지사항 파일을 반드시 포함해야 하며, 공지사항 파일에는 xiaoxianganalytic LICENSE가 포함되어 있어야 합니다. 통지에 자신의 라이선스를 추가할 수 있지만 xiaoxianganalytic LICENSE에 대한 변경 사항으로 표시될 수는 없습니다.

예를 들어:

`

Apache-2.0 라이센스

`