inverted_index

Daftar isi

1. Tentang Proyek

   • Model Sistem

   • Dibangun Dengan

2. Memulai

   • Prasyarat

   • Instalasi

3. Penggunaan

4. Peta jalan

5. Lisensi

6. Ucapan Terima Kasih

Tentang Proyek

Mencari frasa yang diucapkan orang-orang di sekitar mungkin sulit. Bagaimana dengan pembaruan dinamis kumpulan data ini? Penyimpanan terukur dan latensi rendah? Tujuan utama saya dari proyek ini adalah untuk membangun sistem yang memenuhi persyaratan ini dan memungkinkan untuk mengikuti perkembangan tren yang ada di tweet secara real-time.

Mengikuti gagasan indeks terbalik, saya menerapkan aplikasi yang secara real-time menemukan tweet dengan konten tertentu, menyimpannya dalam sistem file lokal dan memungkinkan untuk melakukan pencarian berbasis kata segera setelah menginisialisasi koneksi klien.

Model Sistem

Dibangun Dengan

• Jawa 8
• ular piton 3.7
• Kafka 2.10
• Kelas 6.7

Memulai

Prasyarat

Untuk menjalankan aplikasi yang Anda perlukan:

• Panduan instalasi penulisan Docker

Instalasi

1. Kloning reponya

   git clone https://github.com/cyberpunk317/inverted_index.git

2. Dengan mengikuti panduan ini, dapatkan kredensial API Twitter dan atur di kafka/kafka_producer.py

    TWITTER_APP_KEY = 'YOUR APP KEY'
    TWITTER_APP_SECRET = 'YOUR APP SECRET'
    TWITTER_KEY = 'YOUR KEY'
    TWITTER_SECRET = 'YOUR SECRET' 

Penggunaan

Buat Dockerfiles untuk klien dan server:

 ./gradlew clean build createClientDockerfile createMainDockerfile

Ini akan menghasilkan app_server.Dockerfile dan app_client.Dockerfile di direktori root.

Mulai aplikasi:

 docker-compose up

Luncurkan sesi klien:

 docker build -f app_client.Dockerfile -t client:latest . && docker run -it --rm --network=host client:latest bash

Mulailah mengetikkan kata-kata yang menarik. Server akan mengembalikan lokasi tweet dalam format 'dataset_v2//tweet_N.txt'. Misalnya:

 You entered: war
Server response: [dataset_v2/Veeresh Dambal/tweet_30.txt, dataset_v2/pedro schliesser/tweet_1.txt]

Peta jalan

Lihat masalah yang masih terbuka untuk mengetahui daftar fitur yang diusulkan (dan masalah umum).

Lisensi

Didistribusikan di bawah Lisensi MIT. Lihat LICENSE untuk informasi lebih lanjut.

Ucapan Terima Kasih

• Penyiapan kluster Kafka
• Mengemas aplikasi Java dalam container (menggunakan Gradle)
• Panduan Java CI/CD
• JUnit 5 dengan Gradle
• Panduan pemformatan README
• Panduan Java CI/CD
• JUnit 5 dengan Gradle