Tren Kata Kunci Telegram
Alat analisis untuk mengeksplorasi kemunculan ujaran kebencian, disinformasi, dan narasi menarik di platform chat Telegram. Harap gunakan alat ini dengan hati-hati karena tidak memiliki moderasi atau pemfilteran konten. Anda bertanggung jawab atas konten yang mungkin diekspor.
Singkatnya, alat ini memungkinkan Anda mencari semua saluran yang Anda ikuti dengan daftar kata kunci/frasa dan mengembalikan semua hasil pencocokan dalam berbagai format dengan visualisasi grafik. Ini juga secara opsional mengunduh media dan dengan demikian dapat digunakan sebagai mesin pencari media (saat ini ada beberapa bug pada fitur ini - jangan gunakan sebagai alat pencarian media yang lengkap).
Tangkapan layar alat yang sedang beraksi, mengeksplorasi ujaran kebencian selama invasi besar-besaran Rusia ke Ukraina
Fitur Utama
- Alat ini dirancang untuk bekerja dengan sockpuppets yang mengikuti banyak saluran yang mencakup topik tertentu.
- Anda dapat mengubah detail API untuk menggunakan akun lain dengan mengedit file api_values.txt .
- Alat ini dirancang untuk berfungsi seperti Google Trends yang menampilkan volume harian istilah-istilah penting dan peta dari waktu ke waktu.
- Pemfilteran tanggal memungkinkan Anda mempersempit pencarian ke dalam jangka waktu yang lebih singkat. Jika dibiarkan kosong, maka secara otomatis akan menskalakan ke rentang data maksimum.
- Alat ini menggunakan pencarian Telegram yang berarti sangat baik untuk pencarian bahasa Rusia dan umumnya menangani akhiran kata dengan baik.
- Menghasilkan grafik individual untuk setiap istilah kunci.
- Menghasilkan grafik gabungan yang menampilkan semua istilah kunci dalam pencarian pada grafik yang sama untuk perbandingan.
- Menyusun PDF laporan yang menampilkan grafik dan mencetak kode lengkap untuk mengaudit data dan validasi bukti.
- Menghasilkan ringkasan file TXT termasuk semua statistik utama, misalnya, tanggal tayang, saluran yang dicari, dan volume relatif per saluran.
- Pengunduhan media opsional untuk mendapatkan hasil (ini secara besar-besaran (seperti sangat besar-besaran) memperpanjang waktu yang diperlukan untuk menjalankan alat)
- Media yang diunduh mempunyai nama file channelid_postid sehingga mudah mencari aslinya.
Skrip ini mencari pesan yang berisi istilah pencarian tertentu di saluran Telegram tempat pengguna menjadi anggotanya. Ini mengekspor hasil pencarian dalam format HTML dan CSV, menghasilkan laporan, dan memplot jumlah pesan per hari.
Ini dirancang untuk memantau tren istilah pencarian dengan cara yang sama seperti Google Trends. Hal ini bisa sangat berguna untuk mengidentifikasi munculnya ujaran kebencian atau diskusi/narasi setelah peristiwa tertentu.
Versi saat ini tidak melakukan penyesuaian data yang signifikan, misalnya grafik tidak menampilkan insiden istilah yang disesuaikan dengan insiden semua pesan. Artinya, analisis lebih lanjut harus dilakukan untuk memastikan bahwa lonjakan tajam tersebut tidak dikacaukan dengan lonjakan tajam dalam aktivitas secara umum. Oleh karena itu, keluaran grafik harus dianggap sebagai indikasi perlunya penelitian lebih lanjut dan analisis statistik.
Contoh hasil eksplorasi ujaran kebencian selama invasi besar-besaran Rusia ke Ukraina
Gambar ini adalah contoh hasil yang menunjukkan bagaimana saluran yang diselidiki mengalami lonjakan penggunaan istilah tertentu.
Contoh laporan yang dihasilkan
Gambar ini adalah contoh hasil laporan, dokumen PDF yang menguraikan kode dan mencetak skrip di bagian akhir. Artinya, apa pun perubahan atau versi skrip yang digunakan, proses pastinya dapat diperiksa.
Tangkapan layar dari beberapa informasi yang dihasilkan dalam laporan statistik txt
Alat ini telah diuji pada istilah pencarian bahasa Inggris dan Rusia.
PERINGATAN: Alat ini menggunakan daftar grup yang Anda ikuti sebagai daftar asal pencariannya. Ini mungkin termasuk obrolan pribadi/grup. Demi OPSEC, disarankan untuk menggunakan akun burner dan hanya mengikuti obrolan khusus investigasi.
Instalasi
Kloning repositori tg-keyword-trends dengan menjalankan perintah berikut di terminal atau command prompt Anda:
git clone https://github.com/thomasjjj/tg-keyword-trends.git
Navigasikan ke direktori tg-keyword-trends:
cd tg-keyword-trends
Instal dependensi Python yang diperlukan menggunakan pip:
pip install -r requirements.txt
Fitur
- Grafik menyesuaikan skala ke postingan terlama dan terbaru.
- CSV dihasilkan untuk diproses lebih lanjut.
- File HTML dihasilkan untuk membuka tautan.
- Menghasilkan laporan yang mendokumentasikan rincian penting dari scrape (tanggal, saluran yang diakses, dll) untuk auditabilitas temuan.
- Pengunduhan media
Penggunaan:
- Tambahkan istilah pencarian, satu istilah per baris, ke dalam file .txt. Anda akan segera diminta untuk memasukkan lokasi file.
- Pastikan Anda telah menyiapkan detail API Telegram Anda [https://my.telegram.org/auth]
- Skrip akan mencari melalui semua saluran tempat pengguna menjadi anggotanya.
- Hasil pencarian akan diekspor sebagai file HTML dan CSV dalam folder keluaran yang diberi stempel waktu.
- Script akan menghasilkan laporan yang berisi hasil pencarian untuk setiap saluran.
- Skrip akan memplot jumlah pesan per hari untuk setiap istilah pencarian dalam grafik dan menyimpannya sebagai gambar.
Fungsi:
- retrieve_api_details : Baca detail API dari 'api_details.txt'.
- check_search_terms_file : Membaca istilah penelusuran dari 'search_terms.txt' atau meminta pengguna memasukkan istilah penelusuran.
- create_output_directory : Membuat direktori dengan stempel waktu untuk menyimpan file output.
- print_color : Mencetak teks dengan warna tertentu menggunakan modul colorama.
- render_url : Hasilkan kode HTML untuk hyperlink menggunakan URL dan teks pesan.
- generate_report : Menghasilkan laporan yang berisi hasil pencarian untuk setiap saluran.
- plot_keyword_frekuensi : Plot jumlah pesan per hari untuk setiap istilah pencarian dalam grafik.
Kiat:
- Karena fitur pemfilteran tanggal, alat ini juga berfungsi dengan baik sebagai mesin pencari Telegram yang memungkinkan hasil pemfilteran tanggal. Cukup jalankan pencarian di jendela tanggal yang diperlukan dan buka file html keluaran untuk daftar pesan yang cocok dan tautannya.
- Alat ini menangani zona waktu secara otomatis dan menyesuaikannya. Berhati-hatilah saat mengedit bagian kode mana pun yang berkaitan dengan format waktu dan tanggal karena ini sulit untuk di-debug.
- Disarankan agar Anda membuat akun Telegram khusus untuk setiap mata pelajaran. Ini akan memungkinkan Anda menargetkan hanya saluran yang relevan dan menghilangkan kebisingan.
- Anda tidak perlu mencari kata benda tunggal dan jamak secara terpisah karena ini ditangani oleh pencarian Telegram, (secara umum, untuk bahasa Inggris dan Rusia).
*Gambar ini menunjukkan penggunaan berbagai nama tempat untuk "Bakmut", termasuk nama-nama Soviet lama. Salah satu kegunaan alat ini adalah untuk memvalidasi istilah pencarian yang digunakan dalam penelitian OSINT. Seperti dapat dilihat di sini, seseorang mungkin membatasi potensi pengumpulannya jika mereka hanya menggunakan nama resmi kota tersebut saat ini dan bukan nama masa lalu yang juga kontroversial. *
Ketergantungan:
- panda~=2.0.0
- matplotlib~=3.7.1
- Teleton~=1.28.2
- warna~=0.4.6
- Bantal~=9.5.0
- laboratorium laporan~=3.6.12
- numpy~=1.24.2
- pytz~=2023.3
- tqdm~=4.65.0
Versi Python: Python 3.11 atau lebih tinggi
TODO