tg keyword trends

اتجاهات الكلمات الرئيسية في برقية

أداة تحليل لاستكشاف ظهور خطاب الكراهية والمعلومات المضللة والروايات المثيرة للاهتمام على منصة الدردشة Telegram. يرجى استخدام هذه الأداة بحذر لأنها لا تحتوي على إمكانية الإشراف على المحتوى أو تصفيته. أنت مسؤول عن المحتوى الذي قد يتم تصديره.

باختصار، تتيح لك هذه الأداة البحث في جميع القنوات التي تتابعها باستخدام قائمة من الكلمات الرئيسية/العبارات وإرجاع جميع النتائج المطابقة بتنسيقات مختلفة مع تصورات الرسم البياني. كما أنه يقوم بتنزيل الوسائط بشكل اختياري وبالتالي يمكن استخدامه كمحرك بحث عن الوسائط (حاليًا بعض الأخطاء في هذه الميزة - لا تستخدم كأداة بحث شاملة عن الوسائط).

لقطة شاشة لأداة أثناء العمل، تستكشف خطاب الكراهية أثناء الغزو الروسي واسع النطاق لأوكرانيا

الميزات الرئيسية

• تم تصميم هذه الأداة للعمل مع دمى الجوارب التي تتبع العديد من القنوات التي تغطي موضوعًا معينًا.
• يمكنك تغيير تفاصيل واجهة برمجة التطبيقات (API) الخاصة بك لاستخدام حسابات مختلفة عن طريق تحرير ملف api_values.txt .
• تم تصميم الأداة لتعمل مثل مؤشرات Google التي تعرض الحجم اليومي للمصطلحات الرئيسية والخريطة بمرور الوقت.
• تسمح لك تصفية التاريخ بتضييق نطاق البحث إلى فترة زمنية أقصر. إذا تركت فارغة، فسيتم تغيير حجمها تلقائيًا إلى الحد الأقصى لنطاق البيانات.
• تستخدم الأداة بحث Telegram مما يعني أنها جيدة بشكل خاص لعمليات البحث باللغة الروسية وتتعامل بشكل عام مع نهايات الكلمات بشكل جيد.
• يولد الرسوم البيانية الفردية لكل مصطلح رئيسي.
• يُنشئ رسمًا بيانيًا مجمعًا يوضح جميع المصطلحات الأساسية في البحث على نفس الرسم البياني للمقارنة.
• يقوم بتجميع تقرير PDF يعرض الرسوم البيانية ويطبع الكود الكامل لتدقيق البيانات والتحقق من صحة الأدلة.
• يقوم بإخراج ملخص ملف TXT بما في ذلك جميع الإحصائيات الرئيسية، على سبيل المثال، تاريخ التشغيل، والقنوات التي تم البحث عنها، والحجم النسبي لكل قناة.
• تنزيل الوسائط الاختياري للنتائج (يؤدي هذا بشكل كبير (مثل بشكل كبير حقًا) إلى إطالة الوقت اللازم لتشغيل الأداة)
• الوسائط التي تم تنزيلها لها اسم ملف،channelid_postid، لذلك من السهل العثور على النسخة الأصلية.

يبحث هذا البرنامج النصي في الرسائل التي تحتوي على مصطلحات بحث محددة في قنوات Telegram التي يكون المستخدم عضوًا فيها. يقوم بتصدير نتائج البحث بتنسيقات HTML وCSV، وإنشاء تقرير، وتخطيط عدد الرسائل يوميًا.

وهو مصمم لرصد اتجاهات مصطلحات البحث بنفس الطريقة التي تعمل بها مؤشرات Google. يمكن أن يكون هذا مفيدًا جدًا في تحديد ظهور خطاب الكراهية أو المناقشة/الروايات بعد أحداث معينة.

لا يقوم هذا الإصدار الحالي بإجراء أي تعديل مهم على البيانات، على سبيل المثال، لا يعرض الرسم البياني حدوث المصطلحات التي تم تعديلها وفقًا لتكرار جميع الرسائل. وهذا يعني ضرورة إجراء المزيد من التحليل لضمان عدم الخلط بين الارتفاع الحاد في المصطلحات والارتفاع الحاد في النشاط العام. ولهذا السبب، ينبغي التعامل مع مخرجات الرسم البياني على أنها مؤشر على الحاجة إلى مزيد من البحث والتحليل الإحصائي.

نتيجة نموذجية لاستكشاف خطاب الكراهية أثناء الغزو الروسي واسع النطاق لأوكرانيا

هذه الصورة هي نتيجة نموذجية توضح كيف شهدت القنوات قيد التحقيق زيادة في استخدام مصطلحات محددة.

مثال على التقرير الذي تم إنشاؤه

هذه الصورة هي نتيجة نموذجية من التقرير، وهي وثيقة PDF تحدد الكود وتطبع البرنامج النصي في النهاية. وهذا يعني أنه بغض النظر عن التغييرات أو إصدار البرنامج النصي المستخدم، يمكن فحص العملية الدقيقة.

لقطة شاشة لبعض المعلومات التي تم إنشاؤها في تقرير إحصائيات النص

تم اختبار هذه الأداة على مصطلحات البحث باللغتين الإنجليزية والروسية.

تحذير: تستخدم هذه الأداة قائمة المجموعات التي تتبعها باعتبارها القائمة التي تبحث منها. وقد تشمل الدردشات/المجموعات الشخصية. من أجل OPSEC، يوصى باستخدام حساب ناسخ ومتابعة الدردشات الخاصة بالتحقيق فقط.

تثبيت

انسخ مستودع tg-keyword-trends عن طريق تشغيل الأمر التالي في الجهاز الطرفي أو موجه الأوامر:

git clone https://github.com/thomasjjj/tg-keyword-trends.git

انتقل إلى دليل tg-keyword-trends:

cd tg-keyword-trends

قم بتثبيت تبعيات Python المطلوبة باستخدام النقطة:

pip install -r requirements.txt

سمات

• يضبط الرسم البياني المقياس ليناسب المشاركات الأقدم والأحدث.
• تم إنشاء ملف CSV لمزيد من المعالجة.
• تم إنشاء ملف HTML لفتح الروابط.
• يُنشئ تقريرًا يوثق التفاصيل الرئيسية للمسح (التاريخ، القنوات التي تم الوصول إليها، إلخ) من أجل إمكانية تدقيق النتائج.
• تنزيل الوسائط

الاستخدام:

1. أضف مصطلحات البحث، واحدة في كل سطر، إلى ملف .txt. سيُطلب منك إدخال موقع الملف قريبًا.
2. تأكد من أن تفاصيل Telegram API الخاصة بك جاهزة [https://my.telegram.org/auth]
3. سيبحث البرنامج النصي في جميع القنوات التي يكون المستخدم عضوًا فيها.
4. سيتم تصدير نتائج البحث كملفات HTML وCSV في مجلد إخراج ذو طابع زمني.
5. سيقوم البرنامج النصي بإنشاء تقرير يحتوي على نتائج البحث لكل قناة.
6. سيقوم البرنامج النصي برسم عدد الرسائل يوميًا لكل مصطلح بحث في رسم بياني وحفظه كصورة.

الوظائف:

• استرداد_api_details : اقرأ تفاصيل واجهة برمجة التطبيقات من 'api_details.txt'.
• check_search_terms_file : اقرأ مصطلحات البحث من "search_terms.txt" أو اطلب من المستخدم إدخال مصطلحات البحث.
• create_output_directory : قم بإنشاء دليل ذو طابع زمني لتخزين ملفات الإخراج.
• print_colored : طباعة النص باللون المحدد باستخدام وحدة colorama.
• render_url : قم بإنشاء كود HTML لارتباط تشعبي باستخدام عنوان URL ونص الرسالة.
• generator_report : قم بإنشاء تقرير يحتوي على نتائج البحث لكل قناة.
• plot_keyword_frequency : قم برسم عدد الرسائل يوميًا لكل مصطلح بحث في الرسم البياني.

نصائح:

• نظرًا لميزة تصفية التاريخ، تعمل هذه الأداة أيضًا بشكل جيد مع محرك بحث Telegram الذي يسمح بالنتائج التي تمت تصفيتها بالتاريخ. ما عليك سوى تشغيل البحث في نافذة التاريخ المطلوبة وفتح ملف html الناتج للحصول على قائمة بالرسائل المطابقة وروابطها.
• تتعامل الأداة مع المناطق الزمنية تلقائيًا وتضبطها. كن حذرًا بشكل خاص عند تحرير أي قسم من التعليمات البرمجية يتعلق بتنسيقات الوقت والتاريخ حيث كان من الصعب تصحيح هذا الخطأ.
• يوصى بإنشاء حساب Telegram مخصص لكل موضوع. سيسمح لك ذلك باستهداف القنوات ذات الصلة فقط وإزالة الضوضاء.
• لا تحتاج إلى البحث عن الأسماء المفردة والجمع بشكل منفصل حيث يتم معالجة ذلك من خلال بحث Telegram (بشكل عام، للغتين الإنجليزية والروسية).

*توضح هذه الصورة استخدام أسماء الأماكن المختلفة لـ "باكموت"، بما في ذلك الأسماء السوفيتية القديمة. قد يكون أحد استخدامات هذه الأداة هو التحقق من صحة مصطلحات البحث المستخدمة في أبحاث OSINT. وكما هو واضح هنا، يمكن للمرء أن يحد من إمكانية جمعه إذا استخدم فقط الاسم الرسمي الحالي للمدينة بدلاً من الأسماء السابقة والمثيرة للجدل أيضًا. *

التبعيات:

• الباندا ~=2.0.0
• ماتبلوتليب~=3.7.1
• تيليثون~=1.28.2
• كولوراما~=0.4.6
• وسادة ~=9.5.0
• ريبورتلاب~=3.6.12
• numpy~=1.24.2
• بيتز~=2023.3
• تكدم~=4.65.0

إصدار بايثون: بايثون 3.11 أو أعلى

المهام

---

• منع اختفاء الرسم البياني المفتوح png
• إضافة معالجة الأخطاء إلى مدخلات تاريخ المستخدم
• قم بإنتاج الرسم البياني لكل مصطلح بالإضافة إلى تجميعه لإزالة مشكلات القياس
• إدراج جميع الرسوم البيانية في تقرير PDF (منفصل عن تقرير ملف TXT)
• استخدم تقرير txt لملء تقرير PDF بالبيانات السياقية.
• أضف خيارات المزامنة لتحسين الأداء - خاصة لتنزيل الوسائط.
• رسوم بيانية أفضل، على سبيل المثال نسبة الاستخدام بمرور الوقت لضبط القنوات الجديدة أو الزيادات في النشاط (التحسينات المستمرة والرسوم البيانية الجديدة - لا تكمل هذا أبدًا، فقط أضف المزيد)
• تأكد من تضمين ما ورد أعلاه في التقرير pdf
• اختيار النطاق الزمني
• قائمة القنوات المخصصة
• إنشاء wordcloud لجميع الرسائل المطابقة لاستخراج سياق ومصطلحات ورؤى إضافية
• ضبط القدرة على تجميع المصطلحات في سطر واحد على الرسم البياني (مثل الترجمات/الترجمة الصوتية)
• الميزة المحتملة: قم بتعيين الموقع الافتراضي لجميع الوسائط التي تم تنزيلها باستخدام ملف قائمة الوسائط التي تم تنزيلها مسبقًا لمنع التكرار