ดาวน์โหลด twint - ดาวน์โหลด twint ซอร์สโค้ด

twint

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

TWINT - เครื่องมืออัจฉริยะของ Twitter

ไม่มีการรับรองความถูกต้อง ไม่มีเอพีไอ ไม่มีขีดจำกัด

Twint เป็นเครื่องมือขูด Twitter ขั้นสูงที่เขียนด้วย Python ซึ่งช่วยให้สามารถคัดลอกทวีตจากโปรไฟล์ Twitter ได้โดยไม่ต้อง ใช้ API ของ Twitter

Twint ใช้ตัวดำเนินการค้นหาของ Twitter เพื่อให้คุณสามารถดึงทวีตจากผู้ใช้ที่ระบุ ดึงทวีตที่เกี่ยวข้องกับหัวข้อ แฮชแท็กและเทรนด์บางหัวข้อ หรือจัดเรียงข้อมูล ที่ละเอียดอ่อน จากทวีต เช่น อีเมลและหมายเลขโทรศัพท์ ฉันพบว่าสิ่งนี้มีประโยชน์มากและคุณก็สามารถสร้างสรรค์มันได้เช่นกัน

Twint ยังส่งคำสั่งพิเศษไปยัง Twitter เพื่อให้คุณสามารถขูดผู้ติดตามของผู้ใช้ Twitter, ทวีตที่ผู้ใช้ชื่นชอบ และใครที่พวกเขาติดตาม โดยไม่ต้องมี การตรวจสอบสิทธิ์, API, Selenium หรือการจำลองเบราว์เซอร์

tl; dr ผลประโยชน์

ประโยชน์บางประการของการใช้ Twint กับ Twitter API:

สามารถดึงข้อมูลทวีตเกือบ ทั้งหมดได้ (Twitter API จำกัดไว้ที่ 3200 ทวีตล่าสุดเท่านั้น)
การตั้งค่าเริ่มต้นอย่างรวดเร็ว
สามารถใช้งานได้โดยไม่ระบุชื่อและไม่ต้องสมัคร Twitter
ไม่มีการจำกัดอัตรา

ข้อจำกัดที่กำหนดโดย Twitter

Twitter จำกัดการเลื่อนขณะเรียกดูไทม์ไลน์ของผู้ใช้ ซึ่งหมายความว่าด้วย .Profile หรือ .Favorites คุณจะสามารถทวีตได้ประมาณ 3,200 ทวีต

ความต้องการ

หลาม 3.6;
ไอโอhttp;
ไอโอดีน;
ซุปสวย4;
ชาร์เดต์;
คลาสข้อมูล
ค้นหาแบบยืดหยุ่น;
กางเกงชั้นใน;
แพนด้า (>=0.23.0);
aiohttp_socks;
กำหนดการ;
จีโอปี;
ผู้ใช้ปลอม;
py-googletransx.py

กำลังติดตั้ง

คอมไพล์:

 git clone --ความลึก=1 https://github.com/twintproject/twint.gitcd แฝด
ติดตั้ง pip3 -r ข้อกำหนด txt

ปิ๊ป:

 pip3 ติดตั้งแฝด

หรือ

 ติดตั้ง pip3 --user -- อัปเกรด git+https://github.com/twintproject/twint.git@origin/master#egg=twint

ไปป์เพน :

 Pipenv ติดตั้ง git+https://github.com/twintproject/twint.git#egg=twint

อัปเดตวันที่ 2 มีนาคม 2021

เพิ่ม : Dockerfile

สังเกตเห็นว่ามีคนจำนวนมากกำลังประสบปัญหาในการติดตั้ง (รวมถึงฉันด้วย) โปรดใช้ Dockerfile ชั่วคราวในขณะที่ฉันตรวจสอบมัน

ตัวอย่างและคอมโบพื้นฐานของ CLI

ตัวอย่างง่ายๆ บางส่วนที่จะช่วยให้คุณเข้าใจพื้นฐาน:

twint -u username - คัดลอกทวีตทั้งหมดของ ผู้ใช้ (ไม่รวม การรีทวีต แต่รวมถึง การตอบกลับ )
twint -u username -s pineapple - คัดลอกทวีตทั้งหมดจากไทม์ไลน์ของ ผู้ใช้ ที่มี pineapple
twint -s pineapple - รวบรวมทุกทวีตที่มี สับปะรด จากทวีตของทุกคน
twint -u username --year 2014 - รวบรวมทวีตที่ถูกทวีต ก่อน ปี 2014
twint -u username --since "2015-12-20 20:30:15" - รวบรวมทวีตที่ถูกทวีตตั้งแต่ 2015-12-20 20:30:15 น.
twint -u username --since 2015-12-20 - รวบรวมทวีตที่ถูกทวีตตั้งแต่ 2015-12-20 00:00:00 น.
twint -u username -o file.txt - คัดลอกทวีตและบันทึกลงใน file.txt
twint -u username -o file.csv --csv - คัดลอกทวีตและบันทึกเป็นไฟล์ csv
twint -u username --email --phone - แสดงทวีตที่อาจมีหมายเลขโทรศัพท์หรือที่อยู่อีเมล
twint -s "Donald Trump" --verified - แสดงทวีตโดยผู้ใช้ที่ตรวจสอบแล้วซึ่งทวีตเกี่ยวกับ Donald Trump
twint -g="48.880048,2.385939,1km" -o file.csv --csv - คัดลอกทวีตจากรัศมี 1 กม. รอบสถานที่ในปารีส แล้วส่งออกเป็นไฟล์ csv
twint -u username -es localhost:9200 - ส่งออกทวีตไปยัง Elasticsearch
twint -u username -o file.json --json - คัดลอกทวีตและบันทึกเป็นไฟล์ json
twint -u username --database tweets.db - บันทึกทวีตไปยังฐานข้อมูล SQLite
twint -u username --followers - ขูดผู้ติดตามของผู้ใช้ Twitter
twint -u username --following - ขูดว่าใครเป็นผู้ใช้ Twitter ติดตาม
twint -u username --favorites - รวบรวมทวีตทั้งหมดที่ผู้ใช้ชื่นชอบ (รวบรวม ~ 3200 ทวีต)
twint -u username --following --user-full - รวบรวมข้อมูลผู้ใช้แบบเต็มที่บุคคลติดตาม
twint -u username --timeline - ใช้วิธีการที่มีประสิทธิภาพในการรวบรวมทวีตจากโปรไฟล์ของผู้ใช้ (รวบรวม ~ 3200 ทวีต รวมถึง การรีทวีต และ การตอบกลับ )
twint -u username --retweets - ใช้วิธีการที่รวดเร็วเพื่อรวบรวม 900 ทวีตล่าสุด (รวมถึงการรีทวีต) จากโปรไฟล์ของผู้ใช้
twint -u username --resume resume_file.txt - ทำการค้นหาต่อโดยเริ่มจาก scroll-id ที่บันทึกไว้ล่าสุด

รายละเอียดเพิ่มเติมเกี่ยวกับคำสั่งและตัวเลือกมีอยู่ในวิกิ

ตัวอย่างโมดูล

Twint สามารถใช้เป็นโมดูลและรองรับการจัดรูปแบบแบบกำหนดเองได้แล้ว รายละเอียดเพิ่มเติมอยู่ในวิกิ

 นำเข้า twint# Configurec = twint.Config()c.Username = "realDonaldTrump"c.Search = "great"# Runtwint.run.Search(c)

เอาท์พุต

955511208597184512 2018-01-22 18:43:19 GMT <now> pineapples are the best fruit

 นำเข้า twintc = twint.Config()c.Username = "noneprivacy"c.Custom["ทวีต"] = ["id"]c.Custom["user"] = ["bio"]c.Limit = 10c.Store_csv = Truec.Output = "ไม่มี"twint.run.Search(c)

ตัวเลือกการจัดเก็บ

เขียนลงไฟล์;
ซีเอสวี;
เจสัน;
เอสคิวไลต์;
การค้นหาแบบยืดหยุ่น

การตั้งค่า Elasticsearch

รายละเอียดเกี่ยวกับการตั้งค่า Elasticsearch ด้วย Twint มีอยู่ในวิกิ

การแสดงกราฟ

รายละเอียดกราฟยังอยู่ในวิกิด้วย

เรากำลังพัฒนาแอพ Twint Desktop

คำถามที่พบบ่อย

ฉันพยายามดึงทวีตจากผู้ใช้ ฉันรู้ว่ามีทวีตเหล่านั้นอยู่ แต่ฉันไม่เข้าใจ

Twitter สามารถห้ามใช้บัญชีเงาได้ ซึ่งหมายความว่าทวีตของพวกเขาจะไม่สามารถใช้ได้ผ่านการค้นหา เพื่อแก้ปัญหานี้ ให้ส่ง --profile-full หากคุณใช้ Twint ผ่าน CLI หรือหากใช้ Twint เป็นโมดูล ให้เพิ่ม config.Profile_full = True โปรดทราบว่ากระบวนการนี้จะค่อนข้างช้า

ตัวอย่างเพิ่มเติม

ผู้ติดตาม/กำลังติดตาม

เพื่อรับเฉพาะชื่อผู้ใช้ผู้ติดตาม/ชื่อผู้ใช้ต่อไปนี้

twint -u username --followers

twint -u username --following

เพื่อรับข้อมูลผู้ใช้ของผู้ติดตาม/ผู้ใช้ที่ติดตาม

twint -u username --followers --user-full

twint -u username --following --user-full

รายชื่อผู้ใช้

เพื่อรับเฉพาะข้อมูลผู้ใช้ของผู้ใช้

twint -u username --user-full

เพื่อรับข้อมูลผู้ใช้ของผู้ใช้จากรายชื่อผู้ใช้

twint --userlist inputlist --user-full

การแปลทวีต (ทดลอง)

เพื่อรับทวีตภาษาอังกฤษ 100 ทวีตและแปลเป็นภาษาอิตาลี

twint -u noneprivacy --csv --output none.csv --lang en --translate --translate-dest it --limit 100

หรือ

 นำเข้า twintc = twint.Config()c.Username = "noneprivacy"c.Limit = 100c.Store_csv = Truec.Output = "none.csv"c.Lang = "en"c.Translate = Truec.TranslateDest = "it" twint.run.ค้นหา(c)

หมายเหตุ: