download tweets ai text gen plus ดาวน์โหลด - download tweets ai text gen plus ดาวน์โหลดซอร์สโค้ด

download tweets ai text gen plus

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

ดาวน์โหลด-ทวีต-ai-ข้อความ-gen-plus

สคริปต์ Python 3 ขนาดเล็กสำหรับดาวน์โหลดทวีตสาธารณะจากบัญชี Twitter เป็นรูปแบบที่เหมาะสำหรับเครื่องมือสร้างข้อความ AI (เช่น gpt-2-simple สำหรับการปรับแต่ง GPT-2)

ดึงข้อมูลทวีตทั้งหมดในรูปแบบ CSV อย่างง่ายด้วยคำสั่ง CLI เดียว
ประมวลผลทวีตล่วงหน้าเพื่อลบ URL การเว้นวรรคเพิ่มเติม และเลือกแท็กผู้ใช้/แฮชแท็ก
บันทึกทวีตหลังจากแต่ละคอลเลกชัน ในกรณีที่มีข้อผิดพลาดหรือคุณต้องการสิ้นสุดคอลเลกชันก่อนกำหนด

คุณสามารถดูตัวอย่างทวีตที่ AI สร้างขึ้นจากชุดข้อมูลที่ดึงมาด้วยเครื่องมือนี้ในโฟลเดอร์ /examples

ตั้งค่า

ขั้นแรก โคลนพื้นที่เก็บข้อมูลนี้ลงในระบบของคุณ และติดตั้งการขึ้นต่อกันด้วยคำสั่งต่อไปนี้:

git clone https://github.com/sdelgadoc/download-tweets-ai-text-gen-plus.git
cd download-tweets-ai-text-gen-plus
pip3 install -r requirements.txt

โค้ดเวอร์ชันก่อนหน้านี้ใช้ไลบรารีการคัดลอกเพื่อรวบรวมทวีต ตั้งแต่นั้นมา Twitter ได้ทำให้การขูดทำได้ยากขึ้นในขณะเดียวกันก็มอบ API การรวบรวมทวีตที่แข็งแกร่งยิ่งขึ้น เพื่อเป็นการตอบสนอง เราได้ย้ายโค้ดนี้ให้ทำงานเฉพาะกับ API ของ Twitter เท่านั้น

หากต้องการดำเนินการตั้งค่าต่อ ให้สร้างแอป Twitter เพื่อให้คุณสามารถเข้าถึง Twitter API ได้ เมื่อคุณสร้างแอปแล้ว ให้สร้างโทเค็นการเข้าถึง และป้อนข้อมูลลงในส่วนของไฟล์ keys.py ที่แสดงด้านล่าง

 keys = { 'consumer_key' : "" ,
        'consumer_secret' : "" ,
        'access_token' : "" ,
        'access_token_secret' : "" }

สุดท้าย ไปที่หน้าสภาพแวดล้อม Dev ของ Twitter API สร้างสภาพแวดล้อม Dev สำหรับ Full Archive API และป้อนชื่อของสภาพแวดล้อมในส่วน label ของไฟล์ keys.py ที่แสดงด้านล่าง

 label = ""

การใช้งาน

สคริปต์ทำงานผ่านอินเทอร์เฟซบรรทัดคำสั่ง หลังจาก cd ลงในไดเร็กทอรีที่เก็บสคริปต์ไว้ในเทอร์มินัลแล้ว ให้รัน:

python3 download_tweets.py < twitter_username > 100

เช่น หากคุณต้องการดาวน์โหลด 100 ทวีต (ไม่มีการรีทวีต/ตอบกลับ/ทวีตคำพูด) จากผู้ใช้ Twitter @santiagodc ให้รัน:

python3 download_tweets.py santiagodc 100

หมายเหตุ: ระดับฟรีของ Twittter API มีขีดจำกัดการรวบรวมทวีตที่ 5,000 ทวีตต่อเดือน ดังนั้นให้ตั้งค่าขีดจำกัดทวีตเพื่อหลีกเลี่ยงไม่ให้เกินขีดจำกัดเร็วเกินไป

สคริปต์นี้ยังสามารถดาวน์โหลดทวีตจากชื่อผู้ใช้หลายชื่อพร้อมกันได้ โดยขั้นแรกให้สร้างไฟล์ข้อความ (.txt) พร้อมรายการชื่อผู้ใช้ จากนั้นรันสคริปต์โดยอ้างอิงชื่อไฟล์:

python3 download_tweets.py < twitter_usernames_file_name > 100

ทวีตจะถูกดาวน์โหลดเป็น CSV คอลัมน์เดียวชื่อ <usernames>_tweets.csv

พารามิเตอร์ที่คุณสามารถส่งผ่านไปยังอินเทอร์เฟซบรรทัดคำสั่ง (ตำแหน่งหรืออย่างชัดเจน) คือ:

ชื่อผู้ใช้: ชื่อผู้ใช้ของบัญชีที่มีทวีตหรือชื่อไฟล์ .txt พร้อมชื่อผู้ใช้หลายชื่อที่คุณต้องการดาวน์โหลด [จำเป็น]
ขีดจำกัด: จำนวนทวีตที่จะดาวน์โหลด [ค่าเริ่มต้น: ทวีตทั้งหมดที่เป็นไปได้]
include_replies: รวมการตอบกลับจากผู้ใช้ในชุดข้อมูล [ค่าเริ่มต้น: False]
strip_usertags: ตัด @ แท็กผู้ใช้ออกในข้อความทวีต [ค่าเริ่มต้น: เท็จ]
strip_hashtags: ลบ # แฮชแท็กในข้อความทวีต [ค่าเริ่มต้น: False]
ความคิดเห็น: เพิ่มจำนวนหมวดหมู่ความรู้สึกที่ระบุลงในเอาต์พุต เพื่อให้คุณสามารถสร้างทวีตเชิงบวก/เชิงลบโดยเปลี่ยนพารามิเตอร์ [ค่าเริ่มต้น: 0 ค่าที่เป็นไปได้: 0, 3, 5, 7]
text_format: ระบุรูปแบบที่จะส่งคืนทวีต รูปแบบ 'ง่าย' จะแสดงเฉพาะข้อความทวีตเท่านั้น รูปแบบ 'ตอบกลับ' จะส่งคืนข้อมูลเกี่ยวกับทวีตก่อนหน้าเพื่อฝึก AI ที่สามารถตอบกลับทวีตได้ [ค่าเริ่มต้น: 'simple' ค่าที่เป็นไปได้: 'simple', 'reply']
กรอบเวลา: ระบุเวลาที่จะเริ่มรับทวีตจาก [ค่าเริ่มต้น: 22 มีนาคม 2549]

ฟังก์ชันความคิดเห็นทำงานอย่างไร

พารามิเตอร์ความรู้สึกจะเพิ่มหมวดหมู่ความรู้สึกให้กับข้อความทวีต ข้อมูลนี้ช่วยให้ผู้ใช้สามารถฝึกอบรมและสร้างข้อความที่มีความรู้สึกที่แตกต่างกันโดยการเปลี่ยนพารามิเตอร์

รูปแบบผลลัพธ์ที่ใช้รูปแบบข้อความ 'แบบง่าย' มีดังต่อไปนี้:

[ Sentiment category ]
[ Tweet text for the tweet that was collected ]

พารามิเตอร์ความคิดเห็นยอมรับจำนวนเต็มที่ระบุจำนวนหมวดหมู่ความคิดเห็นที่ถูกส่งกลับ ประเภทความคิดเห็นสำหรับพารามิเตอร์ต่างๆ ที่เป็นไปได้มีดังต่อไปนี้:

0: ไม่มีการส่งคืนหมวดหมู่ความคิดเห็น
3: เชิงบวก เป็นกลาง และเชิงลบ
5: เป็นบวกมาก, เป็นบวก, เป็นกลาง, เป็นลบ, เป็นลบมาก
7: เป็นบวกอย่างมาก เป็นบวกมาก เป็นบวก เป็นกลาง เป็นลบ เชิงลบมาก เชิงลบอย่างยิ่ง

ฟังก์ชัน text_format ทำงานอย่างไร

โค้ดนี้รองรับการรวบรวมทวีตในรูปแบบสำหรับฝึก AI ที่สามารถตอบกลับทวีตอื่นๆ ได้ รูปแบบเอาต์พุตจะขึ้นอยู่กับรูปแบบที่ใช้ในการฝึกชุมชน Subreddit Simulator Reddit

รูปแบบผลลัพธ์เป็นดังนี้:

 **** ARGUMENTS
ORIGINAL or REPLY: Whether the tweet is an original tweet or a reply
SENTIMENT: If the sentiment parameter is used, text describing the tweet text's sentiment
**** PARENT
[ Tweet text for the topmost tweet in a reply thread ]
**** IN_REPLY_TO
[ Tweet text for the tweet that is being responded to ]
**** TWEET
[ Tweet text for the tweet that was collected ]

หากต้องการรวบรวมทวีตด้วยรูปแบบการตอบกลับนี้โดยเรียกใช้คำสั่งต่อไปนี้:

python3 download_tweets.py < twitter_username > None True False False False 3 reply

ฟังก์ชันกรอบเวลาทำงานอย่างไร

โดยการระบุวันที่ สคริปต์จะดาวน์โหลดทวีตจาก timeframe ค่าถึงปัจจุบัน โดยค่าเริ่มต้น มันจะดาวน์โหลดทุกทวีตจากผู้ใช้ที่กำหนด (หรือผู้ใช้) เริ่มตั้งแต่วันที่ 22 มีนาคม 2549 ซึ่งเป็นวันที่ทวีตแรกถูกส่งไป พารามิเตอร์ timeframe มีความแม่นยำ ซึ่งช่วยให้คุณใส่ปี เดือน วัน ชั่วโมง และนาทีที่ต้องการเพื่อดาวน์โหลดทวีตตามลำดับนั้น รูปแบบที่พารามิเตอร์ timeframe ยอมรับจะมีลักษณะดังนี้ YYYYMMDDHHMM

วิธีฝึก AI ในทวีตที่ดาวน์โหลด

gpt-2-simple มีกรณีพิเศษสำหรับ CSV คอลัมน์เดียว ซึ่งจะประมวลผลข้อความโดยอัตโนมัติเพื่อการฝึกและการสร้างที่ดีที่สุด (เช่น โดยการเพิ่ม <|startoftext|> และ <|endoftext|> ลงในแต่ละทวีต ทำให้สามารถสร้างทวีตได้อย่างอิสระ)

คุณสามารถใช้สมุดบันทึก Colaboratory นี้ (ปรับให้เหมาะสมจากสมุดบันทึกดั้งเดิมสำหรับกรณีการใช้งานนี้) เพื่อฝึกโมเดลบนทวีตที่คุณดาวน์โหลด และสร้างทวีตจำนวนมากจากโมเดลนั้น โปรดทราบว่าหากไม่มีข้อมูลจำนวนมาก โมเดลก็อาจพอดีเกินไปได้ง่าย คุณอาจต้องการฝึกให้น้อยลง (เช่น 500 steps )

เมื่อสร้าง คุณจะต้องรวมพารามิเตอร์บางตัวเพื่อถอดรหัสทวีตเสมอ เช่น:

 gpt2 . generate ( sess ,
              length = 200 ,
              temperature = 0.7 ,
              prefix = '<|startoftext|>' ,
              truncate = '<|endoftext|>' ,
              include_prefix = False
              )

หมายเหตุที่เป็นประโยชน์

คุณจะต้องมีทวีต นับพัน เป็นอย่างน้อยเพื่อป้อนเข้าสู่โมเดลอินพุตเพื่อให้ได้ผลลัพธ์ที่ดี (ตามหลักการแล้วข้อมูลข้อความอินพุตขนาด 1 MB แม้ว่าจะมีทวีตที่ยากต่อการบรรลุก็ตาม)
เพื่อช่วยให้คุณเข้าถึงข้อมูลข้อความที่ป้อนขนาด 1 MB คุณสามารถโหลดข้อมูลจากชื่อผู้ใช้ Twitter ที่คล้ายกันหลายรายการได้
การดาวน์โหลดมีแนวโน้มที่จะสิ้นสุดเร็วกว่าขีดจำกัดทางทฤษฎี (อนุมานจากโปรไฟล์ผู้ใช้) มาก เนื่องจากขีดจำกัดดังกล่าวรวมถึงการรีทวีต/ตอบกลับ/สิ่งใดก็ตามที่ Twitter ใช้แคช
ความถูกต้องตามกฎหมายของการกระจายทวีตที่ดาวน์โหลดนั้นมีความคลุมเครือ ดังนั้นจึงแนะนำให้หลีกเลี่ยงการส่งข้อมูลดิบของ Twitter ไปยัง GitHub และเป็นเหตุผลที่ตัวอย่างของข้อมูลดังกล่าวไม่รวมอยู่ใน repo นี้ (ทวีตที่สร้างโดย AI เองมีแนวโน้มที่จะตกอยู่ภายใต้งานลอกเลียนแบบ/ล้อเลียนที่ได้รับการคุ้มครองโดยการใช้งานโดยชอบธรรม)