stweet下載 - stweet原始碼下載

stweet

其他源碼

v2.1.1

下載

推文

Python是

一個現代的快速 Python 庫，用於快速從 Twitter 非官方 API 中刪除推文和用戶。

此工具可協助您按搜尋字詞、按 ID 和使用者名稱截取推文。它使用 Twitter API，與網站上使用的 API 相同。

圖書館創作的靈感

我曾經使用 twint 來廢棄推文，但它有很多錯誤，並且無法正常工作。該程式碼並不容易理解。所有任務都有一個配置，使用者必須知道確切的參數。最後一個重要的事情是 Api 可以改變——Twitter 是 API 擁有者，改變取決於它。當某些東西不起作用並且用戶必須將錯誤報告為問題時，這很煩人。

圖書館的主要優勢

簡單的程式碼－程式碼不僅是我的，每個使用者都可以為函式庫做出貢獻
領域物件和介面——功能的主要部分可以被取代（例如呼叫網路請求），該程式庫有基本的簡單解決方案——如果你想擴展它，你可以毫無問題和分叉地做到這一點
整合測試100%覆蓋率－這個優點可以發現API的變化，每週都會進行測試，當任務失敗時，我們可以輕易找到變化的來源– 2.0 版本中沒有
自訂推文和用戶輸出——它是介面的一部分，如果你想保存推文和用戶自訂格式，需要花一點時間

安裝

pip install -U stweet

捐

如果您想贊助我，為了感謝該項目，請給我發送一些加密貨幣？

硬幣	錢包地址
比特幣	3EajE9DbLvEmBHLRzjDfG86LyZB4jzsZyg
以太幣	0xE43d8C2c7a9af286bc2fc0568e2812151AF9b1FD

基本用法

要提出簡單的請求，必須準備報廢任務。此任務應由**運行者**處理。

 import stweet as st


def try_search ():
    search_tweets_task = st . SearchTweetsTask ( all_words = '#covid19' )
    output_jl_tweets = st . JsonLineFileRawOutput ( 'output_raw_search_tweets.jl' )
    output_jl_users = st . JsonLineFileRawOutput ( 'output_raw_search_users.jl' )
    output_print = st . PrintRawOutput ()
    st . TweetSearchRunner ( search_tweets_task = search_tweets_task ,
                         tweet_raw_data_outputs = [ output_print , output_jl_tweets ],
                         user_raw_data_outputs = [ output_print , output_jl_users ]). run ()


def try_user_scrap ():
    user_task = st . GetUsersTask ([ 'iga_swiatek' ])
    output_json = st . JsonLineFileRawOutput ( 'output_raw_user.jl' )
    output_print = st . PrintRawOutput ()
    st . GetUsersRunner ( get_user_task = user_task , raw_data_outputs = [ output_print , output_json ]). run ()


def try_tweet_by_id_scrap ():
    id_task = st . TweetsByIdTask ( '1447348840164564994' )
    output_json = st . JsonLineFileRawOutput ( 'output_raw_id.jl' )
    output_print = st . PrintRawOutput ()
    st . TweetsByIdRunner ( tweets_by_id_task = id_task ,
                        raw_data_outputs = [ output_print , output_json ]). run ()


if __name__ == '__main__' :
    try_search ()
    try_user_scrap ()
    try_tweet_by_id_scrap ()

上面的範例表明，廢棄推文只需要幾行程式碼。

導出格式

Stweet 使用網站上的 api，因此沒有有關接收回應的文件。回應保存為原始數據，因此最終用戶必須自行解析它。也許解析器會被加入到功能中。

報廢的資料可以透過使用RawDataOutput抽象類別以不同的方式匯出。這些輸出的列表可以在每個運行器中傳遞 - 是的，可以透過兩種不同的方式導出。

目前，sweet 已實作：

CollectorRawOutput – 可以將資料保存在記憶體中並作為物件清單返回
JsonLineFileRawOutput – 可以將資料匯出為 json 行
PrintEveryNRawOutput – 列印每第 N 個項目
PrintFirstInBatchRawOutput – 大量列印第一個項目
PrintRawOutput – 列印所有項目（不建議在大量報廢中使用）

使用 Tor 代理

庫與 tor-python-easy 整合。它允許使用具有公開控制端口的 Tor 代理 – 在需要時更改 IP。

如果您想使用 Tor 代理客戶端，您需要準備自訂 Web 用戶端並在運行器中使用它。

您需要執行 tor proxy—您可以在本機作業系統上執行它，也可以使用這個 docker-compose。

下面的程式碼片段展示如何使用代理：

 import stweet as st

if __name__ == '__main__' :
    web_client = st . DefaultTwitterWebClientProvider . get_web_client_preconfigured_for_tor_proxy (
        socks_proxy_url = 'socks5://localhost:9050' ,
        control_host = 'localhost' ,
        control_port = 9051 ,
        control_password = 'test1234'
    )

    search_tweets_task = st . SearchTweetsTask ( all_words = '#covid19' )
    output_jl_tweets = st . JsonLineFileRawOutput ( 'output_raw_search_tweets.jl' )
    output_jl_users = st . JsonLineFileRawOutput ( 'output_raw_search_users.jl' )
    output_print = st . PrintRawOutput ()
    st . TweetSearchRunner ( search_tweets_task = search_tweets_task ,
                         tweet_raw_data_outputs = [ output_print , output_jl_tweets ],
                         user_raw_data_outputs = [ output_print , output_jl_users ],
                         web_client = web_client ). run ()