stweet下载 - stweet源代码下载

stweet

其他源码

v2.1.1

下载

推文

Python包

一个现代的快速 Python 库，用于快速从 Twitter 非官方 API 中删除推文和用户。

该工具可帮助您按搜索短语、按 ID 和用户名截取推文。它使用 Twitter API，与网站上使用的 API 相同。

图书馆创建的灵感

我曾经使用 twint 来废弃推文，但它有很多错误，并且无法正常工作。该代码并不容易理解。所有任务都有一个配置，用户必须知道确切的参数。最后一个重要的事情是 Api 可以改变——Twitter 是 API 所有者，改变取决于它。当某些东西不起作用并且用户必须将错误报告为问题时，这很烦人。

图书馆的主要优势

简单的代码——代码不仅是我的，每个用户都可以为库做出贡献
领域对象和接口——功能的主要部分可以被替换（例如调用网络请求），该库有基本的简单解决方案——如果你想扩展它，你可以毫无问题和分叉地做到这一点
集成测试100%覆盖率——这个优点可以发现API的变化，每周都会进行测试，当任务失败时，我们可以很容易地找到变化的来源– 2.0 版本中没有
自定义推文和用户输出——它是界面的一部分，如果你想保存推文和用户自定义格式，需要花一点时间

安装

pip install -U stweet

捐

如果您想赞助我，为了感谢该项目，请给我发送一些加密货币？：

硬币	钱包地址
比特币	3EajE9DbLvEmBHLRzjDfG86LyZB4jzsZyg
以太币	0xE43d8C2c7a9af286bc2fc0568e2812151AF9b1FD

基本用法

要提出简单的请求，必须准备报废任务。该任务应由**运行者**处理。

 import stweet as st


def try_search ():
    search_tweets_task = st . SearchTweetsTask ( all_words = '#covid19' )
    output_jl_tweets = st . JsonLineFileRawOutput ( 'output_raw_search_tweets.jl' )
    output_jl_users = st . JsonLineFileRawOutput ( 'output_raw_search_users.jl' )
    output_print = st . PrintRawOutput ()
    st . TweetSearchRunner ( search_tweets_task = search_tweets_task ,
                         tweet_raw_data_outputs = [ output_print , output_jl_tweets ],
                         user_raw_data_outputs = [ output_print , output_jl_users ]). run ()


def try_user_scrap ():
    user_task = st . GetUsersTask ([ 'iga_swiatek' ])
    output_json = st . JsonLineFileRawOutput ( 'output_raw_user.jl' )
    output_print = st . PrintRawOutput ()
    st . GetUsersRunner ( get_user_task = user_task , raw_data_outputs = [ output_print , output_json ]). run ()


def try_tweet_by_id_scrap ():
    id_task = st . TweetsByIdTask ( '1447348840164564994' )
    output_json = st . JsonLineFileRawOutput ( 'output_raw_id.jl' )
    output_print = st . PrintRawOutput ()
    st . TweetsByIdRunner ( tweets_by_id_task = id_task ,
                        raw_data_outputs = [ output_print , output_json ]). run ()


if __name__ == '__main__' :
    try_search ()
    try_user_scrap ()
    try_tweet_by_id_scrap ()

上面的示例表明，废弃推文只需要几行代码。

导出格式

Stweet 使用网站上的 api，因此没有有关接收响应的文档。响应保存为原始数据，因此最终用户必须自行解析它。也许解析器会被添加到功能中。

报废的数据可以通过使用RawDataOutput抽象类以不同的方式导出。这些输出的列表可以在每个运行器中传递 - 是的，可以通过两种不同的方式导出。

目前，sweet 已实现：

CollectorRawOutput – 可以将数据保存在内存中并作为对象列表返回
JsonLineFileRawOutput – 可以将数据导出为 json 行
PrintEveryNRawOutput – 打印每第 N 个项目
PrintFirstInBatchRawOutput – 批量打印第一个项目
PrintRawOutput – 打印所有项目（不建议在大量报废中使用）

使用 Tor 代理

库与 tor-python-easy 集成。它允许使用带有公开控制端口的 Tor 代理 – 在需要时更改 IP。

如果您想使用 Tor 代理客户端，您需要准备自定义 Web 客户端并在运行器中使用它。

您需要运行 tor proxy——您可以在本地操作系统上运行它，也可以使用这个 docker-compose。

下面的代码片段展示了如何使用代理：

 import stweet as st

if __name__ == '__main__' :
    web_client = st . DefaultTwitterWebClientProvider . get_web_client_preconfigured_for_tor_proxy (
        socks_proxy_url = 'socks5://localhost:9050' ,
        control_host = 'localhost' ,
        control_port = 9051 ,
        control_password = 'test1234'
    )

    search_tweets_task = st . SearchTweetsTask ( all_words = '#covid19' )
    output_jl_tweets = st . JsonLineFileRawOutput ( 'output_raw_search_tweets.jl' )
    output_jl_users = st . JsonLineFileRawOutput ( 'output_raw_search_users.jl' )
    output_print = st . PrintRawOutput ()
    st . TweetSearchRunner ( search_tweets_task = search_tweets_task ,
                         tweet_raw_data_outputs = [ output_print , output_jl_tweets ],
                         user_raw_data_outputs = [ output_print , output_jl_users ],
                         web_client = web_client ). run ()