download tweets ai text gen plus下载 - download tweets ai text gen plus源代码下载

download tweets ai text gen plus

其他源码

1.0.0

下载

下载推文 ai-text-gen-plus

一个小型 Python 3 脚本，用于将 Twitter 帐户中的公共推文下载为适合 AI 文本生成工具的格式（例如用于微调 GPT-2 的 gpt-2-simple）。

使用单个 CLI 命令以简单的 CSV 形式检索所有推文
预处理推文以删除 URL、多余空格以及可选的用户标签/主题标签
每次收集后保存推文，以防出现错误或您想提前结束收集

您可以在/examples文件夹中查看使用此工具检索的数据集中 AI 生成的推文示例。

设置

首先，将此存储库克隆到您的系统上，并使用以下命令安装依赖项：

git clone https://github.com/sdelgadoc/download-tweets-ai-text-gen-plus.git
cd download-tweets-ai-text-gen-plus
pip3 install -r requirements.txt

此代码的早期版本使用抓取库来收集推文。从那时起，Twitter 加大了抓取难度，同时提供了更强大的推文收集 API。作为回应，我们将此代码移植为仅与 Twitter 的 API 一起运行。

要继续设置，请创建一个 Twitter 应用程序，以便您可以获得对 Twitter API 的访问权限。创建应用程序后，生成访问令牌，并将其输入到如下所示的keys.py文件的部分中。

 keys = { 'consumer_key' : "" ,
        'consumer_secret' : "" ,
        'access_token' : "" ,
        'access_token_secret' : "" }

最后，转到 Twitter API 的开发环境页面，为 Full Archive API 生成开发环境，并将环境名称输入到如下所示的keys.py文件的label部分。

 label = ""

用法

该脚本通过命令行界面运行。 cd进入终端中存储脚本的目录后，运行：

python3 download_tweets.py < twitter_username > 100

例如，如果您想从 Twitter 用户 @santiagodc 下载 100 条推文（无转发/回复/引用推文），请运行：

python3 download_tweets.py santiagodc 100

注意：Twittter API 的免费套餐的收集限制为每月 5,000 条推文，因此请设置推文限制以避免过快达到限制

该脚本还可以一次下载多个用户名的推文。为此，首先创建一个包含用户名列表的文本文件 (.txt)。然后，运行引用文件名的脚本：

python3 download_tweets.py < twitter_usernames_file_name > 100

推文将下载到标题为<usernames>_tweets.csv的单列 CSV 中。

您可以（按位置或显式）传递到命令行界面的参数包括：

用户名：您要下载其推文或具有多个用户名的 .txt 文件名的帐户的用户名 [必需]
limit：要下载的推文数量[默认：所有推文都可能]
include_replies：在数据集中包含用户的回复[默认值：False]
strip_usertags：删除推文文本中的@用户标签[默认值：False]
strip_hashtags：删除推文文本中的#标签[默认值：False]
情绪：将指定数量的情绪类别添加到输出中，以便您可以通过更改参数来生成正面/负面推文 [默认值：0，可能值：0、3、5、7]
text_format：指定返回推文的格式。 “简单”格式仅返回推文文本。 “reply”格式返回之前推文的信息，以训练可以回复推文的 AI [默认值：“simple”，可能的值：“simple”、“reply”]
timeframe：指定何时开始抓取推文 [默认值：2006 年 3 月 22 日]

情绪功能如何运作

情绪参数将情绪类别添加到推文文本中。该信息允许用户通过更改参数来训练和生成具有不同情感的文本。

使用“简单”文本格式的输出格式如下：

[ Sentiment category ]
[ Tweet text for the tweet that was collected ]

情绪参数接受一个整数，指定返回的情绪类别的数量。不同可能参数的情绪类别如下：

0：不返回情感类别
3：正面、中性、负面
5：非常积极、积极、中立、消极、非常消极
7：非常积极、非常积极、积极、中立、消极、非常消极、极其消极

text_format 功能如何工作

该代码支持以某种格式收集推文，以训练可以回复其他推文的人工智能。输出格式基于用于训练 Reddit Subreddit 模拟器 Reddit 社区的格式。

输出格式如下：

 **** ARGUMENTS
ORIGINAL or REPLY: Whether the tweet is an original tweet or a reply
SENTIMENT: If the sentiment parameter is used, text describing the tweet text's sentiment
**** PARENT
[ Tweet text for the topmost tweet in a reply thread ]
**** IN_REPLY_TO
[ Tweet text for the tweet that is being responded to ]
**** TWEET
[ Tweet text for the tweet that was collected ]

要通过运行以下语句来收集具有此回复格式的推文：

python3 download_tweets.py < twitter_username > None True False False False 3 reply

时间范围功能如何运作

通过指定日期，脚本将下载从值timeframe到现在的推文。默认情况下，它将下载从 2006 年 3 月 22 日（第一条推文发送当天）开始的给定用户（或多个用户）的每条推文。 timeframe参数是精确的，它允许您输入所需的年、月、日、小时和分钟以按顺序下载推文。 timeframe参数接受的格式类似于YYYYMMDDHHMM 。

如何根据下载的推文训练人工智能

gpt-2-simple 对于单列 CSV 有一个特殊情况，它将自动处理文本以实现最佳训练和生成。（即通过添加<|startoftext|>和<|endoftext|>到每条推文，允许独立生成推文）

您可以使用此 Colaboratory 笔记本（针对此用例针对原始笔记本进行了优化）在您下载的推文上训练模型，并从中生成大量推文。请注意，如果没有大量数据，模型可能很容易过拟合；您可能想要训练更少的steps （例如500 ）。

生成时，您始终需要包含某些参数来解码推文，例如：

 gpt2 . generate ( sess ,
              length = 200 ,
              temperature = 0.7 ,
              prefix = '<|startoftext|>' ,
              truncate = '<|endoftext|>' ,
              include_prefix = False
              )

有用的注释

您至少需要数千条推文才能输入输入模型以获得良好的生成结果。（理想情况下是 1 MB 的输入文本数据，尽管推文很难实现）
为了帮助您达到 1 MB 的输入文本数据，您可以从多个相似的 Twitter 用户名加载数据
下载可能会比理论限制（从用户配置文件推断）早得多结束，因为该限制包括转发/回复/Twitter 正在使用的任何缓存恶作剧。
分发下载推文的合法性不明确，因此建议避免将原始 Twitter 数据提交到 GitHub，这也是此存储库中未包含此类数据示例的原因。（人工智能生成的推文本身可能属于受合理使用保护的衍生作品/模仿）