download tweets ai text gen plusダウンロード - download tweets ai text gen plusソースコードダウンロード

download tweets ai text gen plus

その他のソースコード

1.0.0

ダウンロード

ダウンロード-ツイート-AI-テキスト-gen-plus

Twitter アカウントから公開ツイートを AI テキスト生成ツール (GPT-2 を微調整するための gpt-2-simple など) に適した形式でダウンロードするための小さな Python 3 スクリプト。

単一の CLI コマンドですべてのツイートを単純な CSV として取得します
ツイートを前処理して、URL、余分なスペース、およびオプションでユーザータグ/ハッシュタグを削除します
エラーが発生した場合や収集を早期に終了したい場合に備えて、各収集後にツイートを保存します

このツールで取得したデータセットから AI が生成したツイートの例は、 /examplesフォルダーで表示できます。

設定

まず、このリポジトリのクローンをシステムに作成し、次のコマンドを使用して依存関係をインストールします。

git clone https://github.com/sdelgadoc/download-tweets-ai-text-gen-plus.git
cd download-tweets-ai-text-gen-plus
pip3 install -r requirements.txt

このコードの以前のバージョンでは、スクレイピングライブラリを使用してツイートを収集していました。それ以来、Twitter はより堅牢なツイート収集 API を提供しながら、スクレイピングをより困難にしました。それに応じて、このコードを Twitter の API でのみ実行できるように移植しました。

セットアップを続行するには、Twitter API にアクセスできるように Twitter アプリを作成します。アプリを作成したら、アクセストークンを生成し、以下に示すkeys.pyファイルのセクションにそれらを入力します。

 keys = { 'consumer_key' : "" ,
        'consumer_secret' : "" ,
        'access_token' : "" ,
        'access_token_secret' : "" }

最後に、Twitter API の開発環境ページに移動し、フルアーカイブ API の開発環境を生成し、以下に示すkeys.pyファイルのlabelセクションに環境の名前を入力します。

 label = ""

使用法

スクリプトはコマンドラインインターフェイス経由で実行されます。ターミナルでスクリプトが保存されているディレクトリにcdした後、次のコマンドを実行します。

python3 download_tweets.py < twitter_username > 100

たとえば、Twitter ユーザー @santiagodc から 100 件のツイート (リツイート/返信/引用ツイートを除く) をダウンロードする場合は、次を実行します。

python3 download_tweets.py santiagodc 100

注: Twitter API の無料枠には、1 か月あたり 5,000 ツイートのコレクション制限があるため、すぐに制限に達しないようにツイート制限を設定してください。

このスクリプトでは、複数のユーザー名のツイートを一度にダウンロードすることもできます。これを行うには、まずユーザー名のリストを含むテキストファイル (.txt) を作成します。次に、ファイル名を参照するスクリプトを実行します。

python3 download_tweets.py < twitter_usernames_file_name > 100

ツイートは、 <usernames>_tweets.csvという名前の 1 列の CSV にダウンロードされます。

コマンドラインインターフェイスに (位置的または明示的に) 渡すことができるパラメーターは次のとおりです。

ユーザー名: ツイートまたは複数のユーザー名を含む .txt ファイル名をダウンロードするアカウントのユーザー名 [必須]
制限: ダウンロードするツイートの数 [デフォルト: すべてのツイートが可能]
include_replies: ユーザーからの返信をデータセットに含めます [デフォルト: False]
ストリップ_ユーザータグ: ツイートテキスト内の@ユーザータグを削除します [デフォルト: False]
Stripe_hashtags: ツイートのテキストから#のハッシュタグを削除します [デフォルト: False]
センチメント: 指定された数のセンチメントカテゴリを出力に追加して、パラメーターを変更してポジティブ/ネガティブなツイートを生成できるようにします [デフォルト: 0、可能な値: 0、3、5、7]
text_format: ツイートが返される形式を指定します。「シンプル」形式はツイートのテキストのみを返します。「返信」形式は、ツイートに返信できる AI をトレーニングするために、前のツイートに関する情報を返します [デフォルト: 'simple'、可能な値: 'simple'、'reply']
timeframe: ツイートの取得を開始する時期を指定します [デフォルト: 2006 年 3 月 22 日]

センチメント機能はどのように機能しますか

センチメントパラメーターは、ツイートテキストにセンチメントカテゴリを追加します。この情報により、ユーザーはパラメーターを変更することで、さまざまな感情を含むテキストをトレーニングおよび生成できます。

「単純」テキスト形式を使用した出力形式は次のとおりです。

[ Sentiment category ]
[ Tweet text for the tweet that was collected ]

センチメントパラメーターは、返されるセンチメントカテゴリの数を指定する整数を受け入れます。考えられるさまざまなパラメーターのセンチメントカテゴリは次のとおりです。

0: 感情カテゴリは返されません
3: ポジティブ、ニュートラル、ネガティブ
5: 非常にポジティブ、ポジティブ、中立、ネガティブ、非常にネガティブ
7: 非常にポジティブ、非常にポジティブ、ポジティブ、中立、ネガティブ、非常にネガティブ、非常にネガティブ

text_format 機能はどのように機能しますか

このコードは、他のツイートに返信できる AI をトレーニングするための形式でツイートを収集することをサポートしています。出力形式は、Subreddit Simulator Reddit コミュニティのトレーニングに使用される形式に基づいています。

出力形式は次のとおりです。

 **** ARGUMENTS
ORIGINAL or REPLY: Whether the tweet is an original tweet or a reply
SENTIMENT: If the sentiment parameter is used, text describing the tweet text's sentiment
**** PARENT
[ Tweet text for the topmost tweet in a reply thread ]
**** IN_REPLY_TO
[ Tweet text for the tweet that is being responded to ]
**** TWEET
[ Tweet text for the tweet that was collected ]

この返信形式でツイートを収集するには、次のステートメントを実行します。

python3 download_tweets.py < twitter_username > None True False False False 3 reply

タイムフレーム機能はどのように機能しますか

日付を指定すると、スクリプトはその値のtimeframeから現在までのツイートをダウンロードします。デフォルトでは、最初のツイートが送信された日である 2006 年 3 月 22 日以降、特定のユーザー (または複数のユーザー) からのすべてのツイートがダウンロードされます。 timeframeパラメータは正確で、希望する年、月、日、時、分を指定して、その順序でツイートをダウンロードできます。 timeframeパラメーターが受け入れる形式は、 YYYYMMDDHHMMのようになります。

ダウンロードしたツイートで AI をトレーニングする方法

gpt-2-simple には、単一列 CSV 用の特別なケースがあり、最適なトレーニングと生成のためにテキストが自動的に処理されます。 (つまり、 <|startoftext|>と<|endoftext|>を各ツイートに追加して、ツイートを独立して生成できるようにします)

この Colaboratory ノートブック (このユースケース用に元のノートブックから最適化されたもの) を使用して、ダウンロードしたツイートでモデルをトレーニングし、そこから大量のツイートを生成できます。大量のデータがないと、モデルは簡単に過剰適合する可能性があることに注意してください。より少ないsteps (例: 500 ) でトレーニングすることもできます。

生成するときは、ツイートをデコードするために常に特定のパラメーターを含める必要があります。例:

 gpt2 . generate ( sess ,
              length = 200 ,
              temperature = 0.7 ,
              prefix = '<|startoftext|>' ,
              truncate = '<|endoftext|>' ,
              include_prefix = False
              )

役立つメモ

良好な生成結果を得るには、入力モデルにフィードするには少なくとも数千のツイートが必要です。 (理想的には 1 MB の入力テキストデータですが、ツイートの場合は達成が困難です)
1 MB の入力テキストデータに到達できるように、複数の類似した Twitter ユーザー名からデータをロードできます。
制限にはリツイート/返信/Twitter が採用しているあらゆるキャッシュ詐欺行為が含まれるため、理論上の制限 (ユーザープロフィールから推測) よりもはるかに早くダウンロードが終了する可能性があります。
ダウンロードされたツイートの配布の合法性は曖昧であるため、生の Twitter データを GitHub にコミットすることは避けることが推奨されており、そのようなデータの例がこのリポジトリに含まれていないのはこれが理由です。 (AI が生成したツイート自体は、フェアユースによって保護される二次的著作物/パロディに該当する可能性があります)