download tweets ai text gen plus Download - download tweets ai text gen plus download do código-fonte

download tweets ai text gen plus

Outro código-fonte

1.0.0

Baixar

baixar-tweets-ai-text-gen-plus

Um pequeno script Python 3 para baixar tweets públicos de contas do Twitter em um formato adequado para ferramentas de geração de texto de IA (como gpt-2-simple para ajuste fino do GPT-2).

Recupera todos os tweets como um CSV simples com um único comando CLI
Pré-processa tweets para remover URLs, espaços extras e, opcionalmente, usertags/hashtags
Salva tweets após cada coleta caso haja um erro ou você queira encerrar a coleta mais cedo

Você pode ver exemplos de tweets gerados por IA a partir de conjuntos de dados recuperados com esta ferramenta na pasta /examples .

Configurar

Primeiro, clone este repositório em seu sistema e instale as dependências com os seguintes comandos:

git clone https://github.com/sdelgadoc/download-tweets-ai-text-gen-plus.git
cd download-tweets-ai-text-gen-plus
pip3 install -r requirements.txt

Versões anteriores deste código usavam bibliotecas de raspagem para coletar tweets. Desde então, o Twitter tornou a coleta mais difícil, ao mesmo tempo que fornece APIs de coleta de tweets mais robustas. Em resposta, portamos esse código para ser executado apenas com a API do Twitter.

Para continuar a configuração, crie um aplicativo do Twitter para obter acesso à API do Twitter. Depois de criar um aplicativo, gere tokens de acesso e insira-os na seção do arquivo keys.py mostrado abaixo.

 keys = { 'consumer_key' : "" ,
        'consumer_secret' : "" ,
        'access_token' : "" ,
        'access_token_secret' : "" }

Por fim, vá para a página de ambientes Dev da API do Twitter, gere um ambiente Dev para a API Full Archive e insira o nome do ambiente na seção label do arquivo keys.py mostrado abaixo.

 label = ""

Uso

O script é executado por meio de uma interface de linha de comando. Depois de cd no diretório onde o script está armazenado em um terminal, execute:

python3 download_tweets.py < twitter_username > 100

por exemplo, se você deseja baixar 100 tweets (sem retuítes/respostas/tweets com citações) do usuário do Twitter @santiagodc, execute:

python3 download_tweets.py santiagodc 100

NOTA: O nível gratuito da API do Twitter tem um limite de coleta de 5.000 tweets por mês, portanto, defina um limite de tweets para evitar atingir seu limite muito rapidamente

O script também pode baixar tweets de vários nomes de usuário ao mesmo tempo. Para isso, primeiro crie um arquivo de texto (.txt) com a lista de nomes de usuários. Em seguida, execute o script referenciando o nome do arquivo:

python3 download_tweets.py < twitter_usernames_file_name > 100

Os tweets serão baixados em um CSV de coluna única intitulado <usernames>_tweets.csv .

Os parâmetros que você pode passar para a interface da linha de comando (posicional ou explicitamente) são:

nome de usuário: nome de usuário da conta cujos tweets ou nome do arquivo .txt com vários nomes de usuário você deseja baixar [obrigatório]
limite: Número de tweets para download [padrão: todos os tweets possíveis]
include_replies: inclui respostas do usuário no conjunto de dados [padrão: False]
strip_usertags: remove as tags @ user do texto do tweet [padrão: False]
strip_hashtags: remove # hashtags do texto do tweet [padrão: Falso]
sentimento: adiciona o número especificado de categorias de sentimento à saída para que você possa gerar tweets positivos/negativos alterando um parâmetro [padrão: 0, valores possíveis: 0, 3, 5, 7]
text_format: Especifica o formato em que os tweets serão retornados. O formato ‘simples’ retorna apenas o texto do tweet. O formato 'resposta' retorna informações sobre tweets anteriores para treinar uma IA que pode responder a tweets [padrão: 'simples', valores possíveis: 'simples', 'resposta']
período de tempo: especifica quando começar a capturar tweets a partir de [padrão: 22 de março de 2006]

Como funciona a funcionalidade de sentimento

O parâmetro sentiment adiciona uma categoria de sentimento ao texto do tweet. Essas informações permitem ao usuário treinar e gerar textos com diferentes sentimentos alterando um parâmetro.

O formato de saída usando o formato de texto 'simples' é o seguinte:

[ Sentiment category ]
[ Tweet text for the tweet that was collected ]

O parâmetro sentiment aceita um número inteiro que especifica o número de categorias de sentimento retornadas. As categorias de sentimento para os diferentes parâmetros possíveis são as seguintes:

0: Nenhuma categoria de sentimento é retornada
3: POSITIVO, NEUTRO, NEGATIVO
5: MUITO POSITIVO, POSITIVO, NEUTRO, NEGATIVO, MUITO NEGATIVO
7: EXTREMAMENTE POSITIVO, MUITO POSITIVO, POSITIVO, NEUTRO, NEGATIVO, MUITO NEGATIVO, EXTREMAMENTE NEGATIVO

Como funciona a funcionalidade text_format

O código suporta a coleta de tweets em um formato para treinar uma IA que pode responder a outros tweets. O formato de saída é baseado no formato usado para treinar a comunidade Reddit do Subreddit Simulator.

O formato de saída é o seguinte:

 **** ARGUMENTS
ORIGINAL or REPLY: Whether the tweet is an original tweet or a reply
SENTIMENT: If the sentiment parameter is used, text describing the tweet text's sentiment
**** PARENT
[ Tweet text for the topmost tweet in a reply thread ]
**** IN_REPLY_TO
[ Tweet text for the tweet that is being responded to ]
**** TWEET
[ Tweet text for the tweet that was collected ]

Para coletar tweets com este formato de resposta executando a seguinte instrução:

python3 download_tweets.py < twitter_username > None True False False False 3 reply

Como funciona a funcionalidade de prazo

Ao especificar uma data, o script baixará os tweets do timeframe de valor até o presente. Por padrão, ele baixará todos os tweets de um determinado usuário (ou usuários) a partir do dia 22 de março de 2006, o dia em que o primeiro tweet foi enviado. O parâmetro timeframe é preciso, no qual permite definir o ano, mês, dia, hora e minuto desejados para baixar os tweets, nessa ordem. O formato que o parâmetro timeframe aceita é semelhante a YYYYMMDDHHMM .

Como treinar uma IA nos tweets baixados

gpt-2-simple possui um caso especial para CSVs de coluna única, onde processará automaticamente o texto para melhor treinamento e geração. (ou seja, adicionando <|startoftext|> e <|endoftext|> a cada tweet, permitindo a geração independente de tweets)

Você pode usar este notebook colaborativo (otimizado a partir do notebook original para este caso de uso) para treinar o modelo em seus tweets baixados e gerar grandes quantidades de tweets a partir dele. Observe que sem muitos dados, o modelo pode facilmente se ajustar demais; você pode querer treinar menos steps (por exemplo, 500 ).

Ao gerar, você sempre precisará incluir determinados parâmetros para decodificar os tweets, por exemplo:

 gpt2 . generate ( sess ,
              length = 200 ,
              temperature = 0.7 ,
              prefix = '<|startoftext|>' ,
              truncate = '<|endoftext|>' ,
              include_prefix = False
              )

Notas úteis

Você precisará de no mínimo milhares de tweets para alimentar o modelo de entrada para obter bons resultados de geração. (idealmente 1 MB de dados de texto de entrada, embora seja difícil conseguir tweets assim)
Para ajudá-lo a atingir 1 MB de dados de texto de entrada, você pode carregar dados de vários nomes de usuário semelhantes do Twitter
O download provavelmente terminará muito antes do limite teórico (inferido do perfil do usuário), já que o limite inclui retuítes/respostas/quaisquer travessuras de cache que o Twitter esteja empregando.
A legalidade da distribuição de tweets baixados é ambígua, portanto, é recomendável evitar enviar dados brutos do Twitter para o GitHub e é a razão pela qual exemplos de tais dados não estão incluídos neste repositório. (Os próprios tweets gerados por IA provavelmente se enquadram em trabalhos derivados/paródia protegidos pelo Fair Use)