download tweets ai text gen plus Скачать - download tweets ai text gen plus скачать исходный код

download tweets ai text gen plus

Другой исходный код

1.0.0

Скачать

скачать-tweets-ai-text-gen-plus

Небольшой скрипт Python 3 для загрузки общедоступных твитов из учетных записей Twitter в формат, подходящий для инструментов генерации текста AI (например, gpt-2-simple для точной настройки GPT-2).

Извлекает все твиты в виде простого CSV с помощью одной команды CLI.
Предварительная обработка твитов для удаления URL-адресов, лишних пробелов и, при необходимости, пользовательских тегов/хэштегов.
Сохраняет твиты после каждого сбора на случай, если возникнет ошибка или вы захотите завершить сбор раньше

Вы можете просмотреть примеры твитов, созданных искусственным интеллектом, из наборов данных, полученных с помощью этого инструмента, в папке /examples .

Настраивать

Сначала клонируйте этот репозиторий в свою систему и установите зависимости с помощью следующих команд:

git clone https://github.com/sdelgadoc/download-tweets-ai-text-gen-plus.git
cd download-tweets-ai-text-gen-plus
pip3 install -r requirements.txt

Предыдущие версии этого кода использовали библиотеки очистки для сбора твитов. С тех пор Twitter усложнил сбор данных, одновременно предоставив более надежные API для сбора твитов. В ответ мы портировали этот код для работы только с API Twitter.

Чтобы продолжить настройку, создайте приложение Twitter, чтобы получить доступ к API Twitter. Создав приложение, сгенерируйте токены доступа и введите их в раздел keys.py , показанный ниже.

 keys = { 'consumer_key' : "" ,
        'consumer_secret' : "" ,
        'access_token' : "" ,
        'access_token_secret' : "" }

Наконец, перейдите на страницу сред разработки API Twitter, создайте среду разработки для API полного архива и введите имя среды в раздел label keys.py , показанного ниже.

 label = ""

Использование

Скрипт запускается через интерфейс командной строки. После cd в каталог, где хранится скрипт в терминале, запустите:

python3 download_tweets.py < twitter_username > 100

например, если вы хотите загрузить 100 твитов (без ретвитов/ответов/цитатов) от пользователя Twitter @santiagodc, запустите:

python3 download_tweets.py santiagodc 100

ПРИМЕЧАНИЕ. Уровень бесплатного пользования API Twitter имеет ограничение на сбор 5000 твитов в месяц, поэтому установите ограничение на количество твитов, чтобы избежать слишком быстрого превышения лимита.

Скрипт также может загружать твиты от нескольких имен пользователей одновременно. Для этого сначала создайте текстовый файл (.txt) со списком имен пользователей. Затем запустите скрипт, ссылаясь на имя файла:

python3 download_tweets.py < twitter_usernames_file_name > 100

Твиты будут загружены в CSV-файл с одним столбцом под названием <usernames>_tweets.csv .

Параметры, которые вы можете передать в интерфейс командной строки (позиционно или явно):

имя пользователя: имя пользователя учетной записи, чьи твиты или имя файла .txt с несколькими именами пользователей вы хотите загрузить [обязательно]
предел: количество твитов для загрузки [по умолчанию: все возможные твиты]
include_replies: включить ответы пользователя в набор данных [по умолчанию: False]
Strip_usertags: удаляет теги @ пользователя из текста твита [по умолчанию: False]
Strip_hashtags: удаляет # хэштеги из текста твита [по умолчанию: False]
настроение: добавляет указанное количество категорий настроений к выходным данным, чтобы вы могли генерировать положительные/отрицательные твиты, изменяя параметр [по умолчанию: 0, возможные значения: 0, 3, 5, 7]
text_format: определяет формат, в котором будут возвращаться твиты. «Простой» формат возвращает только текст твита. Формат «ответ» возвращает информацию о предыдущих твитах для обучения ИИ, который может отвечать на твиты [по умолчанию: «простой», возможные значения: «простой», «ответить»]
временной интервал: указывает, когда начинать захват твитов с [по умолчанию: 22 марта 2006 г.]

Как работает функция настроений

Параметр тональности добавляет категорию тональности к тексту твита. Эта информация позволяет пользователю обучать и генерировать текст с разными тонами, изменяя параметр.

Выходной формат с использованием «простого» текстового формата следующий:

[ Sentiment category ]
[ Tweet text for the tweet that was collected ]

Параметр тональности принимает целое число, указывающее количество возвращаемых категорий тональности. Категории настроений для различных возможных параметров следующие:

0: категория настроений не возвращается.
3: ПОЗИТИВНЫЙ, НЕЙТРАЛЬНЫЙ, НЕГАТИВНЫЙ
5: ОЧЕНЬ ПОЗИТИВНО, ПОЗИТИВНО, НЕЙТРАЛЬНО, НЕГАТИВНО, ОЧЕНЬ НЕГАТИВНО.
7: КРАЙНЕ ПОЗИТИВНО, ОЧЕНЬ ПОЗИТИВНО, ПОЗИТИВНО, НЕЙТРАЛЬНО, НЕГАТИВНО, ОЧЕНЬ НЕГАТИВНО, КРАЙНЕ НЕГАТИВНО.

Как работает функция text_format

Код поддерживает сбор твитов в формате для обучения ИИ, который может отвечать на другие твиты. Выходной формат основан на формате, используемом для обучения сообщества Subreddit Simulator Reddit.

Формат вывода следующий:

 **** ARGUMENTS
ORIGINAL or REPLY: Whether the tweet is an original tweet or a reply
SENTIMENT: If the sentiment parameter is used, text describing the tweet text's sentiment
**** PARENT
[ Tweet text for the topmost tweet in a reply thread ]
**** IN_REPLY_TO
[ Tweet text for the tweet that is being responded to ]
**** TWEET
[ Tweet text for the tweet that was collected ]

Чтобы собрать твиты с этим форматом ответа, выполните следующую инструкцию:

python3 download_tweets.py < twitter_username > None True False False False 3 reply

Как работает функция таймфрейма

Указав дату, скрипт загрузит твиты со значения timeframe до настоящего времени. По умолчанию он загружает каждый твит от данного пользователя (или пользователей), начиная с 22 марта 2006 года, дня, когда был отправлен первый твит. Параметр timeframe является точным и позволяет вам указать желаемый год, месяц, день, час и минуту для загрузки твитов в указанном порядке. Формат, который принимает параметр timeframe , выглядит как YYYYMMDDHHMM .

Как обучить ИИ скачанным твитам

В gpt-2-simple предусмотрен специальный случай для CSV-файлов с одним столбцом, где он автоматически обрабатывает текст для лучшего обучения и генерации. (т.е. добавляя <|startoftext|> и <|endoftext|> к каждому твиту, что позволяет независимо генерировать твиты)

Вы можете использовать этот блокнот Colaboratory (оптимизированный на основе исходного блокнота для этого варианта использования) для обучения модели на загруженных вами твитах и создания на ее основе огромного количества твитов. Обратите внимание, что без большого количества данных модель может легко переобучиться; возможно, вы захотите тренироваться на меньшее количество steps (например, 500 ).

При создании вам всегда необходимо включать определенные параметры для декодирования твитов, например:

 gpt2 . generate ( sess ,
              length = 200 ,
              temperature = 0.7 ,
              prefix = '<|startoftext|>' ,
              truncate = '<|endoftext|>' ,
              include_prefix = False
              )

Полезные примечания

Вам понадобятся как минимум тысячи твитов для подачи во входную модель для получения хороших результатов. (в идеале 1 МБ входных текстовых данных, хотя с твитами этого трудно достичь)
Чтобы получить 1 МБ входных текстовых данных, вы можете загрузить данные от нескольких похожих имен пользователей Twitter.
Загрузка, скорее всего, закончится намного раньше, чем теоретический предел (выведенный из профиля пользователя), поскольку этот лимит включает в себя ретвиты/ответы/любые махинации с кэшем, которые использует Twitter.
Законность распространения загруженных твитов неоднозначна, поэтому рекомендуется избегать передачи необработанных данных Твиттера в GitHub, и именно по этой причине примеры таких данных не включены в этот репозиторий. (Твиты, созданные искусственным интеллектом, скорее всего, подпадают под категорию производных работ/пародий, защищенных принципом добросовестного использования)