Скачать twitter scraper - twitter scraper скачать исходный код

twitter scraper

Питон

1.0.0

Скачать

Скребок Твиттера

?? Читать корейскую версию

API Twitter утомляет работу и имеет множество ограничений — к счастью, их интерфейс (JavaScript) имеет собственный API, который я реконструировал. Никаких ограничений по скорости API. Никаких ограничений. Чрезвычайно быстро.

Вы можете использовать эту библиотеку, чтобы легко получить текст твитов любого пользователя.

Предварительные условия

Прежде чем начать, убедитесь, что вы выполнили следующие требования:

Подключение к Интернету
Питон 3.6+

Установка твиттер-скребка

Если вы хотите использовать последнюю версию, установите ее из исходного кода. Чтобы установить twitter-scraper из исходного кода, выполните следующие действия:

Linux и MacOS:

git clone https://github.com/bisguzar/twitter-scraper.git
cd twitter-scraper
sudo python3 setup.py install

Кроме того, вы можете установить с помощью PyPI.

pip3 install twitter_scraper

Использование twitter_scraper

Просто импортируйте twitter_scraper и вызывайте функции!

→ функция get_tweets(query: str [,pages: int]) -> словарь

Вы можете получать твиты профиля или анализировать твиты по хэштегу, get_tweets принимает имя пользователя или хэштег по первому параметру в виде строки, а количество страниц, которое вы хотите сканировать по второму параметру, в виде целого числа.

Иметь в виду:

Первый параметр должен начинаться с #, знака цифры, если вы хотите получать твиты по хэштегу.
Параметр страниц является необязательным.

 Python 3.7 .3 ( default , Mar 26 2019 , 21 : 43 : 19 ) 
[ GCC 8.2 .1 20181127 ] on linux
Type "help" , "copyright" , "credits" or "license" for more information .
> >> from twitter_scraper import get_tweets
>> > 
>> > for tweet in get_tweets ( 'twitter' , pages = 1 ):
...     print ( tweet [ 'text' ])
... 
spooky vibe check
…

Он возвращает словарь для каждого твита. Ключи словаря;

Ключ	Тип	Описание
идентификатор твита	нить	Идентификатор твита. Чтобы просмотреть твит, посетите twitter.com/USERNAME/ID.
ID пользователя	нить	Идентификатор пользователя твита
имя пользователя	нить	Имя пользователя твита
URL-адрес твита	нить	URL-адрес твита
isРетвитнуть	логическое значение	True, если это ретвит, False в противном случае.
isPinned	логическое значение	True, если это закрепленный твит, False в противном случае.
время	дата и время	Дата публикации твита
текст	нить	Содержание твита
ответы	целое число	Количество ответов на твит
ретвиты	целое число	Количество ретвитов твита
любит	целое число	Как количество твитов
записи	словарь	Имеет хэштеги, видео, фотографии, URL-адреса. Значение каждого из них - список

→ функция get_trends() -> список

Вы можете получить тренды вашего региона, просто вызвав get_trends() . Он вернет список строк.

 Python 3.7 .3 ( default , Mar 26 2019 , 21 : 43 : 19 ) 
[ GCC 8.2 .1 20181127 ] on linux
Type "help" , "copyright" , "credits" or "license" for more information .
> >> from twitter_scraper import get_trends
>> > get_trends ()
[ '#WHUTOT' , '#ARSSOU' , 'West Ham' , '#AtalantaJuve' , '#バビロニア' , '#おっさんずラブinthasky' , 'Southampton' , 'Valverde' , '#MMKGabAndMax' , '#23NParoNacional' ]

→ Профиль класса (имя пользователя: str) → экземпляр класса

Вы можете получить личную информацию профиля, например день рождения и биографию, если она существует и общедоступна. Этот класс принимает параметр имени пользователя. И возвращает себя. Доступ к информации с помощью переменных класса.

 Python 3.7 .3 ( default , Mar 26 2019 , 21 : 43 : 19 ) 
[ GCC 8.2 .1 20181127 ] on linux
Type "help" , "copyright" , "credits" or "license" for more information .
> >> from twitter_scraper import Profile
>> > profile = Profile ( 'bugraisguzar' )
>> > profile . location
'Istanbul'
>> > profile . name
'Buğra İşgüzar'
>> > profile . username
'bugraisguzar'

→ .to_dict() -> дикт

to_dict — это метод класса Profile . Возвращает данные профиля в виде словаря Python.

 Python 3.7 .3 ( default , Mar 26 2019 , 21 : 43 : 19 ) 
[ GCC 8.2 .1 20181127 ] on linux
Type "help" , "copyright" , "credits" or "license" for more information .
> >> from twitter_scraper import Profile
>> > profile = Profile ( "bugraisguzar" )
>> > profile . to_dict ()
{ 'name' : 'Buğra İşgüzar' , 'username' : 'bugraisguzar' , 'birthday' : None , 'biography' : 'geliştirici@peptr' , 'website' : 'bisguzar.com' , 'profile_photo' : 'https://pbs.twimg.com/profile_images/1199305322474745861/nByxOcDZ_400x400.jpg' , 'banner_photo' : 'https://pbs.twimg.com/profile_banners/1019138658/1555346657/1500x500' , 'likes_count' : 2512 , 'tweets_count' : 756 , 'followers_count' : 483 , 'following_count' : 255 , 'is_verified' : False , 'is_private' : False , user_id : "1019138658" }