wechat articles crawler

Сканирование статей общедоступного аккаунта WeChat на основе любого прокси, включая чтение и отметки «Нравится».

Записанное видео: нажмите, чтобы перейти

Основные принципы

1. AnyProxy — это HTTP-прокси-сервер Alibaba с открытым исходным кодом, похожий на Fiddler и charles, но он предоставляет дополнительные возможности разработки и может писать код js для изменения запросов и ответов http/https.
2. Чтобы просканировать все статьи официального аккаунта WeChat, сначала получите все статьи, а затем откройте их одну за другой, чтобы узнать название статьи, автора, количество прочтений и количество лайков (количество прочтений и лайков может быть только можно получить во встроенном браузере приложения WeChat) )
3. Каждая общедоступная учетная запись WeChat предоставляет функцию查看历史消息. Нажмите, чтобы открыть эту веб-страницу, и продолжайте прокручивать ее, чтобы просмотреть все опубликованные статьи. На этом этапе на основе Anyproxy изменяется HTML-код веб-страницы и внедряется js-скрипт, обеспечивающий непрерывную прокрутку страницы. При прокрутке вниз получается список всех статей. По сути, это атака «человек посередине».
4. После получения содержимого всех статей (включая URL-адрес, заголовок, время публикации и т. д.) следующим шагом будет циклическое уведомление браузера WeChat о необходимости открывать веб-страницы этих статей одну за другой. В каждую веб-страницу статьи также добавлен js-скрипт. Эта функция предназначена для постоянной проверки количества лайков и прочтений на странице. Если она обнаружена, она будет отправляться на сервер каждый раз, когда количество лайков и прочтений статьи. успешно получен в фоновом режиме, браузер WeChat получит уведомление об открытии следующего URL-адреса. Здесь я использую Socketio для реализации связи между браузером WeChat и собственным сервером koa.

Как показано на рисунке:

Получить демо-список статей:

Открывайте ссылки статьи по одной:

Как бежать

Первым шагом является успешная установка любого прокси. Для этого подробно прочитайте официальное руководство по любому прокси. Оно написано очень подробно, чтобы убедиться, что вы можете успешно проксировать https и просматривать содержимое тела https.

 yarn install
yarn start

Файл result.html будет автоматически открыт для просмотра содержимого просканированных статей в режиме реального времени. Нажмите на официальную учетную запись WeChat и нажмите, чтобы просмотреть исторические сообщения. После этого страница истории продолжит прокручиваться до конца. статьи будут открываться одна за другой и сканироваться по контенту.

конкретный процесс

1. Первым шагом является получение всех исторических статей публичного учета. На реальном компьютере, где был настроен прокси-сервер Anyproxy, проверьте исторические сообщения. В это время WeChat откроет веб-страницу исторической статьи. Получаем html-документ: , var msgList — необходимые нам исторические данные статьи, для замены недопустимых символов используется простое регулярное сопоставление, а JSON.parse преобразуется в нужный нам формат. На основе Anyproxy мы встраиваем в этот HTML-документ скрипт, который заставляет веб-страницу прокручиваться вниз и запускать браузер для получения дополнительных статей.

 var scrollKey = setInterval ( function ( ) {
    window . scrollTo ( 0 , document . body . scrollHeight ) ;
} , 1000 ) ;

Когда веб-страница прокручивается до конца, статья получается снова. На этот раз это тот же запрос на получение, но возвращается формат с Content-Type как application/json . Здесь используется тот же метод, для которого используется обычное сопоставление. находим и форматируем его в нужный нам формат.

При этом, когда can_msg_continue равен 0, это означает, что его протянули вниз и все статьи получены.

На данный момент получены все статьи публичного аккаунта, включая название статьи, автора и URL-адрес. Но нет прочтений и лайков. Чтобы увидеть ее, нужно открыть ссылку на конкретную статью.

2. Мы еще не получили количество прочтений и лайков. Следующий шаг — позволить браузеру WeChat продолжать открывать определенные статьи и запускать браузер WeChat для получения количества прочтений и лайков. Socket.io используется здесь для подключения страницы статьи к пользовательскому серверу. Сервер активно уведомляет браузер о следующей ссылке на статью. Таким образом, двусторонняя связь может получить количество прочтений и лайков конкретной статьи в одном. цикл.

 socket . on ( 'url' , function ( data ) {
    window . location = data . url ;
} ) ;

Количество прочтений и лайков можно постоянно проверять на стороне браузера, чтобы увидеть, отображаются ли элементы DOM, а затем собираются и отправляются на сервер. Вы также можете проверять их напрямую с помощью любого прокси (здесь я использую первый метод).

 key = setInterval ( function ( ) {
        var readNum = $ ( '#readNum3' ) . text ( ) . trim ( ) ;

        if ( ! readNum ) return ;
        var likeNum = $ ( '#likeNum3' ) . text ( ) . trim ( ) ;
        var postUser = $ ( '#post-user' ) . text ( ) . trim ( ) ;
        var postDate = $ ( '#post-date' ) . text ( ) . trim ( ) || $ ( '#publish_time' ) . text ( ) . trim ( ) ;
        var activityName = $ ( '#activity-name' ) . text ( ) . trim ( ) ;
        var js_share_source = $ ( '#js_share_source' ) . attr ( 'href' ) ;
        socket . emit ( 'crawler' , {
            readNum : readNum ,
            likeNum : likeNum ,
            postUser : postUser ,
            postDate : postDate ,
            activityName : activityName ,
            js_share_source : js_share_source
        } ) ;
    } , 1000 ) ; 

На что следует обратить внимание во время практики

Принцип очень прост. Основанный на реальных компьютерных сканерах, атаках «человек посередине» и внедрении сценариев JavaScript, позвольте браузеру имитировать процесс работы человека.

1. Политика безопасности контента, запрещающая веб-страницы. Суть CSP заключается в системе белых списков. Разработчики четко сообщают клиенту, какие внешние ресурсы можно загружать и выполнять, что эквивалентно предоставлению белого списка. Если этот параметр не отключен, внедренный JavaScript не будет выполняться. Подход здесь заключается в простом удалении всех заголовков, связанных с csp, в ответе http.

 // 删除微信网页的安全策略
delete header [ 'Content-Security-Policy' ] ;
delete header [ 'Content-Security-Policy-Report-Only' ] ;

2. Запретите браузеру WeChat кэшировать содержимое страницы, а также измените заголовок ответа и содержимое, связанное с кешем.

 header [ 'Expires' ] = 0 ;
 header [ 'Cache-Control' ] = 'no-cache, no-store, must-revalidate' ;