awesome crawler

很棒的爬蟲

不同語言的精彩網路爬蟲、蜘蛛和資源的集合。

內容

• Python
• 爪哇
• C#
• JavaScript
• PHP
• C++
• C
• 紅寶石
• 鏽
• 右
• 埃爾蘭
• 珀爾
• 去
• 斯卡拉

Python

• Scrapy - 一個快速的進階螢幕擷取和網頁爬行框架。
  • django-dynamic-scraper - 透過 Django 管理介面建立 Scrapy scrapers。
  • Scrapy-Redis - 用於 Scrapy 的基於 Redis 的元件。
  • scrapy-cluster - 使用 Redis 和 Kafka 建立分散式按需抓取叢集。
  • Distribution_crawler - 使用 scrapy、redis、mongodb、graphite 建立分散式蜘蛛。
• pyspider - 一個強大的蜘蛛系統。
• CoCrawler - 使用現代工具和並發性建造的多功能網路爬蟲。
• cola - 分散式爬行框架。
• Demiurge - 基於 PyQuery 的抓取微框架。
• Scrapely - 一個純 python HTML 螢幕擷取函式庫。
• feedparser - 通用提要解析器。
• you-get - 抓取網路的愚蠢下載器。
• MechanicalSoup - 用於自動與網站互動的 Python 函式庫。
• portia -Scrapy 的視覺抓取.
• crawley - 基於非阻塞 I/O 操作的 Pythonic 爬行/抓取框架。
• RoboBrowser - 一個簡單的 Python 函式庫，無需獨立的 Web 瀏覽器即可瀏覽 Web。
• MSpider - 使用 gevent 和 js 渲染的簡單易用的蜘蛛。
• Brownant - 一個輕量級的 Web 資料擷取框架。
• PSpider - Python3 中的簡單蜘蛛框架。
• Gain - 適合所有人的基於 asyncio 的網路爬蟲框架。
• sukhoi - 極簡且功能強大的網路爬蟲。
• spidy - 簡單、易於使用的命令列網路爬蟲。
• 報紙 - Python 3 中的新聞、全文和文章元資料提取
• aspider - 基於 asyncio 的非同步網路抓取微框架。

爪哇

• ACHE Crawler - 一個易於使用的網路爬蟲，用於特定領域的搜尋。
• Apache Nutch - 適用於生產環境的高度可擴展、高度可擴展的網路爬蟲。
  • anthelion - Apache Nutch 的插件，用於抓取 HTML 頁面中的語義註釋。
• Crawler4j - 簡單且輕量級的網路爬蟲。
• JSoup - 抓取、解析、操作和清理 HTML。
• websphinx - 用於 HTML 資訊擷取的網站特定處理器。
• 開放搜尋伺服器 - 全套搜尋功能。建立您自己的索引策略。解析器擷取全文資料。爬蟲可以索引所有內容。
• Gecco - 易於使用的輕量級網路爬蟲
• WebCollector - 用於抓取網路的簡單介面，您可以在 5 分鐘內設定一個多執行緒網路爬蟲。
• Webmagic - 一個可擴展的爬蟲框架。
• Spiderman - 一個可擴展、可擴展的多線程網路爬蟲。
  • Spiderman2 - 分散式網路爬蟲框架，支援js渲染。
• Heritrix3 - 可擴充、網路規模、存檔品質的網路爬蟲專案。
• SeimiCrawler - 一個敏捷的分散式爬蟲框架。
• StormCrawler - 用於在 Apache Storm 上建立低延遲、可擴展的網路爬蟲的開源資源集合
• Spark-Crawler - 改進 Apache Nutch 以在 Spark 上運行.
• webBee - DFS 網路蜘蛛。
• Spider-flow - 一個可視化的蜘蛛框架，它非常好，你不需要寫任何程式碼來爬行網站。
• Norconex Web Crawler - Norconex HTTP Collector 是一個功能齊全的網路爬蟲（或蜘蛛），可以操作收集的資料並將其儲存到您選擇的儲存庫（例如搜尋引擎）中。可以作為獨立應用程式使用，也可以嵌入到 Java 應用程式中。

C#

• ccrawler - 內建 C# 3.5 版本。它包含一個簡單的網頁內容分類器擴展，它可以根據網頁的內容來區分網頁。
• SimpleCrawler - 基於多執行緒、正規表示式的簡單蜘蛛。
• DotnetSpider - 這是一個由 C# 開發的跨平台、輕型蜘蛛。
• Abot - C# 網路爬蟲，專為速度和靈活性而建置。
• Hawk - 用 C#/WPF 編寫的高級爬蟲和 ETL 工具。
• SkyScraper - 使用 async/await 和 Reactive Extensions 的非同步網路抓取器/網路爬蟲。
• Infinity Crawler - 一個簡單但強大的 C# 網路爬蟲庫。

JavaScript

• scraperjs - 一個完整且多功能的網頁抓取工具。
• scrape-it - 面向人類的 Node.js 抓取工具。
• simplecrawler - 事件驅動的網路爬蟲。
• node-crawler - Node-crawler 具有乾淨、簡單的 api.
• js-crawler - Node.JS 的網路爬蟲，支援 HTTP 和 HTTPS。
• webster - 一個可靠的網頁爬行框架，可以抓取網頁中ajax和js渲染的內容。
• x-ray - 具有分頁和爬蟲支援的網頁抓取工具。
• node-osmosis - Node.js 的 HTML/XML 解析器和網頁抓取器。
• web-scraper-chrome-extension - 作為 chrome 擴充功能實現的 Web 資料擷取工具。
• supercrawler - 定義自訂處理程序來解析內容。遵守 robots.txt、速率限制和並發限制。
• headless-chrome-crawler - 支援 jQuery 的 Headless Chrome 爬行
• Squidwarc - 高保真、使用者可編寫腳本的檔案爬蟲，使用 Chrome 或 Chromium（有或沒有帶頭）
• crawlee - Node.js 的網頁抓取和瀏覽器自動化庫，可協助您建立可靠的爬蟲。快速地。

PHP

• Goutte - PHP 的螢幕擷取與網頁爬行庫。
  • laravel-goutte -Goutte 的 Laravel 5 外觀.
• dom-crawler - DomCrawler 元件簡化了 HTML 和 XML 文件的 DOM 導覽。
• QueryList - 漸進式 PHP 爬蟲框架。
• pspider - 用 PHP 寫的平行網路爬蟲。
• php-spider - 一個可設定且可擴充的 PHP 網路蜘蛛。
• spatie/crawler - 用 PHP 實現的易於使用、功能強大的爬蟲。可以執行Javascript。
• crawlzone/crawlzone -Crawlzone 是 PHP 的快速非同步網路爬行框架。
• PHPScraper - PHPScraper 是一個為簡單起見而建立的抓取器和爬蟲。

C++

• open-source-search-engine - 用 C/C++ 編寫的分散式開源搜尋引擎和蜘蛛/爬蟲。

C

• httrack - 將網站複製到您的電腦。

紅寶石

• Nokogiri - 一個 Rubygem，提供 HTML、XML、SAX 和 Reader 解析器，並支援 XPath 和 CSS 選擇器。
• upton - 一個包含電池的框架，可輕鬆進行網頁抓取。只需添加 CSS（或執行更多操作）。
• wombat - 輕量級 Ruby 網路爬蟲/抓取器，具有優雅的 DSL，可從頁面中提取結構化資料。
• RubyRetriever -RubyRetriever 是一個網路爬蟲、爬蟲和檔案收集器。
• Spidr - 抓取一個網站、多個網域、某些連結或無限。
• Cobweb - 具有非常靈活的爬行選項的網路爬蟲，可以獨立使用或使用 sidekiq。
• mechanize - 自動網路互動和爬行。

鏽

• Spider - 最快的網路爬蟲和索引器。
• 爬蟲 - 一個 gRPC Web 索引器，可提高效能。

右

• rvest - R 的簡單網頁抓取。

埃爾蘭

• ebot - 一個可擴展的、分散的、高度可設定的 Web Crawler。

珀爾

• web-scraper - 使用 HTML 和 CSS 選擇器或 XPath 表達式的 Web 抓取工具包。

去

• pholcus - 分散式、高併發、功能強大的網路爬蟲。
• gocrawl - 禮貌、苗條且並發的網路爬蟲。
• fetchbot - 一個簡單而靈活的網路爬蟲，遵循 robots.txt 策略和爬網延遲。
• go_spider - 一個很棒的 Go 並發爬蟲（spider）框架。
• dht - BitTorrent DHT 協定 && DHT Spider。
• ants-go - golang 中的開源、分散式、寧靜的爬蟲引擎。
• scrape - 用於 Go 網路抓取的簡單、更高層級的介面。
• Creeper - 下一代爬蟲框架（Go）。
• colly - 快速而優雅的 Gophers 抓取框架。
• ferret - 聲明性網頁抓取。
• 資料流套件 - 從網頁中提取結構化資料。網站抓取。
• Hakrawler - 簡單、快速的網路爬蟲，旨在輕鬆、快速地發現網頁應用程式中的端點和資產

斯卡拉

• crawler - 用於網路爬行的 Scala DSL。
• scrala -Scala 爬蟲（蜘蛛）框架，靈感來自 scrapy.
• ferrit - Ferrit 是使用 Akka、Spray 和 Cassandra 用 Scala 編寫的網路爬蟲服務.