universal web scraper using generative ai

智慧通用網頁抓取工具：由生成式人工智慧提供支持，輕鬆擷取資料？

智慧通用 Web Scrapper 是一款由生成式 AI 提供支援的智慧資料擷取工具。它允許用戶提供網站連結和所需的資料字段，從而簡化了從任何網站抓取資料的過程。憑藉其多功能功能，該工具可以無縫提取資料並以表格格式呈現，並且可以以 Excel、JSON 或 Markdown 等多種格式下載。其智慧、使用者友善的介面可確保高效、準確的資料擷取，滿足您的所有網路抓取需求。

它是如何運作的

1. 啟動應用程式：開啟系統上的通用 Web Scrapper。
2. 選擇 LLM 模型：從可用選項中選擇所需的大語言模型 (LLM)。
3. 輸入網站連結：貼上您要從中抓取資料的網站的 URL。
4. 定義資料欄位：指定要從網站擷取的資料欄位。
5. 自動資料擷取：應用程式智慧地抓取資料並將其組織成清晰、結構化的表格。
6. 下載資料：以您喜歡的格式（Excel、JSON、Markdown）匯出抓取的資料。

它利用以下技術：

Python: Python 是一種流行的多功能程式語言，以其簡單性和可讀性而聞名。它廣泛用於各種應用程序，包括 Web 開發、數據分析、機器學習和自動化任務。 Python 廣泛的函式庫和框架生態系統使其成為開發人員的強大工具。

LLaMA 3.1 (70b): LLaMA（精實大語言模型）是 Meta AI 開發的一系列大語言模型。 3.1 (70b) 版本是指具有 700 億個參數的特定模型變體。像 LLaMA 這樣的大型語言模型經過大量文本資料的訓練，使它們能夠理解並產生類似人類的文本，以執行各種自然語言處理任務。

Groq API: Groq API 提供對 Groq 強大的 AI 推理平台的存取。它使開發人員能夠利用其先進的硬體和軟體來快速有效地執行人工智慧模型。

Streamlit: Streamlit 是一個開源 Python 函式庫，可簡化建立互動式資料視覺化和機器學習 Web 應用程式的過程。它允許開發人員透過編寫 Python 腳本來創建使用者介面，從而更輕鬆地與其他人共享資料驅動的應用程式。

運行專案

1. 分叉或克隆儲存庫::

使用 Git 將此儲存庫分叉或複製到本機。

2. 安裝要求：

安裝必要的庫。

pip install -r requirements.txt

3. 設定環境變數：

在專案目錄中建立一個.env檔案並新增任何所需的 API 金鑰（例如 Google API 金鑰、Groq API 金鑰）。

4. 運行streamlit應用程式檔案：

streamlit run app.py

執照 ：

GNU 通用公共授權 v3.0

跟我來 ：

作者

• @阿德里特·帕爾

• 如果您喜歡我的工作並且它對您有幫助，那麼請創建存儲庫，它將激勵我做出更多令人驚嘆的項目