universal web scraper using generative ai

智能通用网络抓取工具：由生成式人工智能提供支持，轻松提取数据？

智能通用 Web Scrapper 是一款由生成式 AI 提供支持的智能数据提取工具。它允许用户提供网站链接和所需的数据字段，从而简化了从任何网站抓取数据的过程。凭借其多功能功能，该工具可以无缝提取数据并将其以表格格式呈现，并且可以以 Excel、JSON 或 Markdown 等多种格式下载。其智能、用户友好的界面可确保高效、准确的数据提取，满足您的所有网络抓取需求。

它是如何运作的

1. 启动应用程序：打开系统上的通用 Web Scrapper。
2. 选择 LLM 模型：从可用选项中选择所需的大语言模型 (LLM)。
3. 输入网站链接：粘贴您要从中抓取数据的网站的 URL。
4. 定义数据字段：指定要从网站提取的数据字段。
5. 自动数据提取：应用程序智能地抓取数据并将其组织成清晰、结构化的表格。
6. 下载数据：以您喜欢的格式（Excel、JSON、Markdown）导出抓取的数据。

它利用以下技术：

Python: Python 是一种流行的多功能编程语言，以其简单性和可读性而闻名。它广泛用于各种应用程序，包括 Web 开发、数据分析、机器学习和自动化任务。 Python 广泛的库和框架生态系统使其成为开发人员的强大工具。

LLaMA 3.1 (70b): LLaMA（精益大语言模型）是 Meta AI 开发的一系列大语言模型。 3.1 (70b) 版本是指具有 700 亿个参数的特定模型变体。像 LLaMA 这样的大型语言模型经过大量文本数据的训练，使它们能够理解并生成类似人类的文本，以执行各种自然语言处理任务。

Groq API: Groq API 提供对 Groq 强大的 AI 推理平台的访问。它使开发人员能够利用其先进的硬件和软件来快速高效地执行人工智能模型。

Streamlit: Streamlit 是一个开源 Python 库，可简化构建交互式数据可视化和机器学习 Web 应用程序的过程。它允许开发人员通过编写 Python 脚本来创建用户界面，从而更轻松地与其他人共享数据驱动的应用程序。

运行项目

1. 分叉或克隆存储库::

使用 Git 将此存储库分叉或克隆到本地计算机。

2. 安装要求：

安装必要的库。

pip install -r requirements.txt

3. 设置环境变量：

在项目目录中创建一个.env文件并添加任何所需的 API 密钥（例如 Google API 密钥、Groq API 密钥）。

4. 运行streamlit应用程序文件：

streamlit run app.py

执照 ：

GNU 通用公共许可证 v3.0

跟我来 ：

作者

• @阿德里特·帕尔

• 如果您喜欢我的工作并且它对您有帮助，那么请创建存储库，它将激励我做出更多令人惊叹的项目