universal web scraper using generative ai

Web Scraper inteligente e universal: extração de dados sem esforço, com tecnologia de IA generativa?

O Smart & Universal Web Scrapper é uma ferramenta inteligente de extração de dados alimentada por Generative AI. Ele simplifica o processo de extração de dados de qualquer site, permitindo que os usuários forneçam o link do site e os campos de dados obrigatórios. Com seus recursos versáteis, esta ferramenta pode extrair dados perfeitamente e apresentá-los em formato tabular, que pode ser baixado em vários formatos, como Excel, JSON ou Markdown. Sua interface inteligente e fácil de usar garante extração de dados eficiente e precisa para todas as suas necessidades de web scraping.

Como funciona

1. Inicie o aplicativo: Abra o Universal Web Scrapper em seu sistema.
2. Selecione um modelo LLM: Escolha o modelo de linguagem grande (LLM) desejado entre as opções disponíveis.
3. Insira o link do site: cole o URL do site do qual você deseja extrair dados.
4. Defina os campos de dados: Especifique os campos de dados que deseja extrair do site.
5. Extração automática de dados: O aplicativo coleta os dados de forma inteligente e os organiza em uma tabela clara e estruturada.
6. Baixe os dados: exporte os dados extraídos em seu formato preferido (Excel, JSON, Markdown).

Ele aproveita as seguintes tecnologias:

Python: Python é uma linguagem de programação popular e versátil, conhecida por sua simplicidade e legibilidade. É amplamente utilizado para diversas aplicações, incluindo desenvolvimento web, análise de dados, aprendizado de máquina e tarefas de automação. O extenso ecossistema de bibliotecas e estruturas do Python o torna uma ferramenta poderosa para desenvolvedores.

LLaMA 3.1 (70b): LLaMA (Lean Large-Language Model) é uma família de grandes modelos de linguagem desenvolvidos pela Meta AI. A versão 3.1 (70b) refere-se a uma variante específica do modelo com 70 bilhões de parâmetros. Grandes modelos de linguagem como LLaMA são treinados em grandes quantidades de dados de texto, permitindo-lhes compreender e gerar texto semelhante ao humano para diversas tarefas de processamento de linguagem natural.

Groq API: A API Groq fornece acesso à poderosa plataforma de inferência de IA da Groq. Ele permite que os desenvolvedores aproveitem seu hardware e software avançados para uma execução rápida e eficiente do modelo de IA.

Streamlit: Streamlit é uma biblioteca Python de código aberto que simplifica o processo de construção de visualização de dados interativa e aplicativos da web de aprendizado de máquina. Ele permite que os desenvolvedores criem interfaces de usuário escrevendo scripts Python, facilitando o compartilhamento de aplicativos baseados em dados com outras pessoas.

Executando o Projeto

1. Bifurque ou clone o repositório::

Bifurque ou clone este repositório em sua máquina local usando Git.

2. Requisitos de instalação:

Instale as bibliotecas necessárias.

pip install -r requirements.txt

3. Configurar variáveis ​​de ambiente:

Crie um arquivo .env no diretório do seu projeto e adicione quaisquer chaves de API necessárias (por exemplo, chave de API do Google, Groq API KEY).

4. Execute o arquivo do aplicativo streamlit:

streamlit run app.py

Licença:

Licença Pública Geral GNU v3.0

Me siga :

Autores

• @Adrit Pal

• Se você gosta do meu trabalho e ele te ajudou de alguma forma então por favor faça o repositório que vai me motivar a fazer mais projetos incríveis