universal web scraper using generative ai

Умный и универсальный веб-скребок: простое извлечение данных на основе генеративного искусственного интеллекта?

Smart & Universal Web Scrapper — это интеллектуальный инструмент извлечения данных, основанный на генеративном искусственном интеллекте. Он упрощает процесс сбора данных с любого веб-сайта, позволяя пользователям предоставлять ссылку на веб-сайт и необходимые поля данных. Благодаря своим универсальным возможностям этот инструмент может легко извлекать данные и представлять их в табличном формате, который можно загрузить в различных форматах, таких как Excel, JSON или Markdown. Его умный, удобный интерфейс обеспечивает эффективное и точное извлечение данных для всех ваших потребностей в веб-скрапинге.

Как это работает

1. Запустите приложение: откройте Universal Web Scrapper в своей системе.
2. Выберите модель LLM. Выберите нужную модель большого языка (LLM) из доступных вариантов.
3. Введите ссылку на веб-сайт: вставьте URL-адрес веб-сайта, с которого вы хотите получить данные.
4. Определите поля данных: укажите поля данных, которые вы хотите извлечь с веб-сайта.
5. Автоматическое извлечение данных: приложение интеллектуально собирает данные и организует их в четкую структурированную таблицу.
6. Загрузите данные: экспортируйте очищенные данные в предпочитаемый вами формат (Excel, JSON, Markdown).

Он использует следующие технологии:

Python: Python — популярный универсальный язык программирования, известный своей простотой и удобочитаемостью. Он широко используется для различных приложений, включая веб-разработку, анализ данных, машинное обучение и задачи автоматизации. Обширная экосистема библиотек и фреймворков Python делает его мощным инструментом для разработчиков.

LLaMA 3.1 (70b): LLaMA (Lean Large-Language Model) — это семейство больших языковых моделей, разработанное Meta AI. Версия 3.1 (70b) относится к конкретному варианту модели с 70 миллиардами параметров. Большие языковые модели, такие как LLaMA, обучаются на огромных объемах текстовых данных, что позволяет им понимать и генерировать текст, похожий на человеческий, для различных задач обработки естественного языка.

Groq API: Groq API обеспечивает доступ к мощной платформе вывода искусственного интеллекта Groq. Это позволяет разработчикам использовать свое современное аппаратное и программное обеспечение для быстрого и эффективного выполнения моделей ИИ.

Streamlit: Streamlit — это библиотека Python с открытым исходным кодом, которая упрощает процесс создания веб-приложений интерактивной визуализации данных и машинного обучения. Он позволяет разработчикам создавать пользовательские интерфейсы путем написания сценариев Python, что упрощает совместное использование приложений, управляемых данными, с другими.

Запуск проекта

1. Форкните или клонируйте репозиторий::

Создайте форк или клонируйте этот репозиторий на свой локальный компьютер с помощью Git.

2. Требования к установке:

Установите необходимые библиотеки.

pip install -r requirements.txt

3. Настройте переменные среды:

Создайте файл .env в каталоге вашего проекта и добавьте все необходимые ключи API (например, ключ Google API, Groq API KEY).

4. Запустите файл приложенияstreamlit:

streamlit run app.py

Лицензия:

Стандартная общественная лицензия GNU v3.0

Подписывайтесь на меня :

Авторы

• @Адрит Пал

• Если вам нравится моя работа и она вам чем-то помогла, пожалуйста, создайте репозиторий, это будет мотивировать меня создавать еще больше потрясающих проектов.