universal web scraper using generative ai

스마트하고 범용적인 웹 스크레이퍼: 생성 AI로 구동되는 손쉬운 데이터 추출 ?

Smart & Universal Web Scrapper는 Generative AI로 구동되는 지능형 데이터 추출 도구입니다. 사용자가 웹사이트 링크와 필수 데이터 필드를 제공할 수 있도록 하여 모든 웹사이트에서 데이터를 스크랩하는 프로세스를 단순화합니다. 다양한 기능을 갖춘 이 도구는 데이터를 원활하게 추출하여 Excel, JSON 또는 Markdown과 같은 다양한 형식으로 다운로드할 수 있는 표 형식으로 표시할 수 있습니다. 스마트하고 사용자 친화적인 인터페이스는 모든 웹 스크래핑 요구 사항에 대해 효율적이고 정확한 데이터 추출을 보장합니다.

작동 방식

1. 애플리케이션 실행: 시스템에서 Universal Web Scrapper를 엽니다.
2. LLM 모델 선택: 사용 가능한 옵션에서 원하는 LLM(대형 언어 모델)을 선택합니다.
3. 웹사이트 링크 입력: 데이터를 스크랩하려는 웹사이트의 URL을 붙여넣습니다.
4. 데이터 필드 정의: 웹사이트에서 추출하려는 데이터 필드를 지정합니다.
5. 자동 데이터 추출: 애플리케이션은 지능적으로 데이터를 스크랩하여 명확하고 구조화된 테이블로 구성합니다.
6. 데이터 다운로드: 스크랩한 데이터를 원하는 형식(Excel, JSON, Markdown)으로 내보냅니다.

이는 다음 기술을 활용합니다.

Python: Python은 단순성과 가독성으로 잘 알려진 인기 있고 다양한 프로그래밍 언어입니다. 웹 개발, 데이터 분석, 기계 학습, 자동화 작업 등 다양한 애플리케이션에 널리 사용됩니다. Python의 광범위한 라이브러리 및 프레임워크 생태계는 개발자를 위한 강력한 도구입니다.

LLaMA 3.1 (70b): LLaMA(Lean Large-Language Model)는 Meta AI에서 개발한 대규모 언어 모델 제품군입니다. 3.1(70b) 버전은 700억 개의 매개변수를 가진 특정 모델 변형을 나타냅니다. LLaMA와 같은 대규모 언어 모델은 방대한 양의 텍스트 데이터에 대해 훈련되어 다양한 자연어 처리 작업을 위해 인간과 유사한 텍스트를 이해하고 생성할 수 있습니다.

Groq API: Groq API는 Groq의 강력한 AI 추론 플랫폼에 대한 액세스를 제공합니다. 이를 통해 개발자는 빠르고 효율적인 AI 모델 실행을 위해 고급 하드웨어와 소프트웨어를 활용할 수 있습니다.

Streamlit: Streamlit은 대화형 데이터 시각화 및 기계 학습 웹 애플리케이션 구축 프로세스를 단순화하는 오픈 소스 Python 라이브러리입니다. 이를 통해 개발자는 Python 스크립트를 작성하여 사용자 인터페이스를 만들 수 있으므로 데이터 기반 애플리케이션을 다른 사람과 더 쉽게 공유할 수 있습니다.

프로젝트 실행

1. 저장소 포크 또는 복제::

Git을 사용하여 이 리포지토리를 로컬 머신에 포크하거나 복제합니다.

2. 설치 요구 사항:

필요한 라이브러리를 설치합니다.

pip install -r requirements.txt

3. 환경 변수 설정:

프로젝트 디렉토리에 .env 파일을 생성하고 필요한 API 키(예: Google API 키, Groq API KEY)를 추가하세요.

4. Streamlit 애플리케이션 파일을 실행합니다.

streamlit run app.py

라이센스:

GNU 일반 공중 라이선스 v3.0

나를 따르라 :

저자

• @아드리트 팔

• 내 작업이 마음에 들었고 어쨌든 도움이 되었다면 저장소를 만들어 주세요. 그러면 더 놀라운 프로젝트를 만들도록 동기를 부여할 것입니다.