universal web scraper using generative ai

スマートでユニバーサルな Web スクレイパー: 生成 AI を活用した簡単なデータ抽出 ?

Smart & Universal Web Scrapper は、Generative AI を活用したインテリジェントなデータ抽出ツールです。ユーザーが Web サイトのリンクと必要なデータ フィールドを提供できるため、Web サイトからデータをスクレイピングするプロセスが簡素化されます。このツールは多機能な機能を備えているため、データをシームレスに抽出して表形式で表示でき、Excel、JSON、Markdown などのさまざまな形式でダウンロードできます。スマートでユーザーフレンドリーなインターフェイスにより、Web スクレイピングのあらゆるニーズに合わせて効率的かつ正確なデータ抽出が保証されます。

仕組み

1. アプリケーションの起動:システム上で Universal Web Scrapper を開きます。
2. LLM モデルの選択:使用可能なオプションから目的の大規模言語モデル (LLM) を選択します。
3. Web サイトのリンクを入力します:データをスクレイピングする Web サイトの URL を貼り付けます。
4. データ フィールドの定義: Web サイトから抽出するデータ フィールドを指定します。
5. 自動データ抽出:アプリケーションはデータをインテリジェントに収集し、明確で構造化されたテーブルに整理します。
6. データのダウンロード:スクレイピングしたデータを好みの形式 (Excel、JSON、Markdown) でエクスポートします。

次のテクノロジーを活用しています。

Python: Python は、そのシンプルさと読みやすさで知られる、人気のある多用途プログラミング言語です。 Web 開発、データ分析、機械学習、自動化タスクなど、さまざまなアプリケーションに広く使用されています。 Python のライブラリとフレームワークの広範なエコシステムにより、Python は開発者にとって強力なツールになります。

LLaMA 3.1 (70b): LLaMA (リーン大言語モデル) は、Meta AI によって開発された大規模言語モデルのファミリーです。 3.1 (70b) バージョンは、700 億個のパラメータを持つ特定のモデル バリアントを指します。 LLaMA のような大規模な言語モデルは、膨大な量のテキスト データでトレーニングされ、さまざまな自然言語処理タスクで人間のようなテキストを理解して生成できるようになります。

Groq API: Groq API は、Groq の強力な AI 推論プラットフォームへのアクセスを提供します。これにより、開発者は高度なハードウェアとソフトウェアを活用して、AI モデルを迅速かつ効率的に実行できます。

Streamlit: Streamlit は、インタラクティブなデータ視覚化および機械学習 Web アプリケーションを構築するプロセスを簡素化するオープンソース Python ライブラリです。これにより、開発者は Python スクリプトを記述してユーザー インターフェイスを作成できるため、データ駆動型アプリケーションを他のユーザーと簡単に共有できるようになります。

プロジェクトの実行

1. リポジトリをフォークまたはクローンします::

Git を使用して、このリポジトリをローカル マシンにフォークまたはクローン作成します。

2. インストール要件:

必要なライブラリをインストールします。

pip install -r requirements.txt

3. 環境変数を設定します。

プロジェクト ディレクトリに.envファイルを作成し、必要な API キー (Google API キー、Groq API キーなど) を追加します。

4. streamlit アプリケーション ファイルを実行します。

streamlit run app.py

ライセンス :

GNU 一般公衆利用許諾書 v3.0

私に従ってください ：

著者

• @アドリット・パル

• もし私の作品が気に入って、それが役に立ったのであれば、リポジトリを利用してください。それが私にもっと素晴らしいプロジェクトを作る動機を与えるでしょう。