ConversAI
1.0.0
ConversAIは、さまざまなドキュメント形式や Web コンテンツにわたるインテリジェントな対話をユーザーに提供するように設計された革新的な会話型 AI フレームワークです。 ConversAI は、高度な自然言語処理 (NLP) 技術を利用して、シームレスなテキスト抽出およびクエリ機能を可能にし、研究者、学生、専門家、およびテキストベースの情報を定期的に操作するすべての人にとって、非常に貴重なツールとなっています。
情報過多が特徴の時代では、効率的なデータ処理が極めて重要です。 ConversAI は、最先端のテクノロジーを活用して非構造化データを実用的な洞察に変換することで、この課題に対処します。 PDF から意味のある情報を抽出する場合でも、YouTube ビデオからトランスクリプトを取得する場合でも、複数の Web ページからデータを収集する場合でも、ConversAI はこれらの複雑なタスクを簡素化するユーザーフレンドリーなインターフェイスを提供します。
モジュール設計の ConversAI は単なるツールではなく、多様なユーザー要件に合わせて拡張およびカスタマイズできるプラットフォームです。
ConversAI を実行する前に、次の依存関係がインストールされていることを確認してください。
apt-get update && apt-get upgrade -y
apt-get install poppler-utils -yさらに、GROQ API の環境変数を設定する必要があります。
GROQ_API_KEY設定します。リポジトリのクローンを作成します。
git clone https://github.com/rauhanahmed/ConversAI.git
cd ConversAI必要なパッケージをインストールします。
pip install -r requirements.txtアプリケーションを起動するには、次のコマンドを実行します。
python app.pyGradio インターフェイスがデフォルトの Web ブラウザで開きます。
GPU が使用できない場合は、 config.iniファイルを次のように変更してください。
[EMBEDDINGS]セクションで、次のように変更します。
device = cudaに：
device = cpu [EASYOCR]セクションで、次のように変更します。
gpu = trueに：
gpu = falseこれらの調整により、アプリケーションが CPU リソースでスムーズに実行されるようになります。
インターフェースを使用した後は、必ず「クリア」ボタンをクリックしてフィールドをリセットしてください。このバージョンではセッション管理が実装されておらず、入力のクリアに失敗すると、その後の対話中に意図しないデータの永続化が発生する可能性があるため、これは非常に重要です。
以下は、プロジェクトのディレクトリ ツリーの包括的なビューです。
ConversAI/
├── app.py # Main application file
├── config.ini # Configuration file
├── params.yaml # Prompts for the application
├── requirements.txt # Required Python packages
├── src/ # Source code directory
│ ├── components/ # Component modules
│ │ ├── loaders/ # Data loaders
│ │ │ ├── pdfLoader.py
│ │ │ ├── websiteCrawler.py
│ │ │ └── youtubeLoader.py
│ │ ├── rag/ # Retrieval-Augmented Generation components
│ │ │ └── RAG.py
│ │ └── vectors/ # Vector storage and processing
│ │ └── vectorstore.py
│ ├── utils/ # Utility functions and classes
│ │ ├── exceptions.py
│ │ ├── functions.py
│ │ ├── logging.py
│ ├── pipelines/ # Pipeline logic for data processing
│ │ └── completePipeline.py
└── README.md # Project documentation
ConversAI は単なるツールではありません。これは、多数のドキュメント形式や Web ソースを管理し、そこから洞察を抽出するための包括的なソリューションです。 ConversAI は、その強力な機能とユーザーフレンドリーなインターフェイスにより、情報の検索と処理をこれまでよりも簡単かつ効率的に行えるようにする準備が整っています。
もちろん！あなたの貢献と謝辞を含めるために更新されたセクションは次のとおりです。
このプロジェクトは、Tech Consulting Partners で AI エンジニアとして勤務しながら開発されました。私は ConversAI をゼロから構築し、高度なドキュメント検索手法、再ランキング手法、ハイブリッド検索手法、大規模言語モデル (LLM) との複数の統合、その他多くの複雑な機能を実装しました。
バックエンドには、ユーザー管理機能、高度なデータ ストレージ ソリューション (S3 ストレージ管理を含む)、データベース管理、およびベクター データベースが含まれています。デプロイ戦略では、堅牢な API、Docker コンテナ、CI/CD プラクティス、モデル監視、クラウド プラットフォーム デプロイを活用します。
このオープンソース プロトタイプは、公共の利益を目的としたより包括的なプロジェクトへの足がかりとして機能し、日常のアプリケーションにおける高度な AI テクノロジーの計り知れない可能性を示しています。この取り組みを私に任せていただき、開発プロセス全体を通じて貴重なサポートをしていただいた Tech Consulting Partners に心から感謝いたします。
このプロジェクトは MIT ライセンスに基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。
ConversAI をぜひご利用ください。ご質問やフィードバックがございましたら、プロジェクト リポジトリまたは電子メールでお問い合わせください。
