ConversAI
1.0.0
ConversAI — это инновационная платформа диалогового искусственного интеллекта, предназначенная для предоставления пользователям возможности интеллектуального взаимодействия с различными форматами документов и веб-контентом. Используя передовые методы обработки естественного языка (NLP), ConversAI обеспечивает беспрепятственное извлечение текста и выполнение запросов, что делает его бесценным инструментом для исследователей, студентов, специалистов и всех, кто регулярно взаимодействует с текстовой информацией.
В эпоху, характеризующуюся информационной перегрузкой, эффективная обработка данных имеет решающее значение. ConversAI решает эту проблему, используя самые современные технологии для преобразования неструктурированных данных в полезную информацию. Независимо от того, извлекаете ли вы значимую информацию из PDF-файлов, извлекаете расшифровки видео с YouTube или собираете данные с нескольких веб-страниц, ConversAI предоставляет удобный интерфейс, который упрощает эти сложные задачи.
Благодаря своей модульной конструкции ConversAI — это не просто инструмент, а платформа, которую можно расширять и настраивать в соответствии с разнообразными требованиями пользователей.
Перед запуском ConversAI убедитесь, что у вас установлены следующие зависимости:
apt-get update && apt-get upgrade -y
apt-get install poppler-utils -yКроме того, вам необходимо настроить переменные среды для GROQ API:
GROQ_API_KEY в переменных среды.Клонируем репозиторий:
git clone https://github.com/rauhanahmed/ConversAI.git
cd ConversAIУстановите необходимые пакеты:
pip install -r requirements.txtЧтобы запустить приложение, выполните следующую команду:
python app.pyИнтерфейс Gradio откроется в веб-браузере по умолчанию.
Если графический процессор недоступен, измените файл config.ini следующим образом:
В разделе [EMBEDDINGS] измените:
device = cudaк:
device = cpu В разделе [EASYOCR] измените:
gpu = trueк:
gpu = falseЭти настройки обеспечат бесперебойную работу приложения с использованием ресурсов ЦП.
После использования интерфейса обязательно нажмите кнопку «Очистить», чтобы сбросить поля. Это очень важно, поскольку в этой версии не реализовано управление сеансами, и неспособность очистить входные данные может привести к непреднамеренному сохранению данных во время последующих взаимодействий.
Вот подробное представление дерева каталогов проекта:
ConversAI/
├── app.py # Main application file
├── config.ini # Configuration file
├── params.yaml # Prompts for the application
├── requirements.txt # Required Python packages
├── src/ # Source code directory
│ ├── components/ # Component modules
│ │ ├── loaders/ # Data loaders
│ │ │ ├── pdfLoader.py
│ │ │ ├── websiteCrawler.py
│ │ │ └── youtubeLoader.py
│ │ ├── rag/ # Retrieval-Augmented Generation components
│ │ │ └── RAG.py
│ │ └── vectors/ # Vector storage and processing
│ │ └── vectorstore.py
│ ├── utils/ # Utility functions and classes
│ │ ├── exceptions.py
│ │ ├── functions.py
│ │ ├── logging.py
│ ├── pipelines/ # Pipeline logic for data processing
│ │ └── completePipeline.py
└── README.md # Project documentation
ConversAI — это больше, чем просто инструмент; это комплексное решение для управления и извлечения информации из множества форматов документов и веб-источников. Благодаря своим мощным возможностям и удобному интерфейсу ConversAI способен сделать поиск и обработку информации проще и эффективнее, чем когда-либо прежде.
Конечно! Вот обновленный раздел, включающий ваш вклад и благодарности:
Этот проект был разработан во время работы инженером по искусственному интеллекту в компании Tech Consulting Partners. Я создал ConversAI с нуля, реализовав расширенные методы поиска документов, методы реранжирования, методологии гибридного поиска, множественную интеграцию с большими языковыми моделями (LLM) и множество других сложных функций.
Серверная часть включает в себя функции управления пользователями, сложные решения для хранения данных (включая управление хранилищем S3), управление базами данных и векторные базы данных. Стратегия развертывания использует надежные API, контейнеры Docker, методы CI/CD, мониторинг моделей и развертывание облачной платформы.
Этот прототип с открытым исходным кодом служит ступенькой на пути к более комплексному проекту, направленному на общественное благо, демонстрируя огромный потенциал передовых технологий искусственного интеллекта в повседневных приложениях. Я выражаю сердечную благодарность компании Tech Consulting Partners за то, что доверили мне эту инициативу и за их неоценимую поддержку на протяжении всего процесса разработки.
Этот проект лицензируется по лицензии MIT — подробности см. в файле LICENSE.
Мы надеемся, что вам понравится использовать ConversAI! По любым вопросам или отзывам обращайтесь через репозиторий проекта или по электронной почте.
