NVIDIA выпустила новый поиск видео и резюме AI Видео -анализ. Это решение основано на архитектуре микросервиса NVIDIA NIM. Простой интерфейс REST API. Его основные компоненты включают потоковые процессоры, NEMO Guardrails, VLM Pipelines на основе NVIDIA Deepstream SDK, векторных баз данных, контекстных модулей RAG и графических модулей, совместно реализуя процесс эффективного анализа видео.
NVIDIA недавно выпустила новый поиск в видео ИИ и резюме (AI Blueprint для поиска и суммирования видео), технического решения, которое полностью изменит ограничения традиционного видео -анализа. В отличие от фиксированной модели, которая в прошлом признала только предусмотренные объекты, новое решение достигает глубокого понимания и естественного взаимодействия видеоконтента путем объединения генеративного ИИ, модели визуального языка (VLM) и модели большого языка (LLM).
Эта система построена на архитектуре микросервиса NVIDIA NIM, и ее основное преимущество заключается в ее мощных возможностях понимания видео. Органически комбинируя такие технологии, как обработка сегментации видео, интенсивное описание генерации и построения графа знаний, система может точно понимать и анализировать сверхдюжерный видеоконтент. Пользователи могут использовать простой интерфейс API REST для реализации генерации видео-резюме, интерактивных вопросов и ответов и пользовательского мониторинга событий видеопотоков в реальном времени.
Из технической архитектуры это решение включает в себя несколько ключевых компонентов: процессор потока отвечает за взаимодействие и синхронизацию между компонентами; Векторы база данных сохраняют промежуточные результаты;
В практических приложениях система сначала делит видео на меньшие сегменты, генерирует интенсивные описания через VLM, а затем использует LLM для суммирования и анализа результатов. Для живых потоков система может непрерывно обрабатывать видеоклипы и генерировать резюме в режиме реального времени. В то же время, создав график знаний, система может точно получить сложную информацию в видео и поддерживать более глубокие взаимодействия вопросов и ответов.
Этот технологический прорыв принесет революционные изменения в фабриках, складах, розничных магазинах, аэропортах и транспортных центрах. Операционные команды могут получить более богатую информацию о видео аналитике через взаимодействие с естественным языком, чтобы принимать более умные решения.
В настоящее время Nvidia открыла приложения для раннего доступа для этой технической программы. Разработчики могут выбрать соответствующие модели через каталог API, предоставленный NVIDIA, либо с использованием услуг, проведенных NVIDIA, либо выбора локальных решений для развертывания. Этот гибкий вариант развертывания поможет предприятиям создать индивидуальные решения для видео аналитики на основе фактических потребностей.
Благодаря постоянному развитию технологии искусственного интеллекта мы свидетельствуем о том, что выпадающие землю изменения в области видео-анализа. Запуск Nvidia, последнего технического решения, несомненно, ускорит реализацию интеллектуального видео -анализа в различных отраслях.
Подробная информация: https://developer.nvidia.com/blog/build-a-video-search-and-mummarization-agent-with-nvidia-ai-lueprint
Короче говоря, поиск видео и резюме NVIDIA обеспечивает мощное и гибкое решение для анализа видео, обеспечивая более умные и более эффективные возможности обработки видеодантеров для всех отраслей и ускорение реализации технологии ИИ в практических приложениях. Открытый доступ к этому решению также предоставляет разработчикам больше возможностей и с нетерпением ждут возможности увидеть более инновационные приложения, основанные на этой технологии в будущем.