opensquare
1.0.0
Разведка социальных сетей с открытым исходным кодом и OSINT
Изучите документацию »
Посмотреть демо · Сообщить об ошибке · Запросить функцию
В период с апреля 2022 года по апрель 2023 года появилось 150 миллионов новых пользователей социальных сетей — это на 3,2% больше, чем в прошлом году, по сравнению с нынешними 4,8 миллиарда пользователей социальных сетей во всем мире, что составляет 59,9% населения мира и 92,7% всех пользователей Интернета. Компании используют социальные сети, чтобы получить представление о различных темах: мнениях пользователей о продуктах, сильных и слабых продуктах, событиях и всем вещах, которые интересуют их клиентов. Кто является их клиентами для аналитиков разведки и исследователей социальных наук? Политики, обычные граждане, все члены общества. Пользователем этого проекта, его заказчиком являются аналитики и исследователи в области разведки и социальных наук. Поскольку технологии продолжают развиваться по кривой инноваций, а общество продолжает все чаще использовать социальные сети в качестве публичной площадки, исследователи могут использовать эти доступные данные во благо, чтобы получить ценную информацию, замедлить или остановить вредные инциденты, помочь обществу, разработать планы. на основе общественного консенсуса лучше информировать политиков о том, что нужно и чего хотят их избиратели (и лучше планировать решения, которые повышают удовлетворенность их клиентов). Поскольку правительствам становится все труднее понимать и реализовывать решения, которые лучше служат их избирателям, идея адаптивного управления, сосредоточения внимания на децентрализованных структурах принятия решений, становится неизбежной. Информация, полученная из социальных сетей, может не только помочь политикам, но и помочь организациям и группам адаптивного управления лучше обслуживать свое население. Этот продукт предназначен для аналитиков разведки, социологов, специалистов по обработке данных и тех, кто заинтересован в улучшении качества нашего человеческого существования посредством глубокого общественного анализа и решений, основанных на данных.
(вернуться к началу)
(вернуться к началу)
Наряду с другими функциями OpenSquare предоставляет инструменты таргетинга Digit Footprint, некоторые из которых используют известные методы OSINT, такие как обратные ссылки, NSLookup и Whois. Наличие общего набора инструментов в одном месте может повысить производительность пользователей. Легко перемещайтесь между рабочими пространствами информационной панели и используйте выходные данные одного инструмента в качестве входных данных для другого.
Поэкспериментируйте с созданием отчетов и документов с помощью GenAI. Используйте информацию и изображения, которые вы собрали, для создания отчетов, которые помогут вам принять решение. Попросите нашу систему искусственного интеллекта сгенерировать для вас изображения на основе информационного контекста и обобщить ключевые детали. Повысьте производительность и резко сократите скорость предоставления ключевых сведений лицам, принимающим решения, с помощью интерфейсов, основанных на щелчке мышью и перетаскивании.
Opensquare использует Whisper: модель распознавания речи общего назначения. Он обучен на большом наборе данных разнообразного аудио, а также представляет собой многозадачную модель, которая может выполнять многоязычное распознавание речи, перевод речи и идентификацию языка.
Используя доступные API Opensquare, вы можете запрашивать и расшифровывать видео YouTube. Транскрипты сообщат время и свойства текста. Этот API используется для создания функций Opensquare, но также будет доступен широкой публике как простой в использовании API.
opensquare/api/youtube/en/transcribe?videoId=l9AzO1FMgM8
производит:
[ { "time": "0.0", "text": "Java, a high-level multi-paradigm programming language famous for its ability to compile" }, { "time": "5.2", "text": "to platform independent bytecode." }, { "time": "7.44", "text": "It was designed by James Gosling in 1990 at Sun Microsystems." }, { "time": "11.700000000000001", "text": "One of its first demonstrations was the Star 7 PDA, which gave birth to the Java mascot" },... ]
Чтобы запустить локальную копию, выполните следующие простые шаги.
Линукс
Ява 17
java --versionMaven 3.9 или выше
mvn --versionКлонировать репозиторий
git git clone https://[email protected]/intelligence-opensent/opensentop.gitУстановить зависимости (включая NPM) профиль по умолчанию
mvn clean installЗапустите веб-пакет в режиме разработки
npm run watch
Вам понадобятся некоторые файлы конфигурации — не стесняйтесь обращаться ко мне за ними.
(вернуться к началу)
В этом проекте используется Frontend-Maven-Plugin Эйрика Слеттеберга, который позволяет нашей команде использовать один плагин как для внешних, так и для внутренних сборок в одном репозитории. Этот плагин поддерживает различные конфигурации, но конфигурация, используемая в этом проекте, минимальна только с использованием Webpack и нескольких конфигураций для установки Node и NPM. Суть этого использования заключается в создании пакета проекта, который интегрируется с помощью <script> в корне приложения React (типичный способ React), представленного в файле index.html в папке ресурсов Springboot.
<body>
<div id='root'>
</div>
<script src="built/bundle.js"></script>
</body>
Webpack создаст пакет сборки, содержащий исходный код для записи приложения React в app.js в пакете js этого проекта.
entry: path.resolve(__dirname, "/src/main/js/app.js"),
devtool: 'inline-source-map',
cache: true,
mode: 'development',
output: {
path: __dirname,
filename: 'src/main/resources/static/built/bundle.js'
},
(вернуться к началу)
Если вы используете Kafka, вам следует просмотреть документацию. Прежде чем запускать сервер Kafka, сначала убедитесь, что сервер Zoo-Keeper работает. Иногда папка Zookeeper configs /config настроена неправильно. При необходимости убедитесь, что в файле zookeeper.properties установлен clientPort=2181 , а для обеспечения неконфликтных портов убедитесь, что в том же файле установлен admin.serverPort=8083 . Мы также хотим убедиться, что bootstrap.servers=9092 настроен в producer.properties : это список брокеров, используемых для начальной загрузки знаний об остальной части формата кластера, что важно для конфигурации Springboot этого проекта ниже:
@Bean
public ConsumerFactory<String, OpenSentTaskStatus> consumerFactory() {
Map<String, Object> configurationProperties = new HashMap<>();
configurationProperties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
configurationProperties.put(ConsumerConfig.GROUP_ID_CONFIG, "group_id");
configurationProperties.put(JsonDeserializer.TRUSTED_PACKAGES, "*");
configurationProperties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
configurationProperties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, JsonDeserializer.class);
configurationProperties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
return new DefaultKafkaConsumerFactory<>(configurationProperties);
}
@Bean
public ProducerFactory<String, OpenSentTaskStatus> producerFactory() {
Map<String, Object> props = new HashMap<>();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);
return new DefaultKafkaProducerFactory<>(props);
}
Полный список предлагаемых функций (и известных проблем) см. в разделе «Открытые проблемы».
(вернуться к началу)
(вернуться к началу)
Вали Моррис — @LinkedIn — [email protected]
Ссылка на проект: GitHub
(вернуться к началу)
(вернуться к началу)
