social insights

insights sociais

Social insights é um projeto de big data de código aberto que gera insights sobre vários tópicos interessantes que acontecem todos os dias. Atualmente, estamos nos concentrando na análise do sentimento político devido às próximas eleições nos Estados Unidos. As fontes de dados incluem a API do Twitter. Existe um mecanismo de pesquisa criado para consultar os insights.

Começando

O projeto está dividido em 3 partes:

• dataproc: todas as análises, trabalho de banco de dados e ML.
• mecanismo de pesquisa: o trabalho da API e o sistema de consulta/mecanismo de pesquisa
• web: o servidor web para renderizar a visualização e integrar componentes do dataproc e do mecanismo de pesquisa

Pré-requisitos

Para executar e configurar o projeto você precisa de python, node.js e NPM instalados para as visualizações, que podem ser encontradas aqui. Para o processamento de dados você precisa do python que pode ser encontrado aqui.

Instalando

Para começar no back-end:

 git clone https://github.com/dsc-umass/social-insights.git

pip3 install pipenv

pipenv shell

pipenv install

Para começar no site:

 git clone https://github.com/dsc-umass/social-insights.git

cd web

yarn install

Desenvolvimento Django

Introdução ao desenvolvimento Django

Depois de criar o shell pipenv para executar o servidor de desenvolvimento:

 cd webpages

python manage.py runserver

Construído com

• API do Twitter - Análise de sentimento e análise de dados
• Flask - Estrutura de API
• PM2 - Servidor de Produção e Balanceamento de Carga
• React – Framework frontend para o site
• NLTK – Para o mecanismo de pesquisa