AutoPureData

Dados Puros Automáticos

Filtragem automatizada de dados indesejáveis ​​da Web para atualizar o conhecimento do LLM

Criado por Praneeth Vadlapati (@prane-eth)

Observação

Marque o repositório com uma estrela para mostrar seu apoio.

Por que AutoPureData?

LLMs (Generative AI) como ChatGPT não possuem as informações atualizadas mais recentes. O motivo para não atualizar automaticamente com os dados mais recentes é a grande quantidade de textos inseguros ou indesejados espalhados pela web.

Este projeto visa coletar automaticamente os dados e filtrar textos indesejados usando IA e LLMs. Os dados filtrados automaticamente podem ser usados ​​para atualizar automaticamente o conhecimento dos LLMs.

O que é filtrado:

• Conteúdo inseguro ☣️: tóxico, ameaça, insulto, discriminação, político, automutilação, religioso, violência, sexual, palavrões, flerte, spam, fraude, enganoso e muito mais
• Conteúdo de fontes não confiáveis ?: Sites inseguros e domínios não indexados (que não são rastreados pelos mecanismos de pesquisa)
• Dados pessoais ?: Telefone, endereço, cartão de crédito, SSN, endereço IP e muito mais
• Ataques ?️: Tentativas de ataque adversário (com envenenamento de dados)

Idiomas suportados: Apenas inglês por enquanto (mais idiomas serão adicionados quando colaboradores estiverem disponíveis)

? Artigo de pesquisa

Um artigo de pesquisa publicado está disponível em JMCA/2024(3)E121

? Citação

Para usar meu artigo como referência, cite-o conforme abaixo:

 @article { vadlapati2024autopuredata ,
	title = { {AutoPureData: Automated Filtering of Undesirable Web Data to Update LLM Knowledge} } ,
	author = { {Praneeth Vadlapati} } ,
	journal = { {Journal of Mathematical & Computer Applications} } ,
	volume = { 3 } ,
	number = { 4 } ,
	pages = { 1--4 } ,
	year = { 2024 } ,
	month = { July } ,
	doi = { 10.47363/JMCA/2024(3)E121 } ,
	issn = { 2754-6705 }
}

Início rápido

pip install -r requirements.txt
cp .env.example .env

Agora edite o arquivo .env e adicione suas chaves de API.
Execute o arquivo Data_flaging.ipynb para coletar e filtrar os dados da web mais recentes. Execute o arquivo Analytics_and_Filtering.ipynb para corrigir manualmente a sinalização.

Após o processo de filtragem, os dados podem ser usados ​​com um LLM conforme mencionado em Usage_with_LLMs.ipynb

• Este arquivo envia os dados filtrados para o Pinecone DB e os usa com um LLM.

Mais projetos

Para mais projetos, abra o perfil: @Pro-GenAI

Contribuindo

Contribuições são bem-vindas! Sinta-se à vontade para criar um problema para quaisquer relatórios de bugs ou sugestões.
Contribua com o código adicionando mais filtros e tornando o código mais eficiente.
Para contribuir, marque o repositório com estrela e crie um Issue. Se eu não conseguir resolver, permitirei que qualquer pessoa crie uma solicitação pull.

? Licença

Direitos autorais (c) 2024 Praneeth Vadlapati
Consulte o arquivo LICENSE para obter mais informações.

️ Isenção de responsabilidade

O código não se destina ao uso em ambientes de produção. Este código é apenas para fins educacionais e de pesquisa.

Nenhum autor é responsável por qualquer uso indevido ou dano causado por este código. Use-o por sua conta e risco. O código é fornecido como está, sem quaisquer garantias ou garantias.

Nota: Os resultados não foram atualizados com o Llama 3.1, pois a mesma precisão foi alcançada com o Llama 3.

Agradecimentos

• Agradecimentos especiais a Groq (https://groq.com/) por um mecanismo de inferência rápido do Llama 3
• Conjunto de dados: HuggingFace FineWeb https://huggingface.co/datasets/HuggingFaceFW/fineweb
• Detecções de texto inseguro: Meta Llama Guard 2 https://github.com/meta-llama/PurpleLlama/blob/main/Llama-Guard2/MODEL_CARD.md
• Detecções de texto indesejado usando LLM: Meta Llama 3 (70B) https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
• Página de análise: Gradio https://gradio.app/
• Banco de dados de vetor: Pinecone https://www.pinecone.io/

? Contato

Para dúvidas pessoais, encontre meus dados de contato aqui: linktr.ee/prane.eth