AutoPureData

Datos puros automáticos

Filtrado automatizado de datos web no deseados para actualizar el conocimiento de LLM

Creado por Praneeth Vadlapati (@prane-eth)

Nota

Destaca el repositorio para mostrar tu apoyo.

¿Por qué AutoPureData?

Los LLM (IA generativa) como ChatGPT no tienen la información actualizada más reciente. El motivo para no actualizar automáticamente con los datos más recientes es una gran cantidad de texto inseguro o no deseado en la web.

Este proyecto consiste en recopilar automáticamente los datos y filtrar el texto no deseado utilizando IA y LLM. Los datos filtrados automáticamente se pueden utilizar para actualizar automáticamente los conocimientos de los LLM.

Qué se filtran:

• Contenido inseguro ☣️: Tóxico, amenaza, insulto, discriminación, político, autolesión, religioso, violencia, sexual, blasfemia, coqueteo, spam, estafa, engañoso y más.
• ¿Contenido de fuentes no confiables ?: Sitios web inseguros y dominios no indexados (que no son rastreados por los motores de búsqueda)
• ¿Datos personales ?: Teléfono, dirección, tarjeta de crédito, SSN, dirección IP y más
• ¿ Ataques ?️: Intentos de ataque adversario (con envenenamiento de datos)

Idiomas admitidos: solo inglés por ahora (se agregarán más idiomas cuando haya colaboradores disponibles)

? Trabajo de investigación

Un artículo de investigación publicado está disponible en JMCA/2024(3)E121.

? Citación

Para utilizar mi artículo como referencia, cítelo de la siguiente manera:

 @article { vadlapati2024autopuredata ,
	title = { {AutoPureData: Automated Filtering of Undesirable Web Data to Update LLM Knowledge} } ,
	author = { {Praneeth Vadlapati} } ,
	journal = { {Journal of Mathematical & Computer Applications} } ,
	volume = { 3 } ,
	number = { 4 } ,
	pages = { 1--4 } ,
	year = { 2024 } ,
	month = { July } ,
	doi = { 10.47363/JMCA/2024(3)E121 } ,
	issn = { 2754-6705 }
}

Inicio rápido

pip install -r requirements.txt
cp .env.example .env

Ahora, edite el archivo .env y agregue sus claves API.
Ejecute el archivo Data_flagging.ipynb para recopilar y filtrar los datos web más recientes. Ejecute el archivo Analytics_and_Filtering.ipynb para corregir manualmente la marca.

Después del proceso de filtrado, los datos se pueden utilizar con un LLM como se menciona en Usage_with_LLMs.ipynb

• Este archivo envía los datos filtrados a Pinecone DB y los utiliza con un LLM.

Más proyectos

Para más proyectos, abra el perfil: @Pro-GenAI

Contribuyendo

¡Las contribuciones son bienvenidas! No dude en crear un problema para cualquier sugerencia o informe de error.
Contribuya al código agregando más filtros y haciendo que el código sea más eficiente.
Para contribuir, destaca el repositorio y crea un problema. Si no puedo resolverlo, permitiré que cualquiera cree una solicitud de extracción.

? Licencia

Copyright (c) 2024 Praneeth Vadlapati
Consulte el archivo de LICENCIA para obtener más información.

️ Descargo de responsabilidad

El código no está diseñado para su uso en entornos de producción. Este código es sólo para fines educativos y de investigación.

Ningún autor es responsable del mal uso o daño causado por este código. Úselo bajo su propio riesgo. El código se proporciona tal cual, sin garantías ni garantías.

Nota: Los resultados no se actualizaron con Llama 3.1, ya que se logró la misma precisión con Llama 3.

Expresiones de gratitud

• Un agradecimiento especial a Groq (https://groq.com/) por un rápido motor de inferencia de Llama 3
• Conjunto de datos: HuggingFace FineWeb https://huggingface.co/datasets/HuggingFaceFW/fineweb
• Detecciones de texto inseguro: Meta Llama Guard 2 https://github.com/meta-llama/PurpleLlama/blob/main/Llama-Guard2/MODEL_CARD.md
• Detecciones de texto no deseado usando LLM: Meta Llama 3 (70B) https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
• Página de análisis: Gradio https://gradio.app/
• Vector DB: Piña https://www.pinecone.io/

? Contacto

Para consultas personales, encuentre mis datos de contacto aquí: linktr.ee/prane.eth