AutoPureData下载 - AutoPureData源码下载

AutoPureData

Ai源码

1.0.0

下载

自动纯数据

自动过滤不需要的网络数据以更新法学硕士知识

由 Praneeth Vadlapati (@prane-eth) 创建

笔记

请为存储库加注星标以表示您的支持。

为什么选择 AutoPureData？

像 ChatGPT 这样的 LLM（生成式 AI）没有最新的更新信息。不自动更新最新数据的原因是网络上存在大量不安全或不需要的文本。

该项目旨在使用人工智能和法学硕士自动收集数据并过滤不需要的文本。自动过滤的数据可用于自动更新法学硕士的知识。

过滤的内容：

不安全内容☣️：有毒、威胁、侮辱、歧视、政治、自残、宗教、暴力、性、亵渎、调情、垃圾邮件、诈骗、误导等
内容来源不可靠？：不安全的网站和未索引的域（搜索引擎不会抓取）
个人详细信息？：电话、地址、信用卡、SSN、IP 地址等
攻击？️：对抗性攻击尝试（数据中毒）

支持的语言：目前仅英语（当贡献者可用时将添加更多语言）

？研究论文

已发表的研究论文可在 JMCA/2024(3)E121 获取

？引文

如需使用我的论文作为参考，请引用如下：

 @article { vadlapati2024autopuredata ,
	title = { {AutoPureData: Automated Filtering of Undesirable Web Data to Update LLM Knowledge} } ,
	author = { {Praneeth Vadlapati} } ,
	journal = { {Journal of Mathematical & Computer Applications} } ,
	volume = { 3 } ,
	number = { 4 } ,
	pages = { 1--4 } ,
	year = { 2024 } ,
	month = { July } ,
	doi = { 10.47363/JMCA/2024(3)E121 } ,
	issn = { 2754-6705 }
}

快速入门

pip install -r requirements.txt
cp .env.example .env

现在，编辑.env文件并添加您的 API 密钥。
运行Data_flagging.ipynb文件来收集和过滤最新的Web数据。运行文件 Analytics_and_Filtering.ipynb 以手动更正标记。

过滤过程后，数据可以与 LLM 一起使用，如Usage_with_LLMs.ipynb中所述

该文件将过滤后的数据推送到 Pinecone DB 并将其与 LLM 一起使用。

贡献

欢迎贡献！请随意为任何错误报告或建议创建问题。
请通过添加更多过滤器并使代码更加高效来为代码做出贡献。
要做出贡献，请为存储库加注星标并创建一个问题。如果我无法解决它，我将允许任何人创建拉取请求。

？执照

️免责声明

该代码不适用于生产环境。该代码仅用于教育和研究目的。

作者对本代码造成的任何误用或损坏不承担任何责任。使用它的风险由您自行承担。该代码按原样提供，不提供任何保证或担保。

注意：结果未使用 Llama 3.1 进行更新，因为使用 Llama 3 达到了相同的精度。

致谢

特别感谢Groq (https://groq.com/) 提供的快速 Llama 3 推理引擎
数据集：HuggingFace FineWeb https://huggingface.co/datasets/HuggingFaceFW/fineweb
不安全文本检测：Meta Llama Guard 2 https://github.com/meta-llama/PurpleLlama/blob/main/Llama-Guard2/MODEL_CARD.md
使用 LLM 进行不需要的文本检测：Meta Llama 3 (70B) https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
分析页面：Gradio https://gradio.app/
矢量数据库：松果 https://www.pinecone.io/