awesome machine learning interpretability
1.0.0
维护和策划的实用且令人敬畏的负责任的机器学习资源列表。
如果您想对此列表做出贡献（请这样做！ ），请阅读贡献指南、发送拉取请求或提交问题。
如果您在 2023 年 9 月重新启动后贡献或在此处找到的内容丢失，请检查存档。
社区和官方指导资源
教育资源
人工智能事件、批评和研究资源
技术资源
引用令人惊叹的机器学习可解释性
本节适用于组织或个人提出的负责任的机器学习指南，而不是官方的政府指南。
本部分适用于与负责任的机器学习相关的会议、研讨会和其他重大活动。
本节作为管理人工智能和机器学习技术的道德和负责任使用的政策文件、法规、指南和建议的存储库。从国际法律框架到具体的国家法律，这些资源涵盖了广泛的主题，例如公平、隐私、道德和治理。
消费者金融保护局 (CFPB)
商品期货交易委员会（CFTC）
国会预算办公室
国会研究服务处
版权局
数据网
国防高级研究计划局 (DARPA)
国防技术信息中心
商务部
国防部
教育部
能源部
国土安全部
司法部
财政部
平等就业机会委员会 (EEOC)
美国总统行政办公室
联邦存款保险公司 (FDIC)
联邦住房金融局 (FHFA)
美联储
联邦贸易委员会 (FTC)
政府问责办公室 (GAO)
国家安全局 (NSA)
国家人工智能安全委员会
货币监理署 (OCC)
国家情报总监办公室 (ODNI)
证券交易委员会 (SEC)
美国专利商标局 (USPTO)
美国网页设计系统（USWDS）
加利福尼亚州
肯塔基州
密西西比州
纽约
德克萨斯州
犹他州
本节是有关负责任的人工智能的法律文本和草案的集合。
本部分是一系列精选的指南和教程，可简化负责任的 ML 实施。它涵盖从基本模型可解释性到高级公平技术。这些资源既适合新手，也适合专家，涵盖了 COMPAS 公平性分析和通过反事实进行可解释的机器学习等主题。
本部分包含可以合理描述为免费的书籍，包括一些广泛涉及道德和负责任技术的“历史”书籍。
本部分提供了一系列用于定义 ML 术语的术语表和词典，包括一些“历史”词典。
本节精选了一系列教育课程，重点关注机器学习的道德考虑和最佳实践。课程范围从数据伦理入门课程到公平和值得信赖的深度学习专业培训。
本节具有播客和频道（例如在YouTube上），这些播客和频道对负责的AI和机器学习解释性提供了深刻的评论和解释。
本部分包含促进集体和跨学科努力以增强人工智能安全的举措、网络、存储库和出版物。它包括平台，专家和从业人员聚集在一起分享见解，确定潜在的漏洞，并协作开发适合AI系统（包括AI事件追踪器）的强大保障措施。
本节包含与AI有关的法律，政策和指导的跟踪器，数据库和存储库。
本节包含与负责任的机器学习相关的挑战和竞赛。
本节包含各种对生成人工智能持批评态度的论文、文章、论文和一般资源。
我们正在寻找与各种主题的负责任的ML有关的精选书目，请参见第115期。
Blair Attard-Frost，INF1005H1S：人工智能政策补充阅读清单
互联网规则实验室，负责计算
法学硕士安全与隐私
机器学习模型文献中的成员推理攻击和防御
White & Case、AI Watch：全球监管追踪器 - 美国
Bibtex ：
网址：
本节链接到其他负责任的ML或相关资源的列表。
本节包含用于ML系统基准的基准或数据集，尤其是与负责的ML Desiderata相关的基准测试。
| 资源 | 描述 |
|---|---|
| 台式ML | “对于最高机器学习算法（随机森林，随机的森林，渐变的树木，渐变的森林，渐变的森林） ，深层神经网络等）。” |
| QA 数据集的偏差基准 (BBQ) | “QA 数据集偏差基准存储库。” |
| 分类LLM评估 | “这个存储库源于我们的论文《法学硕士评估目录》，是法学硕士评估框架、基准和论文的活生生的协作目录。” |
| 解码器 | “在GPT模型中对可信度的全面评估。” |
| Eleutherai，语言模型评估安全带 | “语言模型的小样本评估框架。” |
| 宝石 | “ GEM是一种基准的自然语言生成环境，重点是通过人类注释和自动指标进行评估。” |
| 舵 | “评估基础模型的整体框架。” |
| 抱脸评价一下 | “评估：用于轻松评估机器学习模型和数据集的库。” |
| i-gallegos，fair-llm基准 | 来自“大型语言模型中的偏见和公平性：调查”的基准 |
| MLCommons，MLCommons AI安全v0.5概念证明 | “ MLCommons AI安全基准旨在评估AI系统的安全，以指导开发，为购买者和消费者提供信息，并支持标准机构和决策者。” |
| MLCommons，推出 MLCommons 的 AI 安全基准 v0.5 | 有关MLCommons AI安全基准V0.5的论文。 |
| Nvidia MLPerf | “ MLPERF™基准是由MLCommons（来自学术界，研究实验室和行业的AI领导人联盟）开发的，旨在提供对硬件，软件和服务的培训和推理绩效的无偏评估。” |
| OpenML基准制定套件 | OpenML 包含超过两打基准测试套件的集合。 |
| 真实毒性提示（艾伦人工智能研究所） | “从网络上的100k句子片段的数据集供研究人员进一步解决模型中神经毒性变性的风险。” |
| SafetyPrompts.com | “法学硕士安全开放数据集的动态目录。” |
| 社会技术安全评估存储库 | 电子表格中包含社会技术安全评估的广泛电子表格。 |
| TrustLLM-基准 | “大型语言模型可信度的综合研究。” |
| Trust-LLM基准排行榜 | 一系列基于不同可信度标准的法学硕士可排序排行榜。 |
| 真实的质量保证 | “TruthfulQA：衡量模型如何模仿人类的谎言。” |
| WAVES：图像水印稳健性基准测试 | “本文研究了图像水印技术的弱点。” |
| Wild-Time：野外分布随时间变化的基准 | “自然时间分布转变的基准 (NeurIPS 2022)。” |
| Winogender模式 | “评估核心分辨率系统中性别偏见的数据。” |
| Yandex-Research / Tabred | “使用真实世界工业级表格数据集的野外表格机器学习基准。” |
本部分包含负责任的 ML 评估或有趣/重要数据源存储库中常用的数据集：
本节精选了针对特定领域（例如医疗保健、金融或社会科学）内负责任的机器学习的专用软件工具。
本节包含开源或开放访问ML环境管理软件。
| 资源 | 描述 |
|---|---|
| 直流电压 | “管理和版本存储中的图像、音频、视频和文本文件，并将您的 ML 建模过程组织成可重复的工作流程。” |
| 巨大的 | “建立一种更好的方式来创建、协作和共享数据驱动的科学。” |
| 毫升流 | “机器学习生命周期的开源平台。” |
| MLMD | “用于记录和检索与机器学习开发人员和数据科学家工作流程相关的元数据。” |
| 模型数据库 | “开源 ML 模型版本控制、元数据和实验管理。” |
| 海王星 | “一个管理所有模型元数据的地方。” |
| 奥皮克 | “在开发和生产生命周期内评估，测试和运送LLM应用程序。” |
本节包含个人数据保护的工具。
| 姓名 | 描述 |
|---|---|
| LLM数据集推断：您在我的数据集上训练了吗？ | “官方存储库有关LLMS的数据集推断” |
本节包含用于实施负责任的ML的开源或开放访问软件。描述尽可能从各自的存储库本身逐字引用。在极少数情况下，我们会提供我们自己的描述（不加引号）。
| 姓名 | 描述 |
|---|---|
| 判别透镜 | “机器学习中的歧视”。 |
| 拥抱脸部，BiasAware：数据集偏差检测 | “ Biasaware是用于检测和量化自然语言处理（NLP）任务中数据集中的偏差的专业工具。” |
| 歧管 | “一种与模型无关的机器学习可视化调试工具。” |
| 配对代码 / datacardsplaybook | “数据卡剧本可帮助数据集生产商和发布者在数据集文档中采用以人为中心的方法来透明。” |
| PAIR-代码/方面 | “机器学习数据集的可视化”。 |
| 配对代码 / knowyourdata | “一种帮助研究人员和产品团队了解数据集的工具，以提高数据质量，减轻公平和偏见问题。” |
| 张板投影仪 | “使用 TensorBoard Embedding Projector，您可以以图形方式表示高维嵌入。这有助于可视化、检查和理解嵌入层。” |
| 假设工具 | “以最小的编码方式在视觉上探究了训练有素的机器学习模型的行为。” |
| 姓名 | 描述 |
|---|---|
| 重生树的合奏 | “重生树集成：将随机森林转换为单个最小尺寸的树，在整个特征空间中具有完全相同的预测函数（ICML 2020）。” |
| 可证明的最佳规则列表 | “CORELS 是一种定制的离散优化技术，用于在分类特征空间上构建规则列表。” |
| 安全机器学习 | “半诚实两方环境中的安全线性回归。” |
| 姓名 | 描述 |
|---|---|
| ldnoobw | “肮脏，顽皮，淫秽和其他坏话的清单” |
| 姓名 | 描述 |
|---|---|
| 交流中心 | “为Pytorch神经网络做出的单个预测产生层次解释。官方代码针对神经网络预测进行层次解释。” |
| 平等 | “Aequitas 是一个开源偏见审计工具包，供数据科学家、机器学习研究人员和政策制定者审计机器学习模型中的歧视和偏见，并围绕开发和部署预测工具做出明智且公平的决策。” |
| 人工智能公平 360 | “数据集和机器学习模型的一组全面的公平指标，这些指标的解释以及减轻数据集和模型中偏差的算法。” |
| AI解释性360 | “数据和机器学习模型的可解释性和可解释性。” |
| 阿lepython | “Python 累积局部效应包。” |
| 真理 | “用于解包 ReLU DNN 的 Python 包。” |
| Allennlp | “一个基于 PyTorch 构建的开源 NLP 研究库。” |
| 算法 | 参见[算法公平] [http://fairness.haverford.edu/）。 |
| 不在场证明 | “ Alibi是一个开源Python库，旨在机器学习模型检查和解释。该库的重点是提供Black-Box，White-Box，本地和全局解释方法的高质量实现，用于分类和回归模型。” |
| 锚 | “'高精度模型解释'论文的代码。” |
| 贝叶斯案例模型 | |
| 贝叶斯安兹 | “该代码实现了 BOA 论文中描述的贝叶斯或与算法。我们以该代码使用的正确格式包含了 tictactoe 数据集。” |
| 贝叶斯规则列表 (BRL) | Rudin 小组在杜克大学贝叶斯案例模型实施中的应用 |
| 黑盒审计 | “用于审核和探索黑匣子机器学习模型的研究代码。” |
| 计算内容，慧俪轻体 | “用于预测深度神经网络准确性的 WeightWatcher 工具。” |
| 卡斯梅 | “包含最初从Pytorch中的Imagenet训练分配的代码，该代码经过修改，以介绍分类器 - 无义的显着性图提取的性能，这是一种实用的算法，该算法可以通过同时训练分类器和显着性映射来训练分类器 - 敏捷的显着性映射。” |
| 因果发现工具箱 | “用于图形和成对设置中的因果推理的包。其中包括用于图形结构恢复和依赖关系的工具。” |
| Captum | “对Pytorch的模型解释性和理解。” |
| Causalml | “使用机器学习算法的提升建模和因果推断。” |
| cdt15，滋贺大学因果发现实验室 | “LiNGAM 是一种用于估计结构方程模型或线性因果贝叶斯网络的新方法。它基于使用数据的非高斯性。” |
| 清单 | “超越准确性：使用 CheckList 对 NLP 模型进行行为测试。” |
| 聪明的人 | “一个对抗性示例库，用于构建攻击，建立防御和基准测试。” |
| contextual-ai | “情境人工智能为机器学习管道的不同阶段增加了可解释性 |
| 对比解释（箔树） | “提供了一个解释，说明了一个实例为何具有当前结果（事实）而不是目标的目标结果（箔）。这些反事实解释将解释限制在与箔纸区分开相关的特征，从而无视无关的特征。” |
| 仿制品 | “一个 CLI，提供用于评估 ML 模型安全性的通用自动化层。” |
| 达莱克斯 | “用于探索和解释的模型不可知语言。” |
| Debiaswe | “从单词嵌入中删除有问题的性别偏见。” |
| 深度解释 | “为最先进的梯度和基于扰动的归因方法提供了一个统一的框架。研究人员和从业者可以使用它来更好地理解推荐的现有模型，以及对其他归因方法进行基准测试。” |
| 深度提升 | “该存储库实现了 Shrikumar、Greenside 和 Kundaje 所著的‘通过传播激活差异学习重要特征’中的方法，以及其他常用方法，例如梯度、梯度次输入（相当于分层相关性传播的一个版本） ReLU 网络）、引导反向传播和集成梯度。” |
| 深维斯 | “运行深度可视化工具箱以及使用正则化优化生成神经元可视化所需的代码。” |
| 黛安娜 | “DIANNA 是一个 Python 包，可为您的研究项目带来可解释的 AI (XAI)。它将精心挑选的 XAI 方法包装在一个简单、统一的界面中。它由致力于机器学习的（学术）研究人员和研究软件工程师、与他们共同构建并为他们构建项目”。 |
| 骰子 | “为任何机器学习模型生成各种反事实解释。” |
| 陶氏 | “DoWhy 是一个用于因果推理的 Python 库，支持对因果假设进行显式建模和测试。DoWhy 基于统一的因果推理语言，结合了因果图形模型和潜在结果框架。” |
| dtreeviz | “用于决策树可视化和模型解释的 Python 库。” |
| 爱步 | “解释、分析和可视化 NLP 语言模型。Ecco 直接在 Jupyter Notebook 中创建交互式可视化，解释基于 Transformer 的语言模型（如 GPT2、BERT、RoBERTA、T5 和 T0）的行为。” |
| 伊莱5 | “用于调试/检查机器学习分类器并解释其预测的库。” |
| epplabox | “旨在支持数据科学家和机器学习（ML）工程师在内部或外部开发或获得的AI/ML模型中解释，测试和记录AI/ML模型。Pruppabox将您的摄入量（AI/ML模型和/或数据集）转化为消化力（统计数据、解释或敏感性见解）。” |
| 可解释的Boosting Machine (EBM)/GA2M | “一个开源软件包，在一个屋顶下包含最先进的机器学习可解释性技术。使用此软件包，您可以训练可解释的玻璃盒模型并解释Blackbox Systems。drignsml可帮助您了解模型的全球行为，或者了解该模型的全球行为或了解个人预测背后的原因。” |
| 解释 | “一种工具，可以检查您的系统输出，识别哪些内容有效，哪些内容无效，并帮助您激发下一步该做什么的想法。” |
| 解释器 | “快速构建可解释的AI仪表板，显示所谓的“ BlackBox”机器学习模型的内部工作。 |
| 解释X | “为数据科学家提供可解释的人工智能框架。用一行代码解释和调试任何黑盒机器学习模型。” |
| 公平分类 | “用于训练公平逻辑回归分类器的 Python 代码。” |
| Fairml | “一个用于审核机器学习模型是否存在偏差的 Python 工具箱。” |
| 公平 | “一个 Python 包，使人工智能 (AI) 系统的开发人员能够评估其系统的公平性并缓解任何观察到的不公平问题。Fairlearn 包含缓解算法以及模型评估指标。除了源代码之外，该存储库还包含 Jupyter 笔记本Fairlearn 用法的示例。” |
| 公平比较 | “旨在促进公平意识机器学习算法的基准测试。” |
| 公平措施代码 | “包含用于量化歧视的措施的实施。” |
| 下降规则清单（FRL） | 鲁丁集团在杜克大学跌倒规则清单实施中的作用 |
| 傻瓜箱 | “一个Python工具箱，可创建对抗性示例，在Pytorch，Tensorflow和Jax中欺骗神经网络。” |
| 吉斯卡德 | “从表格到LLM的ML模型的测试框架。SCANAI模型，以检测偏见，性能问题和错误的风险。在4行代码中。” |
| Grad-CAM（GitHub 主题） | Grad-CAM 是一种通过可视化对计算机视觉模型中的预测很重要的输入区域来使卷积神经网络更加透明的技术。 |
| 普莱恩 | “在Python中实现遗传编程，并具有Scikit-Learn启发和兼容的API。” |
| H2O-3 惩罚广义线性模型 | “拟合一个通用的线性模型，该模型由响应变量，一组预测变量以及对误差分布的描述指定。” |
| H2O-3 单调 GBM | “在解析的数据集上构建梯度提升分类树和梯度提升回归树。” |
| H2O-3稀疏主组件（GLRM） | “构建 H2O 数据框架的广义低秩分解。” |
| h2o-llm-eval | “具有ELO排行榜和AB测试的大型模型评估框架。” |
| 讨厌功能测试 | Hatecheck：来自ACL 2021纸的数据集和测试套件，为仇恨言语检测模型提供功能测试，包括广泛的病例注释和测试功能。 |
| imodels | “ Python包装，用于简洁，透明和准确的预测建模。所有与Sklearn兼容且易于使用。” |
| 创新的神经网 | 一个综合的Python库，用于分析和解释Keras中的神经网络行为，采用各种方法，例如梯度，LRP和Deep Taylor。 |
| 集成梯度 | “计算输入预测输出WRT功能的梯度的变化。它不需要对原始网络进行修改，易于实现，并且适用于各种深层模型（稀疏和密集，文本和视觉）。 ” |
| 解释 | “一个开源软件包，其中包含一个屋顶下的最先进的机器学习可解释性技术。” |
| drivent_with_rules | “诱使规则解释了训练有素的神经网络的预测，并且还可以选择解释该模型从培训数据中捕获的模式以及原始数据集中存在的模式。” |
| 解释 | “将知识图（kg）与机器学习方法集成在一起，以产生有趣的有意义的见解。它有助于生成人类和机器可读的决策，以为用户提供帮助并提高效率。” |
| Keras-Vis | “一个高级工具包，用于可视化和调试训练有素的卡拉斯神经网模型。” |
| 角色 | Keract是可视化KERAS模型中激活和梯度的工具。它的目的是支持各种张量流，并提供带有Python示例的直观API。 |
| L2X | “复制论文学习中的实验的代码解释：关于模型解释的信息理论观点，在ICML 2018上，Jianbo Chen，Mitchell Stern，Martin J. Wainwright，Michael I. Jordan。” |
| 兰菲尔 | “ Langfair是用于进行用例LLM偏见和公平评估的Python库” |
| langtest | “ Langtest：提供安全有效的语言模型” |
| 学习代表 | “ Zemel等人的Python Numba实施2013 http://www.cs.toronto.edu/~toni/ppapers/icml-final.pdf” |
| leeky：黑盒语言模型的泄漏/污染测试 | “韭菜 - 黑框模型的培训数据污染技术” |
| Leondz / Garak，LLM脆弱性扫描仪 | “ LLM脆弱性扫描仪” |
| 紫丁香 | “为LLM策划更好的数据。” |
| 酸橙 | “解释机器学习分类器（或模型）正在做什么。目前，我们支持解释在表上作用于表（数值或分类数据的Numpy阵列）或图像的文本分类器或分类器的单个预测，或使用称为lime的软件包（简短）用于局部可解释的模型反应解释）。” |
| 举起 | “ LinkedIn公平工具包（Lift）是一个Scala/Spark库，可以在大规模机器学习工作流程中进行公平度和缓解偏差的测量。测量模块包括测量培训数据中的偏见，评估ML模型，ML模型，ML模型，ML模型，ML模型，并检测到不同亚组的性能上的统计学显着差异。” |
| 点亮 | “学习可解释性工具（LIT，以前称为语言可解释性工具）是一种视觉，交互式ML模型知识工具，支持文本，图像和表格数据。它可以作为独立服务器或笔记本电脑环境内部运行例如Colab，Jupyter和Google Cloud Vertex AI笔记本。” |
| LLM数据集推断：您在我的数据集上训练了吗？ | “官方存储库有关LLMS的数据集推断” |
| LOFO-IMPROPENACE | “ LOFO（留一个功能）重要性计算一组基于选择指标，选择模型，通过迭代从集合中删除每个功能的重要性，并通过验证评估模型的性能，并评估模型的性能基于选择的指标的选择方案。” |
| lrp_toolbox | “通过层的相关性传播（LRP）算法通过使用学到的模型本身的拓扑结构将相关性分数归因于输入的重要组成部分，从而将分类器的预测特定于给定数据点来解释。” |
| 思维数据库 | “使开发人员能够构建需要访问实时数据以执行其任务的AI工具。” |
| mlextend | “ MLXTEND（机器学习扩展）是用于日常数据科学任务的有用工具的Python库。” |
| ML-FAIRNESS-GYM | “一组用于构建简单模拟的组件，探讨了在社交环境中部署基于机器学习的决策系统的潜在长期影响。” |
| ml_privacy_meter | “一个开源库，用于审核统计和机器学习算法中的数据隐私。该工具可以通过对（机器学习）模型的基本隐私风险进行定量分析，来帮助数据保护影响评估过程。” |
| 米利普 | “这是多层逻辑感知器（MLLP）和随机二进制（RB）方法的Pytorch实施，用于学习透明分类任务的概念规则集（CRS），如我们的论文中所述：具有多层逻辑感知和随机二线化的透明分类：透明分类。” |
| 单调约束 | 在XGBOOST模型中实施和理解单调约束的指南，以实用的Python示例来增强预测性能。 |
| XGBoost | “一个优化的分布式梯度提升库，旨在高效，灵活和便携。” |
| 多层逻辑感知器（MLLP） | “这是多层逻辑感知器（MLLP）和随机二进制（RB）方法的Pytorch实施，用于学习透明分类任务的概念规则集（CRS），如我们的论文中所述：具有多层逻辑感知和随机二线化的透明分类：透明分类。” |
| Optbinning | “用Python编写的图书馆实施了严格且灵活的数学编程公式，以解决二进制，连续和多类目标类型的最佳封装问题，并结合了以前未解决的约束。” |
| 最优稀疏决策树 | “这伴随着纸，“最佳的稀疏决策树”，Xiyang Hu，Cynthia Rudin和Margo Seltzer。” |
| 奇偶校验 | “该存储库包含证明使用公平指标，偏见缓解和解释性工具的代码。” |
| PDPBOX | “ Python局部依赖图工具箱。使用部分依赖图，可视化某些特征对监督机器学习算法的模型预测的影响。” |
| piml-toolbox | “一种用于解释机器学习模型开发和验证的新的Python工具箱。通过低编码接口和高码API，PIML支持越来越多的固有可解释的ML模型列表。” |
| PJSaelin / Cobist | “适合昆兰的立体主义回归模型的Python软件包” |
| 隐私保护ML | “使用足够的部分同质加密，假设公共模型私有数据方案的实施SVM（在已加密但未加密的数据中的数据）中实现。” |
| Protopnet | “此代码软件包从论文中实现了原型零件网络（Protopnet）”，“这是这样的：可解释的图像识别的深度学习”（出现在Neurips 2019），作者：Chaofan Chen（Duke University），Oscar Li |
| pyrebrakdown | 参见Dalex。 |
| pycebox | “ Python个体有条件期望图工具箱。” |
| pygam | “ Python中的广义添加剂模型。” |
| PYMC3 | “ PYMC（以前是PYMC3）是用于贝叶斯统计建模的Python包装，重点是高级马尔可夫链蒙特卡洛（MCMC）和变异推理（VI）算法。其灵活性和可扩展性使其适用于大型问题。” |
| PYSS3 | “ SS3文本分类器是一种用于文本分类的新颖而简单的监督机器学习模型，即可以解释的，也就是说，它具有自然（自我）解释其理由的能力。” |
| pytorch-grad-cam | “具有可解释AI的最先进方法的包装，用于计算机视觉。这可以用于诊断模型预测，无论是在生产还是在开发模型中。目的还可以作为算法和指标的基准，用于研究新的新型。解释性方法。” |
| pytorch innnnvestigate | “皮塔尔奇（Pytorch）的实施KERAS已经存在的项目：https：//github.com/albermax/innvestigate/。” |
| 量子 | “数量是可解释的AI工具包，用于负责评估神经网络解释。” |
| 理由 | “该目录包含以下论文的代码和资源： “合理化神经预测”。TAOLEI，REGINA BARZILAY和TOMMI JAAKKOLA。EMNLP 2016。[PDF] [SLIDES] 。该方法学会学会提供合理性，即具有支持的方式，以作为支持，以作为支持，即支持。神经网络预测的证据。” |
| 负责任地 | “用于审核和减轻机器学习系统的偏见和公平性的工具包。” |
| 修订：揭示视觉偏见 | “一种工具，可以自动检测沿着基于对象，基于属性和地理位置模式的轴沿视觉数据集中可能的偏差形式，并建议从中进行缓解的下一步。” |
| 鲁棒性 | “我们（Madrylab的学生）创建了一个包装，以进行培训，评估和探索神经网络灵活而轻松。” |
| 上升 | “包含复制本文中一些主要结果所需的源代码：Vitali Petsiuk，Abir Das，Kate Saenko（BMVC，2018年）[和]上升：用于解释黑盒模型的随机输入采样。” |
| 风险降低 | “一种适合Python简单自定义风险评分的机器学习方法。” |
| 圣人 | “ Sage（Shapley添加性全球重要性）是一种游戏理论方法，用于理解黑盒机器学习模型。它根据其贡献的预测能力来量化每个功能的重要性，并使用Shapley值来说明复杂的功能交互。” |
| SALib | “ Python实施了常用的灵敏度分析方法。在系统建模中有用，可计算模型输入或外源性因素对感兴趣的产出的影响。” |
| Scikit解释 | “用于机器学习的用户友好的Python模块”，其中包括PD和ALE，Lime，Shap，置换重要性和Friedman的H等。 |
| Scikit-Learn决策树 | “一种用于分类和回归的非参数监督学习方法。” |
| Scikit-Learn广义线性模型 | “一组旨在用于回归的方法，其中目标值有望为特征的线性组合。” |
| Scikit-Learn稀疏主要组件 | “ [主要组件分析，PCA]的变体，目的是提取最能重建数据的稀疏组件集。” |
| Scikit-Fairness | 历史链接。与Fairlearn合并。 |
| Scikit-Multiflow | “用于流式数据流数据的机器学习包。” |
| 形状 | “一种可以解释任何机器学习模型输出的游戏理论方法。它使用游戏理论中的经典沙普利价值观将最佳信用分配与本地解释联系起来” |
| 沙普利 | “一个用于评估机器学习合奏中二进制分类器的Python库。” |
| Sklearn-Expertsys | “由Letham等人开发的贝叶斯规则列表分类器的Scikit-Learn兼容包装器，2015年，通过最低描述基于长度的裁判率（Fayyad＆Irani，1993）扩展了连续数据，并通过用于子样本大型数据集的方法。为了更好地表现。” |
| 滑绳 | “一个Python机器学习模块建立在Scikit-Learn之上，并根据BSD许可分发。” |
| Solas-ai差异 | “一系列工具，允许建模者，合规性和业务利益相关者使用广泛接受的公平指标来测试偏见或歧视结果的结果。” |
| 超级线性线性整数模型（Slims） | “用于学习决策问题的定制评分系统的软件包。” |
| TensorFlow/晶格 | “一个实现基于晶格模型的库的库。它是在张曲流程中单调校准的插值查找表的实现。” |
| TensorFlow/Lucid | “神经网络可解释性研究的基础架构和工具集合。” |
| Tensorflow/公平探测器 | “旨在支持团队在与更广泛的Tensorflow工具包合作评估，改进和比较公平问题的模型。” |
| 张量流/模型分析 | “用于评估TensorFlow模型的库。它允许用户使用其教练中定义的相同指标以大量分布式的方式评估其模型。这些指标可以在不同的数据片上计算并在Jupyter Notebook中可视化。 ” |
| 张量流/模型卡工具包 | “简化和自动化的模型卡的生成，机器学习文档，这些文档可为模型的开发和性能提供上下文和透明度。将MCT集成到ML管道中，使您可以与研究人员，开发人员，记者等共享模型元数据以及指标。” |
| TensorFlow/模型解析 | “一个为机器学习从业人员提供解决方案的图书馆，以减少或消除由于基本绩效偏见而造成的用户伤害的方式来创建和培训模型。” |
| TensorFlow/私密性 | “ Tensorflow隐私的源代码，这是一个Python库，其中包括具有差异隐私的培训机器学习模型的张量优化器的实现。该库配备了用于计算提供的隐私保证的教程和分析工具。” |
| TensorFlow/TCAV | “使用概念激活向量（TCAV）测试是一种新的解释性方法，可以理解您的神经网络模型用于预测的信号。” |
| Tensorfuzz | “用于执行神经网络的覆盖范围的图书馆。” |
| TensorWatch | “用于数据科学，深度学习和从Microsoft Research学习的调试和可视化工具。它在Jupyter Notebook中起作用，以显示机器学习培训的实时可视化，并为您的模型和数据执行其他一些关键分析任务。” |
| TextFooler | “对文本分类和推理的自然语言攻击模型” |
| text_解释性 | “ Text_Explainability提供了一种通用体系结构，可以从中构成众所周知的最先进的解释性方法。” |
| text_sensitivity | “使用text_explainability的通用体系结构还包括安全性测试（生产模型的安全性，即它可以处理的输入类型），鲁棒性（模型在生产中的可推广程度，例如添加错字时的稳定性或效果时的稳定性，或添加随机的无关数据）和公平性（如果平等的个体被模型平等对待，例如性别和国籍的亚组公平性）。” |
| TF解释 | “将可解释性方法作为张量2.x回调，以减轻神经网络的理解。” |
| 忒弥斯 | “一种基于测试的方法，用于测量软件系统中的歧视。” |
| themis-ml | “建立在大熊猫之上的Python库，并在Sklearnthat上实现了公平感知的机器学习算法。” |
| 火炬 | “旨在帮助您利用不确定性量化技术的软件包，并使深层神经网络更加可靠。” |
| TreeInterPreter | “解释Scikit-Learn的决策树和随机森林预测的包装。” |
| 分诊 | “此存储库包含Triage的实现，这是一个“以数据为中心的AI”量身定制的用于回归的数据表征的框架。” |
| 祸患 | “用于记分卡模型中的祸转换工具用于信用评级。” |
| 赛 | “一个机器学习库，其核心设计具有AI的解释性。” |
| x深 | “用于可解释的机器学习的开源Python库。” |
| Xplique | “一个专门用于解释性的Python工具包。该库的目的是收集可解释的AI的艺术状态，以帮助您了解复杂的神经网络模型。” |
| YDATA促进 | “在一致且快速的解决方案中提供[S]单行探索性数据分析（EDA）经验。” |
| 黄砖 | “一组名为“可视化器”的视觉诊断工具，该工具扩展了Scikit-Learn API，以允许对模型选择过程进行人体转向。” |
| 姓名 | 描述 |
|---|---|
| aleplot | “可视化单个预测变量的主要影响及其在黑盒监督学习模型中的二阶相互作用效果。” |
| 阿鲁莱斯 | “提供了代表，操纵和分析交易数据和模式的基础架构（频繁的项目集和关联规则）。还提供了协会挖掘算法Apriori和Eclat的C实现。Hahsler，Gruen and Hornik（2005）。” |
| 因果SVM | “我们提出了一种新的机器学习方法，以估计治疗是否对个人有影响，以与二元结果的经典潜在结果框架。” |
| 达莱克斯 | “用于探索和解释的模型不可知论。” |
| dalextra：“ dalex”包的扩展程序 | “提供各种机器学习模型的包装纸。” |
| 博士 | “ Dr Why是用于解释AI（XAI）的工具的集合。它基于共同的原则和简单的语法，用于探索预测模型的探索，解释和可视化。” |
| 弹性网 | “提供拟合弹性网络的整个解决方案路径的功能，还提供了进行稀疏PCA的功能。” |
| 解释预定 | “生成分类和回归模型的解释，并对它们进行可视化。” |
| 可解释的Boosting Machine (EBM)/GA2M | “用于培训可解释的机器学习模型的包装。” |
| Fairmodels | “用于偏见检测，可视化和缓解措施的灵活工具。使用Dalex解释的模型，并使用FairNess_Check（）基于混淆矩阵计算公平分类指标，或使用Fairness_check_regression（）尝试回归模型（）。” |
| 公平 | “提供算法公平指标的计算，可视化和比较。” |
| 快速成型 | “ FastShap的目的是为计算近似Shapley值提供高效且快速的方法（至少相对于其他实现），这有助于解释任何机器学习模型的预测。” |
| 功能重要性 | "An extension for the mlr package and allows to compute the permutation feature importance in a model-agnostic manner." |
| 手电筒 | "The goal of this package is [to] shed light on black box machine learning models." |
| forestmodel | "Produces forest plots using 'ggplot2' from models produced by functions such as stats::lm(), stats::glm() and survival::coxph()." |
| 弗斯卡雷特 | "Automated feature selection using variety of models provided by 'caret' package." |
| 甘 | "Functions for fitting and working with generalized additive models, as described in chapter 7 of "Statistical Models in S" (Chambers and Hastie (eds), 1991), and "Generalized Additive Models" (Hastie and Tibshirani, 1990)." |
| glm2 | "Fits generalized linear models using the same model specification as glm in the stats package, but with a modified default fitting method that provides greater stability for models that may fail to converge using glm." |
| glmnet | "Extremely efficient procedures for fitting the entire lasso or elastic-net regularization path for linear regression, logistic and multinomial regression models, Poisson regression, Cox model, multiple-response Gaussian, and the grouped multinomial regression." |
| H2O-3 惩罚广义线性模型 | "Fits a generalized linear model, specified by a response variable, a set of predictors, and a description of the error distribution." |
| H2O-3 单调 GBM | “在解析的数据集上构建梯度提升分类树和梯度提升回归树。” |
| H2O-3 Sparse Principal Components (GLRM) | “构建 H2O 数据框架的广义低秩分解。” |
| iBreakDown | "A model agnostic tool for explanation of predictions from black boxes ML models." |
| ICEbox: Individual Conditional Expectation Plot Toolbox | "Implements Individual Conditional Expectation (ICE) plots, a tool for visualizing the model estimated by any supervised learning algorithm." |
| 伊姆勒 | "An R package that interprets the behavior and explains predictions of machine learning models." |
| 原料 | "A collection of tools for assessment of feature importance and feature effects." |
| interpret: Fit Interpretable Machine Learning Models | "Package for training interpretable machine learning models." |
| lightgbmExplainer | "An R package that makes LightGBM models fully interpretable." |
| 酸橙 | "R port of the Python lime package." |
| 居住 | "Helps to understand key factors that drive the decision made by complicated predictive model (black box model)." |
| MCR | "An R package for Model Reliance and Model Class Reliance." |
| modelDown | "Website generator with HTML summaries for predictive models." |
| modelOriented | GitHub repositories of Warsaw-based MI².AI. |
| modelStudio | "Automates the explanatory analysis of machine learning predictive models." |
| Monotonic XGBoost | Enforces consistent, directional relationships between features and predicted outcomes, enhancing model performance by aligning with prior data expectations. |
| 量子寄存器 | "Estimation and inference methods for models for conditional quantile functions." |
| rpart | "Recursive partitioning for classification, regression and survival trees." |
| RuleFit | "Implements the learning method and interpretational tools described in Predictive Learning via Rule Ensembles ." |
| Scalable Bayesian Rule Lists (SBRL) | A more scalable implementation of Bayesian rule list from the Rudin group at Duke. |
| shapFlex | Computes stochastic Shapley values for machine learning models to interpret them and evaluate fairness, including causal constraints in the feature space. |
| shapleyR | "An R package that provides some functionality to use mlr tasks and models to generate shapley values." |
| shapper | "Provides SHAP explanations of machine learning models." |
| smbinning | "A set of functions to build a scoring model from beginning to end." |
| 贵宾 | "An R package for constructing variable importance plots (VIPs)." |
| xgboostExplainer | "An R package that makes xgboost models fully interpretable. |
Contributors with over 100 edits can be named coauthors in the citation of visible names. Otherwise, all contributors with fewer than 100 edits are included under "et al."
@misc{amli_repo,
author={Patrick Hall and Daniel Atherton},
title={Awesome Machine Learning Interpretability},
year={2024},
note={url{https://github.com/jphall663/awesome-machine-learning-interpretability}}
}
Hall, Patrick, Daniel Atherton, et al. 2024. Awesome Machine Learning Interpretability. GitHub。 https://github.com/jphall663/awesome-machine-learning-interpretability.
Hall, Patrick, Daniel Atherton, et al. （2024）。 Awesome Machine Learning Interpretability [GitHub repository]. GitHub。 https://github.com/jphall663/awesome-machine-learning-interpretability.
Hall, Patrick, Daniel Atherton, et al. "Awesome Machine Learning Interpretability." GitHub。 Last modified 2023. https://github.com/jphall663/awesome-machine-learning-interpretability.
Hall, Patrick, Daniel Atherton, et al. "Awesome Machine Learning Interpretability." GitHub , 2024, https://github.com/jphall663/awesome-machine-learning-interpretability. Accessed 5 March 2024.
