awesome machine learning interpretability
1.0.0
維護和策劃的實用且令人敬畏的負責任的機器學習資源清單。
如果您想對此清單做出貢獻（請這樣做！ ），請閱讀貢獻指南、發送拉取請求或提交問題。
如果您在 2023 年 9 月重新啟動後貢獻或在此處找到的內容遺失，請檢查存檔。
社區和官方指導資源
教育資源
人工智慧事件、批評與研究資源
技術資源
引用令人驚嘆的機器學習可解釋性
本節適用於組織或個人提出的負責任的機器學習指南，而不是官方的政府指南。
本部分適用於與負責任的機器學習相關的會議、研討會和其他重大活動。
本節作為管理人工智慧和機器學習技術的道德和負責任使用的政策文件、法規、指南和建議的儲存庫。從國際法律框架到具體的國家法律，這些資源涵蓋了廣泛的主題，例如公平、隱私、道德和治理。
消費者金融保護局 (CFPB)
商品期貨交易委員會（CFTC）
國會預算辦公室
國會研究服務處
版權局
數據網
國防高級研究計劃局 (DARPA)
國防技術資訊中心
商務部
國防部
教育部
能源部
國土安全部
司法部
財政部
平等就業機會委員會 (EEOC)
美國總統行政辦公室
聯邦存款保險公司 (FDIC)
聯邦住房金融局 (FHFA)
聯準會
聯邦貿易委員會 (FTC)
政府問責辦公室 (GAO)
國家安全局 (NSA)
國家人工智慧安全委員會
貨幣監理署 (OCC)
國家情報總監辦公室 (ODNI)
證券交易委員會 (SEC)
美國專利商標局 (USPTO)
美國網頁設計系統（USWDS）
加州
肯塔基州
密西西比州
紐約
德州
猶他州
本節是負責任的人工智慧的法律文本和草案的集合。
本部分是一系列精選的指南和教程，可簡化負責任的 ML 實施。它涵蓋從基本模型可解釋性到高級公平技術。這些資源既適合新手，也適合專家，涵蓋了 COMPAS 公平性分析和透過反事實進行可解釋的機器學習等主題。
本部分包含可以合理描述為免費的書籍，包括一些廣泛涉及道德和負責任技術的「歷史」書籍。
本部分提供了一系列用於定義 ML 術語的術語表和字典，包括一些「歷史」字典。
本節精選了一系列教育課程，重點在於機器學習的道德考量和最佳實踐。課程範圍從數據倫理入門課程到公平和值得信賴的深度學習專業培訓。
本部分包含播客和頻道（例如 YouTube），提供有關負責任的人工智慧和機器學習可解釋性的富有洞察力的評論和解釋。
本部分包含促進集體和跨學科努力以增強人工智慧安全的措施、網路、儲存庫和出版物。它包括專家和從業者聚集在一起分享見解、識別潛在漏洞並協作開發人工智慧系統（包括人工智慧事件追蹤器）的強大保障措施的平台。
本部分包含與人工智慧相關的法律、政策和指南的追蹤器、資料庫和儲存庫。
本節包含與負責任的機器學習相關的挑戰和競賽。
本節包含各種對產生人工智慧持批評態度的論文、文章、論文和一般資源。
我們正在尋找與各種主題的負責任的機器學習相關的精選參考書目，請參閱第 115 期。
Blair Attard-Frost，INF1005H1S：人工智慧政策補充閱讀清單
網路規則實驗室，負責任計算
法學碩士安全與隱私
機器學習模型文獻中的成員推理攻擊與防禦
White & Case、AI Watch：全球監管追蹤器 - 美國
參考書目：
網址：
本部分連結到負責機器學習或相關資源的其他清單。
本節包含用於 ML 系統基準的基準或資料集，特別是那些與負責任的 ML 需求相關的基準。
| 資源 | 描述 |
|---|---|
| 基準m-ml | 「二元分類（隨機森林、梯度提升樹）的頂級機器學習演算法的常用開源實作（R 套件、Python scikit-learn、H2O、xgboost、Spark MLlib 等）的可擴展性、速度和準確性的最低基準、深度神經網路等）。 |
| QA 資料集的偏差基準 (BBQ) | “QA 資料集偏差基準儲存庫。” |
| 編目 LLM 評估 | 「這個儲存庫源自於我們的論文《法學碩士評估目錄》，是法學碩士評估框架、基準和論文的活生生的協作目錄。” |
| 解碼信任 | “GPT 模型可信度的綜合評估。” |
| EleutherAI，語言模型評估工具 | “語言模型的小樣本評估框架。” |
| 寶石 | “GEM 是自然語言生成的基準環境，重點是透過人工註釋和自動指標進行評估。” |
| 舵 | “評估基礎模型的整體架構。” |
| 抱臉評價一下 | “評估：一個用於輕鬆評估機器學習模型和數據集的庫。” |
| i-gallegos，Fair-LLM-基準 | 來自“大型語言模型中的偏見和公平性：調查”的基準 |
| MLCommons，MLCommons AI 安全性 v0.5 概念驗證 | “MLCommons AI 安全基準旨在評估 AI 系統的安全性，以指導開發、為購買者和消費者提供資訊並支持標準機構和政策制定者。” |
| MLCommons，推出 MLCommons 的 AI 安全基準 v0.5 | 關於 MLCommons AI 安全基準 v0.5 的論文。 |
| Nvidia MLPerf | 「MLPerf™ 基準由 MLCommons 開發，MLCommons 是一個由來自學術界、研究實驗室和行業的人工智慧領導者組成的聯盟，旨在為硬體、軟體和服務的訓練和推理性能提供公正的評估。” |
| OpenML 基準測試套件 | OpenML 包含超過兩打基準測試套件的集合。 |
| 真實毒性提示（艾倫人工智慧研究所） | “來自網路的 10 萬個句子片段的數據集，供研究人員進一步解決模型中神經毒性退化的風險。” |
| 安全提示網 | “法學碩士安全開放資料集的動態目錄。” |
| 社會技術安全評估庫 | 電子表格中包含社會技術安全評估的廣泛電子表格。 |
| TrustLLM-基準 | “大型語言模型可信度的綜合研究。” |
| Trust-LLM-基準排行榜 | 一系列基於不同可信度標準的法學碩士可排序排行榜。 |
| 真實的品質保證 | “TruthfulQA：衡量模型如何模仿人類的謊言。” |
| WAVES：影像浮水印穩健性基準測試 | “本文研究了圖像水印技術的弱點。” |
| Wild-Time：野外分佈隨時間變化的基準 | “自然時間分佈轉變的基準 (NeurIPS 2022)。” |
| 酒性別圖式 | “用於評估共指解析系統中性別偏見的數據。” |
| yandex 研究 / tabred | “使用真實世界工業級表格資料集的野外表格機器學習基準。” |
本部分包含負責任的 ML 評估或有趣/重要資料來源儲存庫中常用的資料集：
本節精選了針對特定領域（例如醫療保健、金融或社會科學）內負責任的機器學習的專用軟體工具。
本部分包含開源或開放存取 ML 環境管理軟體。
| 資源 | 描述 |
|---|---|
| 直流電壓 | “管理和版本儲存中的圖像、音訊、視訊和文字文件，並將您的 ML 建模過程組織成可重複的工作流程。” |
| 巨大的 | “建立一種更好的方式來創建、協作和共享數據驅動的科學。” |
| 毫升流 | “機器學習生命週期的開源平台。” |
| MLMD | “用於記錄和檢索與機器學習開發人員和數據科學家工作流程相關的元數據。” |
| 模型資料庫 | “開源 ML 模型版本控制、元數據和實驗管理。” |
| 海王星 | “管理所有模型元資料的單一位置。” |
| 奧皮克 | “在您的開發和生產生命週期中評估、測試和交付 LLM 應用程式。” |
本節包含個人資料保護的工具。
| 姓名 | 描述 |
|---|---|
| LLM 資料集推斷：您在我的資料集上進行訓練嗎？ | “法學碩士資料集推理官方儲存庫” |
本節包含用於實現負責任的機器學習的開源或開放存取軟體。描述盡可能從各自的儲存庫本身逐字引用。在極少數情況下，我們會提供我們自己的描述（不加引號）。
| 姓名 | 描述 |
|---|---|
| 判別透鏡 | 「機器學習中的歧視」。 |
| 擁抱臉部，BiasAware：資料集偏差檢測 | “BiasAware 是一種專門的工具，用於檢測和量化用於自然語言處理 (NLP) 任務的數據集中的偏差。” |
| 歧管 | “一種與模型無關的機器學習可視化調試工具。” |
| PAIR 程式碼 / datacardsplaybook | “數據卡手冊幫助數據集生產者和出版商採用以人為本的方法來提高數據集文件的透明度。” |
| PAIR-代碼/方面 | “機器學習資料集的可視化。” |
| PAIR 代碼/knowyourdata | “這是一種幫助研究人員和產品團隊理解數據集的工具，旨在提高數據品質並減少公平和偏見問題。” |
| TensorBoard投影儀 | “使用 TensorBoard Embedding Projector，您可以以圖形方式表示高維嵌入。這有助於可視化、檢查和理解嵌入層。” |
| 假設工具 | “用最少的編碼直觀地探索經過訓練的機器學習模型的行為。” |
| 姓名 | 描述 |
|---|---|
| 重生樹合奏 | “重生樹整合：將隨機森林轉換為單一最小尺寸的樹，在整個特徵空間中具有完全相同的預測函數（ICML 2020）。” |
| 可證明的最佳規則列表 | “CORELS 是一種定制的離散優化技術，用於在分類特徵空間上建立規則列表。” |
| 安全機器學習 | “半誠實兩方環境中的安全線性回歸。” |
| 姓名 | 描述 |
|---|---|
| LDNOOBW | “骯髒、頑皮、淫穢和其他不好的詞語清單” |
| 姓名 | 描述 |
|---|---|
| 交流中心 | “為 pytorch 神經網路做出的單一預測生成分層解釋。神經網路預測的分層解釋的官方程式碼。” |
| 平等 | “Aequitas 是一個開源偏見審計工具包，供數據科學家、機器學習研究人員和政策制定者審計機器學習模型中的歧視和偏見，並圍繞開發和部署預測工具做出明智且公平的決策。” |
| 人工智慧公平 360 | “數據集和機器學習模型的一套全面的公平性指標、這些指標的解釋以及減少數據集和模型中偏差的演算法。” |
| AI 解釋性 360 | “數據和機器學習模型的可解釋性和可解釋性。” |
| ALEPython | “Python 累積局部效應套件。” |
| 真理 | “用於解包 ReLU DNN 的 Python 套件。” |
| 艾倫普 | “一個基於 PyTorch 構建的開源 NLP 研究庫。” |
| 演算法公平性 | 請參閱[演算法公平性][http://fairness.haverford.edu/)。 |
| 不在場證明 | “Alibi 是一個旨在機器學習模型檢查和解釋的開源 Python 庫。該庫的重點是為分類和回歸模型提供黑盒、白盒、局部和全局解釋方法的高品質實現。” |
| 錨 | “‘高精度模型無關解釋’論文的代碼。” |
| 貝葉斯案例模型 | |
| 貝葉斯安茲 | “該程式碼實現了 BOA 論文中描述的貝葉斯或與演算法。我們以該程式碼使用的正確格式包含了 tictactoe 資料集。” |
| 貝葉斯規則清單 (BRL) | Rudin 小組在杜克大學貝葉斯案例模型實施中的應用 |
| 黑盒審計 | “研究用於審計和探索黑盒機器學習模型的代碼。” |
| 計算內容，慧儷輕體 | “用於預測深度神經網路準確性的 WeightWatcher 工具。” |
| 卡什梅 | 「包含最初從PyTorch 中的ImageNet 訓練中分叉出來的程式碼，該程式碼經過修改以呈現與分類器無關的顯著性映射提取的性能，這是一種透過同時訓練分類器和顯著性映射來訓練與分類器無關的顯著性映射的實用演算法。 |
| 因果發現工具箱 | “用於圖形和成對設定中的因果推理的套件。其中包括用於圖形結構恢復和依賴關係的工具。” |
| 帽子 | “PyTorch 的模型可解釋性和理解性。” |
| 因果關係 | “透過機器學習演算法提升建模和因果推理。” |
| cdt15，滋賀大學因果發現實驗室 | “LiNGAM 是一種用於估計結構方程模型或線性因果貝葉斯網路的新方法。它基於使用數據的非高斯性。” |
| 清單 | “超越準確性：使用 CheckList 對 NLP 模型進行行為測試。” |
| 克萊爾漢斯 | “一個用於構建攻擊、構建防禦並對兩者進行基準測試的對抗性示例庫。” |
| 情境人工智慧 | 「情境人工智慧為機器學習管道的不同階段增加了可解釋性 |
| 對比解釋（箔樹） | 「解釋了為什麼一個實例具有當前結果（事實）而不是感興趣的目標結果（陪襯）。這些反事實解釋將解釋限制在區分事實和陪襯的相關特徵上，從而忽略了不相關的特徵。” |
| 仿製品 | “一個 CLI，提供用於評估 ML 模型安全性的通用自動化層。” |
| 達萊克斯 | “用於探索和解釋的模型不可知語言。” |
| 德比亞斯韋 | “消除詞嵌入中存在的性別偏見問題。” |
| 深度解釋 | “為最先進的梯度和基於擾動的歸因方法提供了一個統一的框架。研究人員和從業者可以使用它來更好地理解推薦的現有模型，以及對其他歸因方法進行基準測試。” |
| 深度提升 | 「這個儲存庫實現了 Shrikumar、Greenside 和 Kundaje 所著的『透過傳播活化差異學習重要特徵』中的方法，以及其他常用方法，例如梯度、梯度次輸入（相當於分層相關性傳播的一個版本） ReLU 網路）、引導反向傳播和整合梯度。 |
| 深視 | “運行深度可視化工具箱以及使用正則化優化生成神經元可視化所需的程式碼。” |
| 黛安娜 | 「DIANNA 是一個Python 包，可為您的研究項目帶來可解釋的AI (XAI)。它將精心挑選的XAI 方法包裝在一個簡單、統一的介面中。它由致力於機器學習的（學術）研究人員和研究軟體工程師、與他們共同建造並為他們建立專案」。 |
| 骰子 | “為任何機器學習模型產生多樣化的反事實解釋。” |
| 做為什麼 | “DoWhy 是一個用於因果推理的 Python 庫，支援對因果假設進行明確建模和測試。DoWhy 基於統一的因果推理語言，結合了因果圖形模型和潛在結果框架。” |
| dtreeviz | “用於決策樹可視化和模型解釋的 Python 庫。” |
| 愛步 | “解釋、分析和可視化 NLP 語言模型。Ecco 直接在 Jupyter Notebook 中創建交互式可視化，解釋基於 Transformer 的語言模型（如 GPT2、BERT、RoBERTA、T5 和 T0）的行為。” |
| 伊萊5 | “一個用於調試/檢查機器學習分類器並解釋其預測的庫。” |
| 解釋框 | 「旨在支援資料科學家和機器學習(ML) 工程師解釋、測試和記錄內部開發或外部獲取的AI/ML 模型。explabox 將您的攝取物（AI/ML 模型和/或資料集）轉化為可消化的內容（統計數據、解釋或敏感性見解）。 |
| 可解釋的Boosting Machine (EBM)/GA2M | 「一個開源包，在一個屋簷下整合了最先進的機器學習可解釋性技術。透過這個包，您可以訓練可解釋的玻璃盒模型並解釋黑盒系統。InterpretML 可以幫助您了解模型的全局行為，或了解模型的全局行為。 |
| 解釋板 | “一種工具，可以檢查您的系統輸出，識別哪些內容有效，哪些內容無效，並幫助您激發下一步該做什麼的想法。” |
| 解釋儀表板 | “快速建立可解釋的人工智慧儀表板，顯示所謂的“黑盒子”機器學習模型的內部運作。” |
| 解釋X | “為數據科學家提供可解釋的人工智慧框架。用一行程式碼解釋和調試任何黑盒機器學習模型。” |
| 公平分類 | “用於訓練公平邏輯回歸分類器的 Python 程式碼。” |
| 公平 | “一個用於審核機器學習模型是否存在偏差的 Python 工具箱。” |
| 公平學習 | 「一個Python 包，使人工智慧(AI) 系統的開發人員能夠評估其係統的公平性並緩解任何觀察到的不公平問題。Fairlearn 包含緩解演算法以及模型評估指標。除了原始碼之外，該儲存庫也包含Jupyter 筆記本Fairlearn 用法的範例。 |
| 公平比較 | “旨在促進公平意識機器學習演算法的基準測試。” |
| 公平措施代碼 | “包含用於量化歧視的措施的實施。” |
| 跌倒規則清單 (FRL) | 魯丁集團在杜克大學跌倒規則清單實施中的作用 |
| 傻瓜箱 | “一個 Python 工具箱，用於創建欺騙 PyTorch、TensorFlow 和 JAX 中的神經網路的對抗性示例。” |
| 吉斯卡德 | “專用於 ML 模型的測試框架，從表格到法學碩士。掃描 AI 模型以檢測偏差、性能問題和錯誤的風險。只需 4 行程式碼。” |
| Grad-CAM（GitHub 主題） | Grad-CAM 是一種透過視覺化對電腦視覺模型中的預測很重要的輸入區域來使卷積神經網路更加透明的技術。 |
| 普萊恩 | “使用 Python 實現遺傳編程，並具有受 scikit-learn 啟發且兼容的 API。” |
| H2O-3 懲罰廣義線性模型 | “擬合由響應變量、一組預測變量和誤差分佈描述指定的廣義線性模型。” |
| H2O-3 單調 GBM | “在解析的資料集上建立梯度提升分類樹和梯度提升回歸樹。” |
| H2O-3 稀疏主成分 (GLRM) | “建構 H2O 資料框架的廣義低秩分解。” |
| h2o-法學碩士-評估 | “具有 Elo 排行榜和 AB 測試的大語言模型評估框架。” |
| 討厭功能測試 | HateCheck：來自 ACL 2021 論文的資料集和測試套件，為仇恨語音偵測模型提供功能測試，包括廣泛的案例註釋和測試功能。 |
| 模型 | “Python 套件用於簡潔、透明和準確的預測建模。所有 sklearn 兼容且易於使用。” |
| iNNvestigate 神經網絡 | 一個綜合性的 Python 函式庫，用於分析和解釋 Keras 中的神經網路行為，具有 Gradient、LRP 和 Deep Taylor 等多種方法。 |
| 積分梯度 | 「計算預測輸出相對於輸入特徵的梯度的一種變體。它不需要對原始網路進行修改，實現簡單，並且適用於各種深度模型（稀疏和密集、文字和視覺）。 ” |
| 解釋 | “一個開源包，在一個屋簷下整合了最先進的機器學習可解釋性技術。” |
| 用規則解釋 | “引入規則來解釋經過訓練的神經網路的預測，並且還可以選擇解釋模型從訓練資料中捕獲的模式以及原始資料集中存在的模式。” |
| 詮釋我 | “將知識圖譜 (KG) 與機器學習方法相結合，產生有趣且有意義的見解。它有助於生成人類和機器可讀的決策，為用戶提供幫助並提高效率。” |
| Keras-vis | “一個高級工具包，用於可視化和調試經過訓練的 keras 神經網路模型。” |
| 角化物 | Keract 是一款用於視覺化 Keras 模型中的活化和梯度的工具；它旨在支援各種 Tensorflow 版本，並提供帶有 Python 範例的直覺式 API。 |
| L2X | 「用於複製論文《學習解釋：模型解釋的資訊理論視角》（ICML 2018）中的實驗的代碼，作者為Jianbo Chen、Mitchell Stern、Martin J. Wainwright、Michael I. Jordan。” |
| 朗費爾 | “LangFair 是一個用於進行用例級別 LLM 偏差和公平性評估的 Python 庫” |
| 朗格測試 | “LangTest：提供安全有效的語言模型” |
| 學習公平代表 | “Zemel 等人的 Python numba 實作。2013 http://www.cs.toronto.edu/~toni/Papers/icml-final.pdf” |
| leeky：黑盒語言模型的洩漏/污染測試 | “leeky - 黑盒模型的訓練資料污染技術” |
| leondz / garak，LLM 漏洞掃描器 | “LLM漏洞掃描器” |
| 紫丁香 | “為法學碩士提供更好的數據。” |
| 萊姆 | 「解釋機器學習分類器（或模型）正在做什麼。目前，我們支援解釋文字分類器或作用於表（數字或分類資料的numpy 數組）或圖像的分類器的單獨預測，使用一個名為Lime（短）的包用於本地可解釋的與模型無關的解釋）。 |
| 舉起 | 「LinkedIn Fairness Toolkit (LiFT) 是一個 Scala/Spark 庫，可以在大規模機器學習工作流程中測量公平性並減輕偏差。測量模組包括測量訓練資料中的偏差、評估 ML 模型的公平性指標、並檢測不同亞組的表現在統計上有顯著差異。 |
| 點亮 | 「學習解釋性工具（LIT，以前稱為語言解釋性工具）是一種視覺化、互動式 ML 模型理解工具，支援文字、圖像和表格資料。它可以作為獨立伺服器運行，也可以在筆記型電腦環境中運行例如Colab、Jupyter 和Google Cloud Vertex AI 筆記本。 |
| LLM 資料集推斷：您在我的資料集上進行訓練嗎？ | “法學碩士資料集推理官方儲存庫” |
| lofo-重要性 | 「LOFO（保留一個特徵）重要性根據所選指標計算一組特徵的重要性，對於所選模型，透過迭代地從集合中刪除每個特徵，並透過驗證評估模型的性能根據所選指標選擇方案。 |
| lrp_工具箱 | “逐層相關性傳播 (LRP) 演算法通過使用學習模型本身的拓撲將相關性分數歸因於輸入的重要組成部分，解釋了分類器針對給定數據點的預測。” |
| 思維資料庫 | “使開發人員能夠建立需要訪問即時數據來執行任務的人工智慧工具。” |
| ML擴充 | “Mlxtend（機器學習擴展）是一個 Python 庫，其中包含用於日常數據科學任務的有用工具。” |
| 毫升公平健身房 | “一組用於構建簡單模擬的組件，探索在社會環境中部署基於機器學習的決策系統的潛在長期影響。” |
| ml_隱私權_計量表 | 「一個開源庫，用於審核統計和機器學習演算法中的資料隱私。該工具可以透過提供（機器學習）模型的基本隱私風險的定量分析來幫助資料保護影響評估過程。” |
| 米利普 | 「這是多層邏輯感知器(MLLP) 和隨機二值化(RB) 方法的PyTorch 實現，用於學習透明分類任務的概念規則集(CRS)，如我們的論文：使用多層邏輯感知器和隨機二值化的透明分類所述。 |
| 單調約束 | 有關在 XGBoost 模型中實現和理解單調約束的指南，以透過實際的 Python 範例增強預測效能。 |
| XGBoost | “一個優化的分佈式梯度增強庫，旨在高效、靈活和便攜。” |
| 多層邏輯感知器 (MLLP) | 「這是多層邏輯感知器(MLLP) 和隨機二值化(RB) 方法的PyTorch 實現，用於學習透明分類任務的概念規則集(CRS)，如我們的論文：使用多層邏輯感知器和隨機二值化的透明分類所述。 |
| 選項合併 | “一個用 Python 編寫的庫，實現了嚴格而靈活的數學編程公式，以解決二進制、連續和多類目標類型的最佳分箱問題，並結合了以前未解決的約束。” |
| 最優稀疏決策樹 | “本文附有 Xiyang Hu、Cynthia Rudin 和 Margo Seltzer 撰寫的論文《最優稀疏決策樹》。” |
| 平等公平 | “該存儲庫包含演示公平性指標、偏見緩解和可解釋性工具使用的代碼。” |
| 等離子盒 | “Python 部分依賴圖工具箱。利用部分依賴圖，可視化某些特徵對監督機器學習演算法模型預測的影響。” |
| PiML-工具箱 | “一個用於可解釋機器學習模型開發和驗證的新 Python 工具箱。透過低程式碼介面和高程式碼 API，PiML 支援越來越多的本質上可解釋的 ML 模型。” |
| pjsaelin / 立體派 | “用於擬合 Quinlan 立體回歸模型的 Python 套件” |
| 隱私保護機器學習 | “使用適當的部分同態加密，假設公共模型私有資料場景（資料已加密，但模型參數未加密），實現隱私保護 SVM。” |
| 原型PNet | 「此程式碼包實現了論文《This Looks Like That: Deep Learning for Interpretable Image Recognition》（將在 NeurIPS 2019 上發表）中的原型部分網絡 (ProtoPNet)，作者：Chaofan Chen（杜克大學）、Oscar Li |
| pyBreakDown | 參見戴萊克斯. |
| PyCEbox | “Python 個體條件期望圖工具箱。” |
| pyGAM | “Python 中的廣義加法模型。” |
| pymc3 | 「PyMC（以前稱為PyMC3）是一個用於貝葉斯統計建模的Python 包，專注於高級馬可夫鏈蒙特卡羅(MCMC) 和變分推理(VI) 演算法。它的靈活性和可擴展性使其適用於大量問題。 |
| pySS3 | “SS3 文本分類器是一種新穎且簡單的文本分類監督機器學習模型，它是可解釋的，也就是說，它有能力自然地（自我）解釋其基本原理。” |
| pytorch-grad-cam | 「一個包含用於電腦視覺的可解釋人工智慧的最先進方法的軟體包。這可以用於在生產中或開發模型時診斷模型預測。其目的還在於作為新研究的演算法和指標的基準。可解釋性方法。 |
| pytorch-調查 | “Keras 現有專案的 PyTorch 實現：https://github.com/albermax/innvestigate/。” |
| 量子 | “Quantus 是一個可解釋的人工智慧工具包，用於對神經網路解釋進行負責任的評估。” |
| 理由 | 「目錄包含以下論文的程式碼和資源： 「Rationalizing Neural Predictions」。Tao Lei，Regina Barzilay 和 Tommi Jaakkola。EMNLP 2016。[PDF] [幻燈片] 。該方法學習提供理由，即基本原理，作為支持神經網路預測的證據。 |
| 負責任地 | “用於審計和減輕機器學習系統的偏見和公平性的工具包。” |
| 修訂：揭露視覺偏見 | “一種工具，可以沿著基於對象、基於屬性和基於地理的模式自動檢測視覺數據集中可能存在的偏差形式，並據此建議下一步的緩解措施。” |
| 穩健性 | “我們（MadryLab 的學生）創建的一個軟體包，旨在使神經網路的訓練、評估和探索變得靈活而簡單。” |
| 上升 | “包含重現論文中一些主要結果所需的源代碼：Vitali Petsiuk、Abir Das、Kate Saenko（BMVC，2018）[和]RISE：用於解釋黑盒模型的隨機輸入採樣。” |
| 風險-SLIM | “一種機器學習方法，可以在 python 中擬合簡單的定制風險評分。” |
| 聖人 | 「SAGE（Shapley Additive Global importantancE）是一種用於理解黑盒機器學習模型的博弈論方法。它根據每個特徵貢獻的預測能力來量化每個特徵的重要性，並使用Shapley 值來解釋複雜的特徵交互。 |
| SALib | “常用敏感性分析方法的 Python 實現。可用於系統建模，計算模型輸入或外生因素對感興趣輸出的影響。” |
| Scikit-解釋 | “用於機器學習可解釋性的用戶友好的 Python 模組”，具有 PD 和 ALE 圖、LIME、SHAP、排列重要性和 Friedman's H 等方法。 |
| Scikit-learn 決策樹 | “一種用於分類和回歸的非參數監督學習方法。” |
| Scikit-learn 廣義線性模型 | “一組用於回歸的方法，其中目標值預計是特徵的線性組合。” |
| Scikit-learn 稀疏主成分 | “[主成分分析，PCA] 的一種變體，其目標是提取最能重建數據的一組稀疏成分。” |
| scikit 公平性 | 歷史連結。與 Fairlearn 合併。 |
| scikit-multiflow | “Python 中用於串流資料的機器學習套件。” |
| 形狀 | “一種解釋任何機器學習模型輸出的博弈論方法。它使用博弈論中的經典沙普利值及其相關擴展，將最優信用分配與局部解釋聯繫起來” |
| 沙普利 | “一個用於評估機器學習整合中的二元分類器的 Python 庫。” |
| sklearn-expertsys | 「Letham 等人於2015 年開發的貝葉斯規則清單分類器的scikit-learn 相容包裝器，透過用於連續資料的基於最小描述長度的離散化器（Fayyad 和Irani，1993）以及對大型資料集進行子採樣的方法進行了擴展為了更好的表現。 |
| 範圍規則 | “一個基於 scikit-learn 構建的 Python 機器學習模組，並根據 3-Clause BSD 許可證分發。” |
| 索拉斯·艾·差異 | “一系列工具，允許建模者、合規性和業務利益相關者使用廣泛接受的公平指標來測試結果是否存在偏見或歧視。” |
| 超稀疏線性整數模型 (SLIM) | “一個用於學習決策問題的客製化評分系統的軟體包。” |
| 張量流/格 | “一個實現受約束且可解釋的基於格的模型的庫。它是 TensorFlow 中單調校準插值查找表的實現。” |
| 張量流/清晰 | “用於研究神經網路可解釋性的基礎設施和工具的集合。” |
| 張量流/公平指標 | “旨在支持團隊與更廣泛的 Tensorflow 工具包合作評估、改進和比較公平問題的模型。” |
| 張量流/模型分析 | 「用於評估TensorFlow 模型的函式庫。它允許使用者使用訓練器中定義的相同指標，以分散式方式評估大量資料的模型。這些指標可以在不同的資料切片上進行計算，並在Jupyter 筆記本中進行視覺化。 |
| 張量流/模型卡工具包 | 「簡化並自動生成模型卡、機器學習文檔，為模型的開發和性能提供背景資訊和透明度。將MCT 整合到您的ML 管道中，使您能夠與研究人員、開發人員、記者等共享模型元數據和指標。 |
| 張量流/模型修復 | “一個為機器學習從業者提供解決方案的庫，他們致力於創建和訓練模型，以減少或消除潛在性能偏差造成的用戶傷害。” |
| 張量流/隱私 | 「TensorFlow Privacy 的原始程式碼，這是一個Python 庫，其中包含用於訓練具有差異隱私的機器學習模型的TensorFlow 優化器的實作。該庫附帶了用於計算所提供的隱私保證的教程和分析工具。 」 |
| 張量流/tcav | “使用概念激活向量 (TCAV) 進行測試是一種新的可解釋性方法，可用於了解神經網路模型用於預測的信號。” |
| 張量模糊 | “一個用於執行神經網路覆蓋引導模糊測試的庫。” |
| 張量觀察 | 「微軟研究院專為資料科學、深度學習和強化學習而設計的調試和視覺化工具。它在Jupyter Notebook 中運行，可以顯示機器學習訓練的即時視覺化，並為您的模型和資料執行其他幾個關鍵分析任務。 |
| 文本愚弄者 | “文本分類和推理的自然語言攻擊模型” |
| 文本可解釋性 | “text_explainability 提供了一個通用架構，可以從中組成眾所周知的最先進的文本可解釋性方法。” |
| 文字敏感度 | 「使用text_explainability 的通用架構還包括安全性測試（模型在生產中的安全性，即它可以處理的輸入類型）、穩健性（模型在生產中的通用性，例如添加拼字錯誤時的穩定性或效果）添加隨機不相關數據）和公平性（如果模型平等地對待平等的個體，例如性別和國籍上的亞組公平性）。 |
| tf-解釋 | “將可解釋性方法實現為 Tensorflow 2.x 回調，以簡化神經網路的理解。” |
| 忒彌斯 | “一種基於測試的方法，用於衡量軟體系統中的歧視。” |
| 忒彌斯-ml | “一個基於 pandas 和 sklearn 構建的 Python 庫，可實現公平感知機器學習演算法。” |
| 火炬不確定性 | “該軟體包旨在幫助您利用不確定性量化技術並使您的深度神經網路更加可靠。” |
| 樹解釋器 | “用於解釋 scikit-learn 決策樹和隨機森林預測的包。” |
| 分診 | “該存儲庫包含 TRIAGE 的實現，這是一個“以數據為中心的人工智能”框架，用於為回歸量身定制數據表徵。” |
| 禍患 | “WoE 轉換工具主要用於信用評級的記分卡模型。” |
| 賽 | “一個以人工智慧可解釋性為核心設計的機器學習庫。” |
| x深 | “用於可解釋機器學習的開源 Python 庫。” |
| 史普利克 | “一個致力於可解釋性的 Python 工具包。該庫的目標是收集可解釋人工智慧的最新技術，以幫助您理解複雜的神經網路模型。” |
| ydata-分析 | “以一致且快速的解決方案提供單行探索性數據分析 (EDA) 體驗。” |
| 黃磚 | “一套名為‘Visualizers’的視覺診斷工具，它擴展了 scikit-learn API，以允許人類指導模型選擇過程。” |
| 姓名 | 描述 |
|---|---|
| ALE圖 | “可視化黑盒監督學習模型中個體預測變數的主要影響及其二階交互效應。” |
| 阿魯萊斯 | “提供用於表示、操作和分析事務資料和模式（頻繁項集和關聯規則）的基礎設施。還提供關聯挖掘演算法 Apriori 和 Eclat 的 C 實作。Hahsler、Gruen 和 Hornik (2005)。” |
| 因果支持向量機 | “我們提出了一種新的機器學習方法，在具有二元結果的經典潛在結果框架的背景下，估計治療是否對個體產生影響。” |
| 達萊克斯 | “用於探索和解釋的模型不可知語言。” |
| DALEXtra：「DALEX」包的擴展 | “提供各種機器學習模型的包裝。” |
| 博士為什麼AI | “DrWhy 是 eXplainable AI (XAI) 工具的集合。它基於共享原則和簡單語法，用於預測模型的探索、解釋和視覺化。” |
| 彈性網 | “提供用於擬合 Elastic-Net 整個解決方案路徑的函數，也提供用於執行稀疏 PCA 的函數。” |
| 解釋預測 | “生成分類和回歸模型的解釋並將其可視化。” |
| 可解釋的Boosting Machine (EBM)/GA2M | “用於訓練可解釋的機器學習模型的套件。” |
| 公平模型 | “用於偏差檢測、可視化和緩解的靈活工具。使用 DALEX 解釋的模型，並使用 fairness_check() 基於混淆矩陣計算公平性分類指標，或嘗試使用 fairness_check_regression() 新開發的回歸模型模組。” |
| 公平 | “提供演算法公平性指標的計算、視覺化和比較。” |
| 快速成型 | “fastshap 的目標是提供一種高效且快速的方法（至少相對於其他實現而言）來計算近似 Shapley 值，這有助於解釋任何機器學習模型的預測。” |
| 特徵重要性 | “ MLR軟體包的擴展名，並允許以模型 - 不合Stic的方式計算置換特徵的重要性。” |
| 手電筒 | “此軟體包的目的是在黑匣子機器學習模型上亮起。” |
| 森林模型 | “使用諸如stats :: lm（），stats :: glm（）和生存:: coxph（）等函數產生的模型產生的'ggplot2'生成森林圖。” |
| 弗斯卡雷特 | “使用'Caret'軟體包提供的各種型號的自動化功能選擇。” |
| 甘 | 「用於擬合和使用通用添加劑模型的功能，如『 S』中的『統計模型』（Chambers and Hastie（Eds），1991）和『廣義添加劑模型』（Hastie和Tibshirani，1990）所述。 |
| GLM2 | “使用與統計資料包中的GLM相同的模型規範來擬合通用的線性模型，但是使用修改後的預設擬合方法，可以為可能無法使用GLM收斂的模型提供更大的穩定性。” |
| Glmnet | “對於線性回歸，邏輯和多項式回歸模型，Poisson回歸，Cox模型，多響應高斯和分組的多項式回歸，擬合整個LASSO或彈性網絡正規化路徑的極高有效程序。” |
| H2O-3 懲罰廣義線性模型 | “擬合一個通用的線性模型，該模型由響應變量，一組預測變量以及對誤差分佈的描述指定。” |
| H2O-3 單調 GBM | “在解析的資料集上建立梯度提升分類樹和梯度提升回歸樹。” |
| H2O-3稀疏主組件（GLRM） | “建構 H2O 資料框架的廣義低秩分解。” |
| ibreakdown | “一種模型不可知工具，用於解釋黑盒子ML模型的預測。” |
| ICEBOX：個人有條件期望圖工具箱 | “實現個人有條件期望（ICE）圖，這是一種可視化任何受監督學習演算法估計的模型的工具。” |
| 伊姆勒 | “解釋行為並解釋機器學習模型的預測的R軟體包。” |
| 原料 | “用於評估特徵重要性和特徵效應的工具集合。” |
| 解釋：適合可解釋的機器學習模型 | “用於培訓可解釋的機器學習模型的包裝。” |
| LightgbMexplainer | “ R包，使LightGBM模型完全可以解釋。” |
| 萊姆 | “python 石灰包的港口。” |
| 居住 | “有助於理解推動複雜預測模型（黑盒子模型）做出的決策的關鍵因素。” |
| MCR | “用於模型依賴和模型類別依賴的R軟體包。” |
| 莫德爾敦 | “用於預測模型的HTML摘要的網站產生器。” |
| 導向模型 | 總部位於華沙的Mi².ai的GitHub儲存庫。 |
| ModelStudio | “自動對機器學習預測模型的解釋性分析。” |
| 單調XGBoost | 實施特徵和預測結果之間一致的定向關係，從而透過與先前的數據期望保持一致來增強模型性能。 |
| 量子暫存器 | “有條件分位數函數模型的估計和推理方法。” |
| rpart | “分類，回歸和生存樹的遞歸分區。” |
| Rulefit | “實現透過規則合奏預測學習中所描述的學習方法和解釋工具。” |
| 可擴展的貝葉斯規則清單（SBRL） | 從杜克（Duke）的魯丁集團（Rudin Group）對貝葉斯規則清單的更可擴展的實施。 |
| Shapflex | 計算機器學習模型的隨機沙普利值以解釋它們並評估公平性，包括特徵空間中的因果限制。 |
| 沙普利 | “ R套件提供了一些功能，可以使用MLR任務和模型產生Shapley值。” |
| 塑形者 | “提供機器學習模型的形狀解釋。” |
| Smbinning | “從頭到尾建立評分模型的一組功能。” |
| 貴賓 | “用於建立可變重要性圖（VIP）的R軟體包。” |
| XGBoostExplainer | 「 R軟體包，讓XGBoost模型完全可以解釋。 |
具有100多個編輯的貢獻者可以在引用可見名字的引用中被任命為合著者。否則，「等等」中包括所有少於100個編輯的貢獻者。
@misc{amli_repo,
author={Patrick Hall and Daniel Atherton},
title={Awesome Machine Learning Interpretability},
year={2024},
note={url{https://github.com/jphall663/awesome-machine-learning-interpretability}}
}
霍爾，派崔克，丹尼爾·阿瑟頓等。 2024。 GitHub。 https://github.com/jphall663/awesome-machine-learning-interpretability。
霍爾，派崔克，丹尼爾·阿瑟頓等。 （2024）。令人敬畏的機器學習解釋性[GITHUB儲存庫]。 GitHub。 https://github.com/jphall663/awesome-machine-learning-interpretability。
霍爾，派崔克，丹尼爾·阿瑟頓等。 “很棒的機器學習解釋性。” GitHub。最後修改的2023。
霍爾，派崔克，丹尼爾·阿瑟頓等。 “很棒的機器學習解釋性。” Github ，2024，https：//github.com/jphall663/awesome-machine-learning-interpretability。 2024年3月5日訪問。
