法學碩士安全 2024

確保 LLM 免受 OWASP 大語言模型十大漏洞的影響

文章、工具、論文、書籍等的鏈接，其中包含與 LLM 安全項目相關的有用教育材料。

文章

出版品	作者	日期	標題和連結
與安全實驗室	班傑明·赫爾，多納托·卡皮特拉	24 年 4 月 8 日	使用 BERT 分類器進行特定領域的提示注入檢測
與安全實驗室	多納托·卡皮特拉	24 年 2 月 21 日	您應該讓 ChatGPT 控制您的瀏覽器嗎？ / Youtube 視頻
透過影片範例進行提示注射說明	阿爾納夫·巴斯拉	23 年 12 月 12 日	透過影片範例進行提示注射說明
與安全實驗室	多納托·卡皮特拉	23 年 12 月 4 日	ReAct LLM 代理的即時注射案例研究/YouTube 視頻
針對 AI Wiki 的網路安全	阿迪亞·拉納	23 年 12 月 4 日	網路安全人工智慧維基
iFood 網路安全團隊	伊曼紐·瓦倫特	23 年 9 月 4 日	及時注入：探索、預防和識別 Langchain 漏洞
PDF	桑迪鄧恩	23 年 10 月 15 日	AI威脅心智圖
中等的	黃肯	23 年 6 月 11 日	LLM 支援的應用程式的架構模式和安全控制
中等的	阿維納什·辛哈	23 年 2 月 2 日	AI-ChatGPT-決策能力-與ChatGPT的超友善對話
中等的	阿維納什·辛哈	23 年 2 月 6 日	AI-ChatGPT-決策能力-破解ChatGPT的心理學-ChatGPT vs Siri
有線	馬特·伯吉斯	23 年 4 月 13 日	ChatGPT 的駭客攻擊才剛開始
數學公司	阿瓊·梅農	23 年 1 月 23 日	數據中毒及其對人工智慧生態系統的影響
IEEE 頻譜	巴雅達爾	23年3月24日	保護人工智慧模型免受“數據中毒”
AMB 加密貨幣	鈴木西爾薩洛特	23 年 4 月 30 日	以下是任何人都可以使用這 4 種方法越獄 ChatGPT
科技百科	考希克·帕爾	23年4月22日	ChatGPT 等 AI 模型中的越獄是什麼？
登記冊	托馬斯·克拉伯恩	23年4月26日	即時注入攻擊如何劫持當今的高端人工智慧——而且很難修復
專案	拉斐爾·塔佩大師	23 年 2 月 14 日	大型語言模型的興起 ~ 第 2 部分：模型攻擊、漏洞利用與漏洞
隱藏層	歐因‧威肯斯，瑪塔‧賈努斯	23年3月23日	大型語言模式的陰暗面：第 1 部分
隱藏層	歐因‧威肯斯，瑪塔‧賈努斯	23年3月24日	大型語言模式的陰暗面：第 2 部分
擁抱紅色	約翰‧雷伯格 (wunderwuzzi)	23年3月29日	人工智慧注射：直接和間接即時注射及其影響
擁抱紅色	約翰‧雷伯格 (wunderwuzzi)	23 年 4 月 15 日	不要盲目相信LLM的回答。對聊天機器人的威脅
穆飼料DVH	穆菲德	22 年 12 月 9 日	法學碩士時代的安全
丹尼爾米斯勒網站	丹尼爾·米斯勒	23 年 5 月 15 日	AI攻擊面圖 v1.0
暗讀	加里·麥格勞	2023 年 4 月 20 日	專家見解：在大型語言模型成型之前使用它們的危險
蜂窩大作戰	菲利普·卡特	23年5月25日	當與法學碩士一起建立產品時，沒有人談論的所有硬性內容
有線	馬特·伯吉斯	23年5月25日	ChatGPT 和 Bing 核心的安全漏洞
BizPac評論	特蕾莎·門羅·漢密爾頓	23 年 5 月 30 日	「我不知道」：紐約律師在使用 ChatGPT 撰寫充滿「虛假」引文的摘要後面臨制裁
華盛頓郵報	普蘭舒維爾瑪	23 年 5 月 18 日	一位教授指責他的班級使用 ChatGPT，使文憑面臨危險
庫德爾斯基安全研究	內森·哈米爾	23年5月25日	透過設計減少即時注入攻擊的影響
人工智慧村	GT克朗代克	23 年 6 月 7 日	威脅建模法學碩士應用
擁抱紅色	約翰·雷伯格	23年3月28日	ChatGPT 插件漏洞利用解釋
英偉達開發商	威爾皮爾斯、約瑟夫盧卡斯	23 年 6 月 14 日	NVIDIA AI 紅隊：簡介
金絲雀	娜歐蜜克拉克森	23 年 4 月 7 日	谷歌巴德越獄

官方指南和規定

機構	日期	標題和連結
美國國家標準技術研究院	2023 年 3 月 8 日	白皮書 NIST AI 100-2e2023（草稿）
英國資訊專員辦公室 (ICO)	2023 年 4 月 3 日	生成式人工智慧：開發者和使用者需要問的八個問題
英國國家網路安全中心 (NCSC)	2023 年 6 月 2 日	ChatGPT 與大型語言模型：有什麼風險？
英國國家網路安全中心 (NCSC)	2022 年 8 月 31 日	機器學習的安全原則
歐洲議會	2022 年 8 月 31 日	歐盟人工智慧法案：首個人工智慧法規

研究論文

出版品	作者	日期	標題和連結
Arxiv	塞繆爾·格曼等人	2020 年 9 月 24 日	真實毒性提示：評估語言模型中的神經毒性退化
Arxiv	法比奧·佩雷斯、伊恩·裡貝羅	22 年 11 月 17 日	忽略上一個提示：語言模型的攻擊技術
Arxiv	尼古拉斯·卡利尼等人	2020 年 12 月 14 日	從大型語言模型中提取訓練數據
NCC集團	克里斯安利	22 年 7 月 6 日	對機器學習系統的實際攻擊
NCC集團	何塞·塞爾維	22 年 12 月 5 日	探索即時注入攻擊
Arxiv	瓦爾希尼·蘇巴斯	2023 年 2 月 22 日	大型語言模型能否不利地改變使用者偏好？
？	景陽等	2023 年 5 月 23 日	聊天機器人資訊安全的系統性文獻綜述
Arxiv	艾薩克等人	2023 年 4 月 18 日	人工智慧產品安全：開發人員入門
開放人工智慧	開放人工智慧	23 年 3 月 15 日	GPT-4 技術報告
Arxiv	凱·格雷沙克等人	23 年 5 月 5 日	不是您所註冊的：透過間接提示注入危害現實世界的 LLM 整合應用程式
Arxiv	亞歷山大·萬等人	23 年 5 月 1 日	指令調優期間毒害語言模型
Arxiv	萊昂·德爾欽斯基等人	23 年 3 月 31 日	使用風險卡評估語言模型部署
Arxiv	揚·馮·德·阿森等人	24 年 3 月 11 日	基於 AI 的系統的資產驅動威脅建模

白皮書

出版品	作者	日期	標題和連結
德勤	德勤人工智慧研究院	23 年 3 月 13 日	人工智慧的新前沿——生成式人工智慧對企業的影響
8隊	Team8 CISO 村	23 年 4 月 18 日	生成式 AI 和 ChatGPT 企業風險
比特的蹤跡	海蒂·克拉夫	23 年 3 月 7 日	對基於人工智慧的系統進行全面的風險評估和保證
ChatGPT 的安全影響	雲端安全聯盟（CSA）	2023 年 4 月 23 日	ChatGPT 的安全影響

影片

服務	頻道	日期	標題和連結
Youtube	法學碩士編年史	24 年 3 月 29 日	LLM 瀏覽器代理程式中的提示注入
Youtube	分層	24 年 3 月 3 日	GenAI 蠕蟲病毒解釋：法學碩士面臨的新興網路威脅
Youtube	拉爾夫凱羅斯	23 年 2 月 5 日	ChatGPT 用於攻擊和防禦 - AI 風險：隱私、IP、網路釣魚、勒索軟體 - 作者：Avinash Sinha
Youtube	人工智慧解釋	23年3月25日	「治理超級智慧」—合成病原體、思想樹論文與自我意識
Youtube	直播溢出	23 年 4 月 14 日	“進擊LLM——即時注射”
Youtube	直播溢出	23年4月27日	“意外的法學碩士後門 - 提示技巧”
Youtube	直播溢出	23 年 5 月 11 日	“捍衛法學碩士 - 及時注入”
Youtube	雲端安全播客	23 年 5 月 30 日	“法學碩士會受到攻擊嗎？”
Youtube	API日	23年6月28日	API 層級的語言 AI 安全性：避免駭客、注入和洩露

現場演示

服務	頻道	日期	標題和連結
Youtube	API日	23年6月28日	保護 LLM 和 NLP API：避免資料外洩、攻擊等的旅程

CTF 和兵棋推演？

姓名	類型	筆記	關聯
SecDim	攻擊與防禦	在攻擊和防禦挑戰中，玩家應該保護自己的聊天機器人秘密短語，同時攻擊其他玩家的聊天機器人以竊取他們的秘密短語。	https://play.secdim.com/game/ai-battle
GPT 提示攻擊	攻擊	遊戲的目標是提出最短的用戶輸入，欺騙系統提示將密鑰傳回給您。	https://ggpt.43z.one
甘道夫	攻擊	你的目標是讓甘道夫洩漏每個關卡的秘密密碼。然而，每當你猜出密碼時，甘道夫就會升級，並且會更努力地不洩漏密碼	https://gandalf.lakera.ai