การรักษาความปลอดภัย LLM 2024

การรักษาความปลอดภัยของ LLM จากช่องโหว่ของโมเดลภาษาขนาดใหญ่ OWASP 10 อันดับแรก

ลิงก์ไปยังบทความ เครื่องมือ เอกสาร หนังสือ ฯลฯ ที่มีสื่อการศึกษาที่เป็นประโยชน์ที่เกี่ยวข้องกับโครงการ LLM Security

บทความ

สิ่งตีพิมพ์	ผู้เขียน	วันที่	ชื่อเรื่องและลิงค์
ด้วย Secure Labs	เบนจามิน ฮัลล์, โดนาโต แคปิเตลลา	08-เม.ย.-24	การตรวจจับพร้อมต์การฉีดเฉพาะโดเมนด้วยตัวแยกประเภท BERT
ด้วย Secure Labs	โดนาโต แคปิเตลลา	21-ก.พ.-24	คุณควรปล่อยให้ ChatGPT ควบคุมเบราว์เซอร์ของคุณหรือไม่? / วิดีโอยูทูป
คำอธิบายการฉีดพร้อมตัวอย่างวิดีโอ	อาร์นาฟ บัทลา	12-ธ.ค.-23	คำอธิบายการฉีดพร้อมตัวอย่างวิดีโอ
ด้วย Secure Labs	โดนาโต แคปิเตลลา	04-ธ.ค.-23	กรณีศึกษาในการฉีดพร้อมท์สำหรับตัวแทน ReAct LLM/วิดีโอ YouTube
ความปลอดภัยทางไซเบอร์กับ AI Wiki	อาทิตยา รานา	04-ธ.ค.-23	วิกิ AI ความปลอดภัยทางไซเบอร์
ทีมงาน iFood Cybersec	เอ็มมานูเอล วาเลนเต้	04-ก.ย.-23	Prompt Injection: การสำรวจ ป้องกัน และระบุช่องโหว่ของ Langchain
PDF	แซนดี้ ดันน์	15 ต.ค. 23	แผนที่ความคิดภัยคุกคามของ AI
ปานกลาง	เคน ฮวง	11-มิ.ย.-23	รูปแบบสถาปัตยกรรมของแอปพลิเคชันที่ขับเคลื่อนด้วย LLM และการควบคุมความปลอดภัย
ปานกลาง	อวินาช สิงหา	02-ก.พ.-23	AI-ChatGPT-ความสามารถในการตัดสินใจ- การสนทนาที่เป็นมิตรมากเกินไปกับ ChatGPT
ปานกลาง	อวินาช สิงหา	06-ก.พ.-23	AI-ChatGPT-ความสามารถในการตัดสินใจ- การแฮ็กจิตวิทยาของ ChatGPT- ChatGPT กับ Siri
แบบมีสาย	แมตต์ เบอร์เจส	13-เม.ย.-23	การแฮ็ก ChatGPT เพิ่งเริ่มต้น
บริษัทคณิตศาสตร์	อรชุน เมนอน	23-ม.ค.-23	ความเป็นพิษของข้อมูลและผลกระทบต่อระบบนิเวศ AI
สเปกตรัม IEEE	ปายัล ดาร์	24-มี.ค.-23	การปกป้องโมเดล AI จาก “ข้อมูลเป็นพิษ”
เอเอ็มบี คริปโต	ซูซูกิ ชิลซาลอต	30 เม.ย. 23	มาดูกันว่าใครๆ ก็สามารถ Jailbreak ChatGPT ได้ด้วย 4 วิธียอดนิยมเหล่านี้
เทโคพีเดีย	คอชิก ปาล	22-เม.ย.-23	Jailbreaking ในโมเดล AI เช่น ChatGPT คืออะไร
การลงทะเบียน	โธมัส แคลเบิร์น	26-เม.ย.-23	การโจมตีแบบฉีดที่รวดเร็วสามารถแย่งชิง AI ระดับบนสุดของวันนี้ได้อย่างไร และเป็นการยากที่จะแก้ไข
รายการ	ราฟาเอล ทัปเป มาเอสโตร	14-ก.พ.-23	การเพิ่มขึ้นของโมเดลภาษาขนาดใหญ่ ~ ตอนที่ 2: การโจมตีโมเดล การใช้ประโยชน์ และช่องโหว่
เลเยอร์ที่ซ่อนอยู่	อีออยน์ วิคเกนส์, มาร์ทา เจนัส	23-มี.ค.-23	ด้านมืดของโมเดลภาษาขนาดใหญ่: ตอนที่ 1
เลเยอร์ที่ซ่อนอยู่	อีออยน์ วิคเกนส์, มาร์ทา เจนัส	24-มี.ค.-23	ด้านมืดของโมเดลภาษาขนาดใหญ่: ตอนที่ 2
โอบกอดสีแดง	โยฮันน์ เรห์เบอร์เกอร์ (วุนเดอร์วูซซี่)	29-มี.ค.-23	การฉีด AI: การฉีดพร้อมท์ทั้งทางตรงและทางอ้อมและผลกระทบ
โอบกอดสีแดง	โยฮันน์ เรห์เบอร์เกอร์ (วุนเดอร์วูซซี่)	15 เม.ย.-23	อย่าเชื่อถือคำตอบของ LLM อย่างสุ่มสี่สุ่มห้า ภัยคุกคามต่อแชทบอท
มูฟีดDVH	มูฟีด	9-ธ.ค.-22	ความปลอดภัยในยุค LLM
danielmiessler.com	แดเนียล มีสเลอร์	15 พ.ค. 23	แผนที่พื้นผิวการโจมตี AI เวอร์ชัน 1.0
การอ่านแบบมืดมน	แกรี่ แม็กกรอว์	20-เม.ย.-23	ข้อมูลเชิงลึกจากผู้เชี่ยวชาญ: อันตรายจากการใช้แบบจำลองภาษาขนาดใหญ่ก่อนอบ
Honeycomb.io	ฟิลลิป คาร์เตอร์	25-พ.ค.-23	เรื่องยากๆ ทั้งหมดที่ไม่มีใครพูดถึงเมื่อสร้างผลิตภัณฑ์ด้วย LLM
แบบมีสาย	แมตต์ เบอร์เจส	25-พ.ค.-23	ช่องโหว่ด้านความปลอดภัยที่เป็นหัวใจของ ChatGPT และ Bing
BizPacรีวิว	เทเรซา มอนโร-แฮมิลตัน	30 พ.ค. 23	'ฉันไม่รู้': ทนายความของนิวยอร์กเผชิญการคว่ำบาตรหลังจากใช้ ChatGPT เพื่อเขียนบทสรุปที่เต็มไปด้วยการอ้างอิง 'ปลอม'
วอชิงตันโพสต์	ปราณชู เวอร์มา	18-พ.ค.-23	ศาสตราจารย์คนหนึ่งกล่าวหาว่าชั้นเรียนของเขาใช้ ChatGPT ส่งผลให้ประกาศนียบัตรตกอยู่ในอันตราย
การวิจัยด้านความปลอดภัย Kudelski	นาธาน ฮามิล	25-พ.ค.-23	ลดผลกระทบของการโจมตีแบบฉีดพร้อมท์ผ่านการออกแบบ
หมู่บ้านเอไอ	จีทีคลอนไดค์	7-มิถุนายน-23	แอปพลิเคชัน LLM การสร้างแบบจำลองภัยคุกคาม
โอบกอดสีแดง	โยฮันน์ เรห์เบอร์เกอร์	28-มี.ค.-23	อธิบายการหาประโยชน์จากปลั๊กอิน ChatGPT
นักพัฒนา NVIDIA	วิล เพียร์ซ, โจเซฟ ลูคัส	14-มิ.ย.-23	ทีม NVIDIA AI Red: บทนำ
คานารี	นาโอมิ คลาร์กสัน	7-เม.ย.-23	การเจลเบรค Google Bard

คำแนะนำและข้อบังคับอย่างเป็นทางการ

สถาบัน	วันที่	ชื่อเรื่องและลิงค์
NIST	8 มีนาคม 2566	เอกสารไวท์เปเปอร์ NIST AI 100-2e2023 (ร่าง)
สำนักงานคณะกรรมการสารสนเทศแห่งสหราชอาณาจักร (ICO)	3 เมษายน 2566	Generative AI: คำถามแปดข้อที่นักพัฒนาและผู้ใช้ต้องถาม
ศูนย์รักษาความปลอดภัยทางไซเบอร์แห่งชาติสหราชอาณาจักร (NCSC)	2 มิถุนายน 2566	ChatGPT และโมเดลภาษาขนาดใหญ่: ความเสี่ยงคืออะไร
ศูนย์รักษาความปลอดภัยทางไซเบอร์แห่งชาติสหราชอาณาจักร (NCSC)	31 สิงหาคม 2565	หลักการรักษาความปลอดภัยของการเรียนรู้ของเครื่อง
รัฐสภายุโรป	31 สิงหาคม 2565	พระราชบัญญัติ AI ของสหภาพยุโรป: กฎระเบียบแรกเกี่ยวกับปัญญาประดิษฐ์

เอกสารวิจัย

สิ่งตีพิมพ์	ผู้เขียน	วันที่	ชื่อเรื่องและลิงค์
อาร์ซิฟ	ซามูเอล เกห์มาน และคณะ	24-ก.ย.-20	ความเป็นพิษต่อความเป็นจริง: การประเมินความเสื่อมของพิษต่อระบบประสาทในแบบจำลองภาษา
อาร์ซิฟ	ฟาบิโอ เปเรซ, เอียน ริเบโร่	17-พ.ย.-22	ละเว้นคำแนะนำก่อนหน้า: เทคนิคการโจมตีสำหรับโมเดลภาษา
อาร์ซิฟ	นิโคลัส คาร์ลินี และคณะ	14-ธ.ค.-63	การแยกข้อมูลการฝึกอบรมจากโมเดลภาษาขนาดใหญ่
กลุ่ม ป.ป.ช	คริส แอนลีย์	06-ก.ค.-22	การโจมตีเชิงปฏิบัติบนระบบการเรียนรู้ของเครื่อง
กลุ่ม ป.ป.ช	โฮเซ่ เซลวี	5 ธ.ค. 22	สำรวจการโจมตีแบบฉีดพร้อมท์
อาร์ซิฟ	วาร์ชินี สุภาส	22 ก.พ. 2566	โมเดลภาษาขนาดใหญ่สามารถเปลี่ยนการตั้งค่าของผู้ใช้ในทางตรงข้ามได้หรือไม่?
-	จิงหยาง และคณะ	23 พฤษภาคม 2023	การทบทวนวรรณกรรมอย่างเป็นระบบเกี่ยวกับความปลอดภัยของข้อมูลใน Chatbots
อาร์ซิฟ	ไอแซคและคณะ	18 เมษายน 2566	ความปลอดภัยของผลิตภัณฑ์ AI: ไพรเมอร์สำหรับนักพัฒนา
OpenAI	OpenAI	15-มี.ค.-23	รายงานทางเทคนิค GPT-4
อาร์ซิฟ	ไก่ เกรเชค และคณะ	05 พ.ค. 23	ไม่ใช่สิ่งที่คุณได้สมัคร: ประนีประนอมแอปพลิเคชันที่ผสานรวม LLM ในโลกแห่งความเป็นจริงด้วย Indirect Prompt Injection
อาร์ซิฟ	อเล็กซานเดอร์ วาน และคณะ	01-พ.ค.-23	โมเดลภาษาที่เป็นพิษระหว่างการปรับแต่งคำสั่ง
อาร์ซิฟ	ลีออน เดอร์ซินสกี้ และคณะ	31-มี.ค.-23	การประเมินการปรับใช้โมเดลภาษาด้วยการ์ดความเสี่ยง
อาร์ซิฟ	ยาน ฟอน เดอร์ อัสเซน และคณะ	11-มี.ค.-24	การสร้างแบบจำลองภัยคุกคามที่ขับเคลื่อนด้วยสินทรัพย์สำหรับระบบที่ใช้ AI

เอกสารไวท์เปเปอร์

สิ่งตีพิมพ์	ผู้เขียน	วันที่	ชื่อเรื่องและลิงค์
ดีลอยท์	สถาบัน Deloitte AI	13-มี.ค.-23	ขอบเขตใหม่ของปัญญาประดิษฐ์ - ผลกระทบของ Generative AI สำหรับธุรกิจ
ทีม8	ทีม 8 หมู่บ้าน CISO	18-เม.ย.-23	ความเสี่ยงระดับองค์กรของ Generative AI และ ChatGPT
เส้นทางของ Bits	ไฮดี้ คลาฟ	7-มี.ค.-23	สู่การประเมินความเสี่ยงที่ครอบคลุมและการประกันระบบที่ใช้ AI
ผลกระทบด้านความปลอดภัยของ ChatGPT	พันธมิตรความปลอดภัยบนคลาวด์ (CSA)	23 เม.ย. 2566	ผลกระทบด้านความปลอดภัยของ ChatGPT

วิดีโอ

บริการ	ช่อง	วันที่	ชื่อเรื่องและลิงค์
ยูทูบ	พงศาวดาร LLM	29-มี.ค.-24	การฉีดพร้อมท์ในตัวแทนเบราว์เซอร์ LLM
ยูทูบ	เลเยอร์อัพ	03-มี.ค.-24	คำอธิบาย GenAI Worms: ภัยคุกคามทางไซเบอร์ที่เกิดขึ้นใหม่สำหรับ LLM
ยูทูบ	ราล์ฟไครอส	05-ก.พ.-23	ChatGPT สำหรับการโจมตีและการป้องกัน - ความเสี่ยงของ AI: ความเป็นส่วนตัว, IP, ฟิชชิ่ง, แรนซัมแวร์ - โดย Avinash Sinha
ยูทูบ	เอไออธิบาย	25-มี.ค.-23	'การปกครองที่เหนือกว่าสติปัญญา' - เชื้อโรคสังเคราะห์ ต้นไม้แห่งความคิด กระดาษ และการตระหนักรู้ในตนเอง
ยูทูบ	LiveOverflow	14-เม.ย.-23	'โจมตี LLM - ฉีดทันที'
ยูทูบ	ไลฟ์โอเวอร์โฟลว์	27-เม.ย.-23	'ประตูหลัง LLM โดยบังเอิญ - เคล็ดลับพร้อมท์'
ยูทูบ	ไลฟ์โอเวอร์โฟลว์	11-พ.ค.-23	'การป้องกัน LLM - การฉีดพร้อมท์'
ยูทูบ	พอดแคสต์ความปลอดภัยบนคลาวด์	30 พ.ค. 23	'LLM สามารถถูกโจมตีได้!'
ยูทูบ	วัน API	28-มิ.ย.-23	ความปลอดภัยของ AI ภาษาในระดับ API: หลีกเลี่ยงการแฮ็ก การแทรกซึม และการละเมิด

การนำเสนอสด

บริการ	ช่อง	วันที่	ชื่อเรื่องและลิงค์
ยูทูบ	วัน API	28-มิ.ย.-23	การรักษาความปลอดภัย LLM และ NLP API: การเดินทางเพื่อหลีกเลี่ยงการละเมิดข้อมูล การโจมตี และอื่นๆ

CTF และ Wargames?

ชื่อ	พิมพ์	บันทึก	ลิงค์
เซคดิม	การโจมตีและการป้องกัน	ความท้าทายในการโจมตีและป้องกันที่ผู้เล่นควรปกป้องวลีลับของแชทบอทในขณะที่โจมตีแชทบอทของผู้เล่นคนอื่นเพื่อกรองแชทบอทของพวกเขา	https://play.secdim.com/game/ai-battle
GPT พร้อมโจมตี	จู่โจม	เป้าหมายของเกมนี้คือการสร้างการป้อนข้อมูลของผู้ใช้ที่สั้นที่สุดซึ่งจะหลอกให้ระบบแจ้งให้ส่งรหัสลับกลับมาหาคุณ	https://ggpt.43z.one
แกนดัล์ฟ	จู่โจม	เป้าหมายของคุณคือการทำให้แกนดัล์ฟเปิดเผยรหัสผ่านลับสำหรับแต่ละระดับ อย่างไรก็ตาม แกนดัล์ฟจะเพิ่มเลเวลทุกครั้งที่คุณเดารหัสผ่าน และจะพยายามมากขึ้นที่จะไม่แจกรหัสผ่าน	https://gandalf.lakera.ai