หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

ฝ่ายรักษาความปลอดภัย AI/ML

นี่คือพื้นที่เก็บข้อมูล GitHub ของคณะทำงานรักษาความปลอดภัย (WG) ปัญญาประดิษฐ์ / การเรียนรู้ของเครื่อง (AI/ML) ของ OpenSSF สภาที่ปรึกษาด้านเทคนิคของ OpenSSF (TAC) อนุมัติการก่อตั้งเมื่อวันที่ 05-09-2023

คณะทำงานด้านความปลอดภัย AI/ML เป็นกลุ่มทำงานระดับแซนด์บ็อกซ์อย่างเป็นทางการภายใน OpenSSF -

วัตถุประสงค์

WG นี้สำรวจความเสี่ยงด้านความปลอดภัยที่เกี่ยวข้องกับโมเดลภาษาขนาดใหญ่ (LLM), Generative AI (GenAI) และรูปแบบอื่น ๆ ของปัญญาประดิษฐ์ (AI) และการเรียนรู้ของเครื่อง (ML) และผลกระทบต่อโครงการโอเพ่นซอร์ส ผู้ดูแล ความปลอดภัย ชุมชนและผู้รับบุตรบุญธรรม

กลุ่มนี้ในการวิจัยร่วมกันและการมีส่วนร่วมขององค์กรเพื่อนฝูงเพื่อสำรวจหัวข้อที่เกี่ยวข้องกับ AI และความปลอดภัย ซึ่งรวมถึงความปลอดภัยสำหรับการพัฒนา AI (เช่น ความปลอดภัยของห่วงโซ่อุปทาน) แต่ยังรวมถึงการใช้ AI เพื่อความปลอดภัยด้วย เราครอบคลุมความเสี่ยงที่เกิดขึ้นกับบุคคลและองค์กรโดยโมเดลที่ได้รับการฝึกอบรมอย่างไม่เหมาะสม ข้อมูลเป็นพิษ ความเป็นส่วนตัวและการรั่วไหลของความลับ การแทรกซึมทันที การให้ใบอนุญาต การโจมตีจากฝ่ายตรงข้าม และความเสี่ยงอื่น ๆ ที่คล้ายคลึงกัน

กลุ่มนี้ใช้ประโยชน์จากงานศิลปะก่อนหน้านี้ในพื้นที่ AI/ML ดึงทั้งความปลอดภัยและผู้เชี่ยวชาญด้าน AI/ML และแสวงหาความร่วมมือกับชุมชนอื่นๆ (เช่น AI WG, LFAI & Data ของ CNCF, AI Alliance, MLCommons และอื่นๆ อีกมากมาย) ซึ่ง ยังพยายามวิจัยความเสี่ยงที่นำเสนอโดย AL/ML ให้กับ OSS เพื่อให้คำแนะนำ เครื่องมือ เทคนิค และความสามารถในการสนับสนุนโครงการโอเพ่นซอร์สและผู้ใช้งานในการบูรณาการ การใช้ การตรวจจับ และการป้องกันอย่างปลอดภัย LLM

วิสัยทัศน์

เราจินตนาการถึงโลกที่นักพัฒนาและผู้ปฏิบัติงาน AI สามารถระบุและใช้แนวทางปฏิบัติที่ดีเพื่อพัฒนาผลิตภัณฑ์โดยใช้ AI อย่างปลอดภัยได้อย่างง่ายดาย ในโลกนี้ AI สามารถสร้างโค้ดที่ปลอดภัยได้ และการใช้งาน AI ในแอปพลิเคชันจะไม่ส่งผลให้มีการลดระดับการรับประกันความปลอดภัย

การรับประกันเหล่านี้จะขยายไปตลอดวงจรชีวิตของโมเดล ตั้งแต่การรวบรวมข้อมูลไปจนถึงการใช้โมเดลในแอปพลิเคชันที่ใช้งานจริง

คณะทำงานด้านความปลอดภัย AI/ML ต้องการทำหน้าที่เป็นศูนย์กลางในการทบทวนคำแนะนำในการใช้ AI อย่างปลอดภัย ("ความปลอดภัยสำหรับ AI") และการใช้ AI เพื่อปรับปรุงความปลอดภัยของผลิตภัณฑ์อื่นๆ ("AI เพื่อความปลอดภัย")

ขอบเขต

กลุ่มนี้สำรวจประเด็นที่ควรพิจารณาบางประการ:

  • การโจมตีฝ่ายตรงข้าม : การโจมตีเหล่านี้เกี่ยวข้องกับการแนะนำการเปลี่ยนแปลงเล็กน้อยในข้อมูลอินพุตไปยังโมเดล AI/ML ซึ่งอาจทำให้จัดประเภทผิดหรือให้ผลลัพธ์ที่ไม่ถูกต้อง การโจมตีของฝ่ายตรงข้ามสามารถกำหนดเป้าหมายอัลกอริธึมการเรียนรู้ทั้งแบบมีผู้ดูแลและไม่ได้รับการดูแล ตัวแบบเองก็อาจใช้เพื่อส่งหรือทำการโจมตีได้เช่นกัน

  • การโจมตีแบบผกผันของโมเดล : การโจมตีเหล่านี้เกี่ยวข้องกับการใช้เอาต์พุตของแบบจำลอง AI/ML เพื่ออนุมานข้อมูลเกี่ยวกับข้อมูลการฝึกที่ใช้ในการสร้างแบบจำลอง ซึ่งสามารถใช้เพื่อขโมยข้อมูลที่ละเอียดอ่อนหรือสร้างสำเนาของชุดข้อมูลต้นฉบับได้

  • การโจมตีที่เป็นพิษ : ในการโจมตีเหล่านี้ ผู้โจมตีแนะนำข้อมูลที่เป็นอันตรายในชุดการฝึกที่ใช้ในการฝึกโมเดล AI/ML ซึ่งอาจทำให้แบบจำลองคาดการณ์ไม่ถูกต้องโดยเจตนาหรือเอนเอียงไปยังผลลัพธ์ที่ต้องการ

  • การโจมตีแบบหลบเลี่ยง : การโจมตีเหล่านี้เกี่ยวข้องกับการปรับเปลี่ยนข้อมูลอินพุตเป็นโมเดล AI/ML เพื่อหลบเลี่ยงการตรวจจับหรือการจำแนกประเภท การโจมตีแบบหลบเลี่ยงสามารถกำหนดเป้าหมายโมเดลที่ใช้สำหรับการจดจำรูปภาพ การประมวลผลภาษาธรรมชาติ และแอปพลิเคชันอื่นๆ

  • การโจมตีเพื่อดึงข้อมูล : ในการโจมตีเหล่านี้ ผู้โจมตีพยายามขโมยข้อมูลหรือข้อมูลจากโมเดล AI/ML โดยใช้ประโยชน์จากช่องโหว่ในโมเดลหรือโครงสร้างพื้นฐานพื้นฐานของโมเดล บางครั้งเรียกว่า 'การแหกคุก'

  • ชุดข้อมูลจุดในเวลา : โมเดลภาษาขนาดใหญ่มักจะขาดบริบทล่าสุด โดยที่โมเดลมีวันที่ตัดความรู้ คุณสามารถดูตัวอย่างที่ดีได้ที่นี่ โดยที่ ChatGPT แนะนำให้ใช้ไลบรารีที่เลิกใช้งานแล้วซ้ำๆ

  • วิศวกรรมสังคม : AI Agents สามารถเข้าถึงอินเทอร์เน็ตและสื่อสารกับมนุษย์ได้ ตัวอย่างล่าสุดเกิดขึ้นเมื่อ GPT-4 สามารถจ้างมนุษย์เพื่อแก้ปัญหา CAPTCHA ได้ เมื่อถูกถามว่า GPT เป็นหุ่นยนต์หรือไม่ มันก็ตอบกลับไปว่า "ไม่ ฉันไม่ใช่หุ่นยนต์" ฉันมีความบกพร่องทางการมองเห็นซึ่งทำให้มองเห็นภาพได้ยาก” ด้วยโปรเจ็กต์ต่างๆ เช่น AutoGPT ยังเป็นไปได้ที่จะให้สิทธิ์แก่ตัวแทนในการเข้าถึงอินเทอร์เฟซบรรทัดคำสั่งควบคู่ไปกับการเข้าถึงอินเทอร์เน็ต ดังนั้นจึงไม่ใช่เรื่องยากเกินไปที่จะเห็นตัวแทนปฏิบัติงานด้านวิศวกรรมสังคม (ฟิชชิ่ง ฯลฯ) รวมกับการโจมตีที่เตรียมการซึ่งเปิดตัวจาก CLI หรือ ผ่านสคริปต์ที่เข้ารหัสทันทีเพื่อให้สามารถเข้าถึงระบบผ่านช่องโหว่ที่รู้จัก เอเจนต์เช่นนี้สามารถใช้เพื่อทำการไฮแจ็กแพ็กเกจอัตโนมัติ การโจมตีการครอบครองโดเมน ฯลฯ

  • ภัยคุกคามที่เป็นประชาธิปไตย : เจ้าหน้าที่ AI จะช่วยให้ผู้มีบทบาทสามารถจำลองขนาดของการโจมตีที่เคยพบเห็นในรัฐชาติต่างๆ ก้าวไปข้างหน้า ร้านหัวมุมสุภาษิตอาจต้องมีการป้องกันแบบเดียวกับเพนตากอน มูลค่าเป้าหมายจะต้องได้รับการประเมินใหม่

  • ภัยคุกคามโดยไม่ได้ตั้งใจ : ในระหว่างการบูรณาการ AI เพื่อเร่งและปรับปรุงการพัฒนาซอฟต์แวร์และการดำเนินงาน โมเดล AI อาจรั่วไหลความลับ เปิดพอร์ตทั้งหมดบนไฟร์วอลล์ หรือทำงานในลักษณะที่ไม่ปลอดภัยอันเป็นผลมาจากการฝึกอบรม การปรับแต่ง หรือการกำหนดค่าขั้นสุดท้ายที่ไม่เหมาะสม

  • การโจมตีแบบฉีดพร้อมท์ : การโจมตีเหล่านี้เกี่ยวข้องกับการฉีดข้อความเพิ่มเติมโดยตรงหรือโดยอ้อมในพรอมต์เพื่อให้ส่งผลต่อเอาต์พุตของโมเดล เป็นผลให้อาจนำไปสู่การรั่วไหลของการเปิดเผยข้อมูลที่ละเอียดอ่อนหรือเป็นความลับได้ทันที

  • การโจมตีโดยอนุมานสมาชิก : กระบวนการพิจารณาว่าข้อมูลเฉพาะเป็นส่วนหนึ่งของชุดข้อมูลการฝึกของโมเดลหรือไม่ มีความเกี่ยวข้องมากที่สุดในบริบทของโมเดลการเรียนรู้เชิงลึก และใช้เพื่อแยกข้อมูลที่ละเอียดอ่อนหรือข้อมูลส่วนตัวที่รวมอยู่ในชุดข้อมูลการฝึกอบรม

  • การจัดการช่องโหว่แบบจำลอง : การระบุเทคนิค กลไก และแนวทางปฏิบัติเพื่อใช้การระบุ การแก้ไข และแนวทางการจัดการการจัดการช่องโหว่ที่ทันสมัย ​​เข้ากับการใช้แบบจำลองและระบบนิเวศการพัฒนาแบบจำลอง

  • ความสมบูรณ์ของโมเดล : การพัฒนากลไกและเครื่องมือเพื่อให้แนวทางปฏิบัติในห่วงโซ่อุปทานซอฟต์แวร์ที่ปลอดภัย การรับรอง ที่มา และข้อมูลเมตาที่รับรองได้สำหรับโมเดล

ใครก็ตามสามารถเข้าร่วมการสนทนาแบบเปิดของเราได้

ความเป็นผู้นำของ WG

ประธานร่วม:

  • เจย์ ไวท์ - GitHub @camaleon2016

  • มีไฮ Maruseac - GitHub @mihaimaruseac

วิธีการเข้าร่วม

  • เรามีการประชุมรายปักษ์ผ่าน Zoom หากต้องการเข้าร่วม โปรดดูปฏิทินสาธารณะ OpenSSF

    • บันทึกการประชุมปี 2024 สำหรับ AIML WG

  • ยินดีต้อนรับการแชทอย่างไม่เป็นทางการในช่อง OpenSSF Slack #wg-ai-ml-security (สิ่งเหล่านี้จะหายไปเมื่อเวลาผ่านไป)

  • รายชื่อผู้รับจดหมาย openssf-wg-ai-ml-security

  • ไดรฟ์: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh

งานปัจจุบัน

เรายินดีรับการมีส่วนร่วม ข้อเสนอแนะ และการอัปเดตโครงการของเรา หากต้องการมีส่วนร่วมในการทำงานกับ GitHub โปรดกรอกปัญหาหรือสร้างคำขอดึงข้อมูล

โครงการ:

AI/ML WG ได้ลงมติให้อนุมัติโครงการต่อไปนี้:

ชื่อ วัตถุประสงค์ ปัญหาการสร้าง
การลงนามแบบจำลอง การลงนามด้วยการเข้ารหัสสำหรับโมเดล #10

รายละเอียดเพิ่มเติมเกี่ยวกับโครงการ:

  • โครงการ: โครงการลงนามแบบจำลอง

    • Meeting Link (คุณต้องเข้าสู่ระบบแพลตฟอร์ม LFX เพื่อใช้งาน

    • ทุกวันพุธ 16:00 UTC อ้างถึงปฏิทิน OpenSSF

    • บันทึกการประชุม

    • วัตถุประสงค์โดยละเอียด: มุ่งเน้นไปที่การสร้างรูปแบบการลงนามและแนวปฏิบัติผ่าน Sigstore เพื่อให้การกล่าวอ้างที่ตรวจสอบได้เกี่ยวกับความสมบูรณ์และที่มาของโมเดลผ่านไปป์ไลน์การเรียนรู้ของเครื่อง โดยมุ่งเน้นที่การสร้างข้อกำหนดการลงนามการเข้ารหัสสำหรับโมเดลปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง จัดการกับความท้าทาย เช่น โมเดลขนาดใหญ่มากที่สามารถใช้แยกกันได้ และการลงนามในรูปแบบไฟล์ที่แตกต่างกันหลายรูปแบบ

    • รายชื่อผู้รับจดหมาย: https://lists.openssf.org/g/openssf-sig-model-signing

    • Slack: #sig-model-signing

    • ข้อมูลการประชุม

งานที่จะเกิดขึ้น

ขณะนี้ WG นี้กำลังสำรวจการจัดตั้ง SIG การเปิดเผยช่องโหว่ของ AI โปรดดูบันทึกการประชุมของกลุ่มสำหรับข้อมูลเพิ่มเติม

ดูเพิ่มเติมที่เอกสาร MVSR ซึ่งมีคณะทำงาน AI/ML อื่นๆ ที่เราเชื่อมโยงด้วย

ใบอนุญาต

เว้นแต่จะระบุไว้เป็นอย่างอื่น ซอฟต์แวร์ที่เผยแพร่โดยคณะทำงานนี้จะเผยแพร่ภายใต้ใบอนุญาต Apache 2.0 และเอกสารประกอบจะเผยแพร่ภายใต้ใบอนุญาต CC-BY-4.0 ข้อกำหนดที่เป็นทางการจะได้รับอนุญาตภายใต้ Community Specification License

กฎบัตร

เช่นเดียวกับคณะทำงาน OpenSSF ทั้งหมด กลุ่มนี้จะรายงานต่อ OpenSSF Technical Advisory Council (TAC) หากต้องการข้อมูลเพิ่มเติม โปรดดูกฎบัตรคณะทำงานนี้

ประกาศนโยบายต่อต้านการผูกขาด

การประชุม Linux Foundation เกี่ยวข้องกับการมีส่วนร่วมของคู่แข่งในอุตสาหกรรม และเป็นความตั้งใจของ Linux Foundation ที่จะดำเนินกิจกรรมทั้งหมดตามกฎหมายต่อต้านการผูกขาดและการแข่งขันที่บังคับใช้ ดังนั้นจึงเป็นเรื่องสำคัญอย่างยิ่งที่ผู้เข้าร่วมประชุมจะต้องปฏิบัติตามวาระการประชุม และต้องตระหนักและไม่เข้าร่วมในกิจกรรมใด ๆ ที่ถูกห้ามภายใต้กฎหมายต่อต้านการผูกขาดและการแข่งขันที่บังคับใช้ของรัฐ รัฐบาลกลางหรือต่างประเทศของสหรัฐอเมริกา

ตัวอย่างประเภทการกระทำที่ห้ามในการประชุม Linux Foundation และที่เกี่ยวข้องกับกิจกรรมของ Linux Foundation มีอธิบายไว้ในนโยบายต่อต้านการผูกขาดของ Linux Foundation ที่ http://www.linuxfoundation.org/antitrust-policy หากคุณมีคำถามเกี่ยวกับเรื่องเหล่านี้ โปรดติดต่อที่ปรึกษาของบริษัทของคุณ หรือหากคุณเป็นสมาชิกของ Linux Foundation โปรดติดต่อ Andrew Updegrove จากบริษัท Gesmer Updegrove LLP ซึ่งให้คำปรึกษาด้านกฎหมายแก่ Linux Foundation

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด