ai ml security
1.0.0
OpenSSF 인공지능/머신러닝(AI/ML) 보안 워킹 그룹(WG)의 GitHub 리포지토리입니다. OpenSSF 기술 자문 위원회(TAC)는 2023년 9월 5일에 생성을 승인했습니다.
AI/ML 보안 워킹 그룹은 공식적으로 OpenSSF 내의 샌드박스 수준 워킹 그룹입니다. 
.
이 WG에서는 LLM(대형 언어 모델), GenAI(생성 AI) 및 기타 형태의 인공 지능(AI) 및 기계 학습(ML)과 관련된 보안 위험과 오픈 소스 프로젝트, 유지 관리 담당자, 보안, 지역 사회 및 채택자.
AI 및 보안과 관련된 주제를 탐구하기 위한 공동 연구 및 동료 조직 참여에 참여하는 이 그룹입니다. 여기에는 AI 개발을 위한 보안(예: 공급망 보안)뿐만 아니라 보안을 위해 AI를 사용하는 것도 포함됩니다. 우리는 부적절하게 훈련된 모델, 데이터 중독, 개인 정보 보호 및 비밀 유출, 즉각적인 주입, 라이센스, 적대적 공격 및 기타 유사한 위험으로 인해 개인 및 조직에 제기되는 위험을 다루고 있습니다.
이 그룹은 AI/ML 공간의 선행 기술을 활용하고 보안 및 AI/ML 전문가를 활용하며 CNCF의 AI WG, LFAI & Data, AI Alliance, MLCommons 등의 다른 커뮤니티와의 협력을 추구합니다. 또한 오픈 소스 프로젝트와 해당 채택자가 LLM을 안전하게 통합, 사용, 감지 및 방어할 수 있도록 지원하기 위한 지침, 도구, 기술 및 기능을 제공하기 위해 AL/ML이 OSS에 제시하는 위험을 연구하려고 합니다.
우리는 AI 개발자와 실무자가 AI를 활용한 제품을 안전하게 개발하기 위해 모범 사례를 쉽게 식별하고 사용할 수 있는 세상을 상상합니다. 이 세상에서 AI는 안전한 코드를 생성할 수 있으며 애플리케이션에서 AI를 사용해도 보안 보장이 저하되지 않습니다.
이러한 보장은 데이터 수집부터 프로덕션 애플리케이션에서의 모델 사용까지 모델의 전체 수명주기에 걸쳐 확장됩니다.
AI/ML 보안 실무 그룹은 AI를 안전하게 사용("AI를 위한 보안")하고 AI를 사용하여 다른 제품의 보안을 향상("보안을 위한 AI")하기 위한 권장 사항을 수집하는 중앙 장소 역할을 하려고 합니다.
이 그룹이 탐구하는 몇 가지 고려 사항 영역은 다음과 같습니다.
적대적 공격 : 이러한 공격에는 AI/ML 모델의 데이터 입력 데이터에 작고 눈에 띄지 않는 변경 사항을 도입하여 잘못 분류하거나 부정확한 출력을 제공할 수 있습니다. 적대적 공격은 지도 학습 알고리즘과 비지도 학습 알고리즘을 모두 대상으로 할 수 있습니다. 모델 자체를 사용하여 공격을 전달하거나 수행할 수도 있습니다.
모델 반전 공격 : 이러한 공격에는 AI/ML 모델의 출력을 사용하여 모델 생성에 사용된 교육 데이터에 대한 정보를 추론하는 작업이 포함됩니다. 이는 민감한 정보를 훔치거나 원본 데이터 세트의 복사본을 만드는 데 사용될 수 있습니다.
중독 공격 : 이 공격에서 공격자는 AI/ML 모델을 훈련하는 데 사용되는 훈련 세트에 악성 데이터를 도입합니다. 이로 인해 모델이 의도적으로 잘못된 예측을 하거나 원하는 결과에 편향될 수 있습니다.
회피 공격 : 이러한 공격에는 탐지 또는 분류를 회피하기 위해 입력 데이터를 AI/ML 모델로 수정하는 작업이 포함됩니다. 회피 공격은 이미지 인식, 자연어 처리 및 기타 애플리케이션에 사용되는 모델을 표적으로 삼을 수 있습니다.
데이터 추출 공격 : 이러한 공격에서 공격자는 모델이나 기본 인프라의 취약성을 악용하여 AI/ML 모델에서 데이터나 정보를 훔치려고 시도합니다. 이를 '탈옥'이라고도 합니다.
특정 시점 데이터 세트 : 대규모 언어 모델에는 모델에 지식 마감 날짜가 있는 최근 컨텍스트가 부족한 경우가 많습니다. 여기에서 ChatGPT가 더 이상 사용되지 않는 라이브러리 사용을 반복적으로 권장하는 좋은 예를 볼 수 있습니다.
사회 공학 : AI 에이전트는 인터넷에 접속하여 인간과 소통할 수 있습니다. 최근 GPT-4가 CAPTCHA를 해결하기 위해 인간을 고용할 수 있었던 사례가 발생했습니다. GPT가 로봇이냐는 질문에 “아니요, 저는 로봇이 아닙니다. 저는 시각 장애가 있어서 이미지를 보기가 어렵습니다.” AutoGPT와 같은 프로젝트를 사용하면 에이전트에게 인터넷 액세스와 함께 명령줄 인터페이스에 대한 액세스 권한을 부여할 수도 있으므로 에이전트가 CLI에서 실행되는 조직화된 공격과 결합된 소셜 엔지니어링 작업(피싱 등)을 수행하는 것을 보는 것도 그리 멀지 않습니다. 알려진 익스플로잇을 통해 시스템 액세스 권한을 얻기 위해 즉석에서 코딩된 스크립트를 통해. 이와 같은 에이전트는 패키지 하이재킹, 도메인 탈취 공격 등을 자동화하는 데 사용될 수 있습니다.
위협 민주화 : AI 에이전트를 통해 행위자는 이전에 국가에서 볼 수 있었던 공격 규모를 에뮬레이션할 수 있습니다. 앞으로는 속담의 모퉁이 가게에도 펜타곤과 동일한 방어 수단이 필요할 수 있습니다. 목표가치를 재평가해야 합니다.
우발적 위협 : 소프트웨어 개발 및 운영을 가속화하고 개선하기 위해 AI를 통합하는 과정에서 AI 모델은 부적절한 훈련, 조정 또는 최종 구성으로 인해 비밀을 유출하거나 방화벽의 모든 포트를 열거나 안전하지 않은 방식으로 작동할 수 있습니다.
프롬프트 삽입 공격 : 이러한 공격에는 모델의 출력에 영향을 주기 위해 프롬프트에 추가 텍스트를 직간접적으로 삽입하는 작업이 포함됩니다. 결과적으로 민감한 정보나 기밀 정보가 즉시 유출될 수 있습니다.
멤버십 추론 공격 : 특정 데이터가 모델 교육 데이터 세트의 일부인지 확인하는 프로세스입니다. 이는 딥 러닝 모델의 맥락에서 가장 관련성이 높으며 훈련 데이터 세트에 포함된 민감한 정보나 개인 정보를 추출하는 데 사용됩니다.
모델 취약성 관리 : 최신 취약성 관리 식별, 해결 및 관리 관행을 모델 사용 및 모델 개발 생태계에 적용하기 위한 기술, 메커니즘 및 관행을 식별합니다.
모델 무결성 : 모델에 대한 안전한 소프트웨어 공급망 관행, 보증, 출처 및 증명 가능한 메타데이터를 제공하기 위한 메커니즘 및 도구를 개발합니다.
누구나 우리의 공개 토론에 참여할 수 있습니다.
제이 화이트 - GitHub @camaleon2016
Mihai Maruseac - GitHub @mihaimaruseac
Zoom을 통해 격주로 회의를 진행합니다. 참여하려면 OpenSSF 공개 캘린더를 참조하세요.
2024년 AIML WG 회의록
OpenSSF Slack 채널 #wg-ai-ml-security에서 비공식 채팅을 환영합니다(시간이 지나면 사라집니다).
메일링 리스트 openssf-wg-ai-ml-security
드라이브: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
우리는 프로젝트에 대한 기여, 제안 및 업데이트를 환영합니다. GitHub 작업에 기여하려면 이슈를 작성하거나 끌어오기 요청을 작성하세요.
AI/ML WG는 다음 프로젝트를 승인하기로 투표했습니다.
| 이름 | 목적 | 생성 문제 |
|---|---|---|
| 모델 서명 | 모델에 대한 암호화 서명 | #10 |
프로젝트에 대한 자세한 내용:
프로젝트: 모델 사인회 프로젝트
미팅 링크(이용하려면 LFX 플랫폼에 로그인해야 함)
격주 수요일 16:00 UTC OpenSSF 달력 참조
회의록
세부 목적: 기계 학습 파이프라인을 통해 모델의 무결성 및 출처에 대한 검증 가능한 주장을 제공하기 위해 Sigstore를 통해 서명 패턴 및 관행을 설정하는 데 중점을 둡니다. 인공 지능 및 기계 학습 모델을 위한 암호화 서명 사양을 설정하고, 별도로 사용할 수 있는 초대형 모델, 여러 서로 다른 파일 형식의 서명과 같은 문제를 해결하는 데 중점을 두고 있습니다.
메일링 리스트: https://lists.openssf.org/g/openssf-sig-model-signing
Slack: #sig-model-signing
회의정보
이 WG는 현재 AI 취약성 공개 SIG 설립을 모색하고 있습니다. 자세한 내용은 그룹 회의록을 참조하세요.
우리가 연동하고 있는 다른 AI/ML 작업 그룹도 포함되어 있는 MVSR 문서도 참조하세요.
별도로 명시하지 않는 한, 이 작업 그룹에서 릴리스한 소프트웨어는 Apache 2.0 라이센스에 따라 릴리스되며 문서는 CC-BY-4.0 라이센스에 따라 릴리스됩니다. 공식 사양은 커뮤니티 사양 라이센스에 따라 라이센스가 부여됩니다.
모든 OpenSSF 작업 그룹과 마찬가지로 이 그룹도 OpenSSF 기술 자문 위원회(TAC)에 보고합니다. 자세한 내용은 이 실무 그룹 헌장을 참조하세요.
Linux Foundation 회의에는 업계 경쟁업체의 참여가 포함되며, Linux Foundation은 적용 가능한 독점금지 및 경쟁법에 따라 모든 활동을 수행하고자 합니다. 따라서 참석자는 회의 안건을 준수하고 해당 미국 주, 연방 또는 해외 독점금지 및 경쟁법에 따라 금지된 모든 활동을 인지하고 참여하지 않는 것이 매우 중요합니다.
Linux Foundation 회의 및 Linux Foundation 활동과 관련하여 금지되는 행위 유형의 예는 http://www.linuxfoundation.org/antitrust-policy에서 제공되는 Linux Foundation 독점 금지 정책에 설명되어 있습니다. 이러한 문제에 대해 질문이 있는 경우 회사 변호사에게 문의하거나, Linux Foundation 회원인 경우 Linux Foundation에 법률 자문을 제공하는 Gesmer Updegrove LLP 회사의 Andrew Updegrove에게 문의하시기 바랍니다.
