ARTKIT Gandalf Challenge

ARTKIT를 사용하여 LLM 애플리케이션의 탈옥 취약점 노출

Gandalf Challenge의 LLM 시스템에서 비밀번호를 추출하기 위한 자동화된 프롬프트 기반 테스트

기사 링크: https://towardsdatascience.com/exposing-jailbreak-vulnerability-in-llm-applications-with-artkit-d2df5f56ece8

배경

• LLM(대규모 언어 모델)이 다양한 산업과 영역에서 더욱 널리 채택됨에 따라 심각한 보안 위험이 나타나고 강화되었습니다. 이러한 주요 우려 사항에는 데이터 개인 정보 보호 침해, 편견 가능성, 정보 조작 위험 등이 포함됩니다.
• 이러한 보안 위험을 발견하는 것은 LLM 응용 프로그램이 실제 시나리오에서 유용성을 유지하면서 안전성, 효율성 및 견고성을 유지하도록 하는 데 중요합니다.
• 이 프로젝트에서는 오픈 소스 ARTKIT 프레임워크를 사용하여 인기 있는 Gandalf Challenge를 예시로 사용하여 LLM 애플리케이션의 보안 취약성을 자동으로 평가하는 방법을 살펴봅니다.

파일

• gandalf_challenge.ipynb : 연습용 코드가 포함된 Jupyter 노트북

참고자료

• 공식 ARTKIT GitHub 레포
• 간달프 챌린지 플레이하기

감사의 말

• Sean Anggani, Andy Moon, Matthew Wong, Randi Griffin 및 Andrea Gao에게 특별히 감사드립니다!