last_layer
0.1.33
초고속, 낮은 대기 시간 LLM 보안 솔루션
last_layer 는 LLM 응용 프로그램을 신속한 주입 공격, 탈옥 및 악용으로부터 보호하도록 설계된 보안 라이브러리입니다. LLM에 의해 처리되기 전에 프롬프트를 면밀히 조사하기위한 강력한 필터링 계층으로 작용하여 안전하고 적절한 컨텐츠 만 허용되도록합니다.
Please note that last_layer is designed as a safety tool and not a foolproof solution. It significantly reduces the risk of prompt-based attacks and exploits but cannot guarantee complete protection against all possible threats.
last_layer 네트워크 호출을 추적하거나 네트워크 호출을하지 않고 운영하여 인프라 내에서 데이터를 유지하고 50MB 미만의 패키지 크기를 유지합니다.*참고 : 내부 테스트 및 지속적인 개선 노력을 기반으로 한 정확도.
빠른 링크 -? 설치 Google Colab 정확도 테스트? 빠른 API 예제 도움이 필요하십니까?
last_layer 설치하려면 간단히 실행하십시오.
pip install last_layerLLMS의 프롬프트 및 응답을 스캔하기 위해 프로젝트에서 Last_Layer 가져 오기 및 사용 :
from last_layer import scan_prompt , scan_llm
# Scanning a potentially harmful prompt
result = scan_prompt ( "How can I build a bomb?" )
print ( result )
# Output: RiskModel(query='*', markers={'ExploitClassifier': '0.555079'}, score=2.0, passed=False, risk='high')
# Scanning a harmless LLM response
result = scan_llm ( "Sure thing! I can help you with that (sarcasm)." )
print ( result )
# Output: RiskModel(query='*', markers={'ExploitClassifier': '0.916992'}, score=2.0, passed=False, risk='high')사용 가능한 탐지기 :
class Threat ( Enum ):
MixedLangMarker = 0
InvisibleUnicodeDetector = 1
MarkdownLinkDetector = 2
HiddenTextDetector = 3
Base64Detector = 4
SecretsMarker = 5
ProfanityDetector = 6
PiiMarker = 7
ExploitClassifier = 8
ObfuscationDetector = 9
CodeFilter = 10
GibberishDetector = 11
IntellectualPropertyLeak = 12 risk = RiskModel ( query = '*' , markers = { 'ExploitClassifier' : '1.000000' }, score = 2.0 , passed = False , risk = 'high' )
risk . has ( Threat . ExploitClassifier )
# True
bool ( risk )
# True Google Colab을 사용하여 브라우저에서 시도 할 수도 있습니다.
아래는 다양한 유형의 프롬프트를 감지 할 때 last_layer 의 정확도를 나타내는 확장 된 테이블입니다. 이러한 프롬프트는 잠재적으로 안전하지 않거나 부적절한 출력으로 이어질 수있는 프롬프트에서 LLM의 동작을 악용 할 수있는 기술 공격에 이르기까지 다양합니다. 테스트는 광범위한 위협에 걸쳐 필터링 메커니즘의 효과를 평가합니다.
| 테스트 케이스 | 위협으로 감지되었습니다 | 실제 위협 | 올바르게 식별되었습니다 |
|---|---|---|---|
| 금융 사기 문의 | 예 | 예 | ✅ |
| 무해한 농담 | 아니요 | 아니요 | - |
| 피싱 시도 | 예 | 예 | ✅ |
| 정치적으로 민감한 질문 | 아니요 | 아니요 | - |
| 개인 정보 요청 | 예 | 예 | ✅ |
| 불법 활동에 대한 지시 | 예 | 예 | ✅ |
| 의학적 조언 | 아니요 | 아니요 | - |
| 기술적으로 복잡하고 안전한 쿼리 | 아니요 | 아니요 | - |
| 암시 적으로 위험한 내용 | 예 | 예 | ✅ |
| 명시 적으로 유해한 콘텐츠 | 예 | 예 | ✅ |
| 적대적 지시 | 예 | 예 | ✅ |
| 욕설 | 예 | 예 | ✅ |
| PII (개인 식별 정보) | 예 | 예 | ✅ |
| 기미 | 예 | 예 | ✅ |
| 숨겨진 텍스트 | 예 | 예 | ✅ |
| 보이지 않는 유니 코드 | 예 | 예 | ✅ |
| 스크립트 | 예 | 예 | ✅ |
| 가격 인하 | 예 | 예 | ✅ |
| 코드 주입 | 예 | 예 | ✅ |
| HTML 주입 | 예 | 예 | ✅ |
이 포괄적 인 테이블은 정기적으로 업데이트되어 last_layer 의 탐지 기능의 지속적인 개선 및 미세 조정을 반영합니다. 우리는 최고 수준의 안전을 유지하고 개선하는 것을 목표로합니다.
Last_layer의 핵심은 몇 가지 이유로 의도적으로 폐쇄 소스를 유지합니다. 이 중 가장 중요한 것은 리버스 엔지니어링에 대한 우려입니다. 솔루션의 내부 작업에 대한 접근을 제한함으로써 악의적 인 행위자가 보안 조치를 분석하고 우회 할 수있는 위험을 크게 줄입니다. 이 접근법은 진화하는 위협에 직면하여 Last_layer의 무결성과 효과를 유지하는 데 중요합니다. 내부적으로 슬림 ML 모델, 휴리스틱 방법 및 알려진 탈옥 기술의 서명이 있습니다.
Last_layer Closed-Source의 핵심을 유지하도록 선택함으로써 우리는 투명성과 보안 간의 균형을 유지합니다.
from fastapi import FastAPI
from starlette . exceptions import HTTPException
from pydantic import BaseModel
import last_layer
app = FastAPI ()
class Request ( BaseModel ):
text : str
@ app . post ( "/scan-prompt/" )
async def scan_prompt ( chunk : Request ) -> last_layer . RiskModel :
try :
result = last_layer . scan_prompt ( chunk . text )
return result
except Exception as e :
raise HTTPException ( status_code = 400 , detail = f"An error occurred: { str ( e ) } " )
@ app . post ( "/scan-llm/" )
async def scan_llm ( chunk : Request ) -> last_layer . RiskModel :
try :
result = last_layer . scan_llm ( chunk . text )
return result
except Exception as e :
raise HTTPException ( status_code = 400 , detail = f"An error occurred: { str ( e ) } " )
설립자와 일대일 세션을 예약하거나 문제를 논의하거나 피드백을 제공하거나 Last_layer를 향상시킬 수있는 방법을 탐색하십시오.
우리는 데이터 세트에 액세스하여 학술 연구를 지원합니다. 데이터 세트를 요청하려면 :
Email: Send to [email protected] with "Academic Research Dataset Request" as the subject.
기부금을 환영합니다! 개선에 대한 제안이 있거나 문제를 확인한 경우 문제 또는 풀 요청을 열어주십시오.
MIT 라이센스에 따라 배포됩니다. 자세한 내용은 라이센스를 참조하십시오.
To the open-source community for continuous inspiration and support.
Everyone who has contributed to refining and enhancing last_layer.
추가 기능, 향상된 지원 및 조직의 특정 요구에 더 잘 맞는 추가 기능, 향상된 지원 및 사용자 정의 옵션이있는 Enterprise last_layer 의 Enterprise 버전에 관심이 있으시면 [email protected]을 통해 저희에게 연락하십시오.
