iuys

IUYS(스크린샷을 지능적으로 이해)

에 대한

Machine Learning Singapore 그룹 모임에서 시연하는 동안 Sam Witteveen에게서 영감을 받았습니다. 이것은 아이디어를 좀 더 "소프트웨어 엔지니어링"으로 받아들이고(허용하신다면) 애플리케이션 개발 및 GenAI 관련 문제와 관련된 기술을 향상시키기 위한 것입니다.

참고: 이 프로젝트는 Apple Silicon 칩에서 개발되었습니다!

설명

IUYS는 귀하가 쿼리를 수행하고 "Google 검색" 스타일로 관련 결과를 찾을 수 있도록 이미지나 스크린샷을 이해하는 도구입니다.

사용된 도구

참고: 이 사용법에서 lancedb는 내장된 데이터베이스이므로 도구를 종료하면 모든 컨텍스트가 손실됩니다. 덤프 파일을 생성하고 도구가 다시 초기화될 때 다시 로드하여 컨텍스트를 유지합니다.

• 피에(이벤트 브로커)
• Watchdog(파일 감시자)
• lancedb (벡터 스토어)
• mlx-vlm(시각적 언어 모델 프레임워크)

흐름

생성 흐름

할 일 목록

일반적인

• 예외 처리
• CLI 기반 도구로 변환
  • 다른 프로그램에서 외부 사이드카로 사용하도록 허용
• 테스트
• 저장 키-값 저장소 변경

파일 감시자

• 파일 생성 이벤트를 수신하고 대기열 작업자에게 내보냅니다.
• 이미지로만 파일 이벤트 필터링
• VLM 작업 수행 여부를 결정하기 위해 체크섬으로 파일을 식별합니다.
• 예외 처리
• 테스트

대기열 작업자

• File Watcher로부터 파일 생성 이벤트 수신
  • 관련 없는 이벤트 필터링
  • 대기열에 대한 작업 이벤트
• 최적화?
• 예외 처리
• 테스트

OCU

• Queue 작업자로부터 새 작업을 수신하고 추론을 수행합니다.

• CLI 인수를 통해 "허용 목록" 모델 변경 허용

• 테스트

• 최적화

  • 현재 내 M3 Pro 36GB RAM에 로드되는 모델은 25GB를 소비합니다!! <- (예)

벡터 스토어

• 임베딩에 대한 OCU 추론을 수신하고 이를 벡터 저장소에 저장합니다.
• 검색 파이프라인
• 테스트