Open Interface

Open Interface

기타 소스코드

0.6.1

다운로드

인터페이스 열기

LLM을 사용하는 모든 컴퓨터에 대한 전체 자동 조종 장치

인터페이스 열기

필요한 단계를 파악하기 위해 사용자 요청을 LLM 백엔드 (GPT-4V 등)에 보내는 셀프 드라이브 컴퓨터.
키보드 및 마우스 입력을 시뮬레이션하여 단계를 자동으로 실행합니다.
LLMS를 필요에 따라 컴퓨터의 현재 스크린 샷으로 전송하여 코스 수정.

모든 컴퓨터를위한 자율 주행 소프트웨어

데모

[ "Google Docs의 식사 계획을 세우십시오"]
식사 계획 데모를 만드십시오
더 많은 데모

설치하다 ?

마코스

최신 릴리스에서 Macos Binary를 다운로드하십시오.
파일을 압축하고 열린 인터페이스를 응용 프로그램 폴더로 이동하십시오.

Apple Silicon M-Series Mac

Open Interface는 키보드 및 마우스를 작동하기위한 접근성 액세스 권한을 요청하고 스크린 샷을 사용하여 진행 상황을 평가하기위한 스크린 녹화 액세스를 요청합니다.
그렇지 않은 경우 시스템 설정 -> 개인 정보 및 보안을 통해 수동 으로이 권한을 추가하십시오.

인텔 맥

Applications 폴더에서 앱을 시작하십시오.
표준 Mac "열기 인터페이스를 열 수 없음"오류에 직면 할 수 있습니다.

이 경우 "취소"를 누릅니다.
그런 다음 시스템 환경 설정 -> 보안 및 개인 정보 보호 -> 어쨌든 개방하십시오.

Open Interface는 또한 키보드 및 마우스 작동을 위해서는 접근성 액세스가 필요하며 스크린 샷을 사용하여 스크린 샷을 사용하여 진행 상황을 평가하기위한 스크린 녹화가 필요합니다.

마지막으로 Open Interface를 LLMS에 연결하려면 설정 섹션을 확인하십시오 (OpenAi GPT-4V)

리눅스

Linux Binary는 지금까지 Ubuntu 20.04에서 테스트되었습니다.
최신 릴리스에서 Linux Zip 파일을 다운로드하십시오.
실행 파일을 추출 하여이 터미널에서 실행하십시오.
./Open Interface
Open Interface를 LLMS에 연결하려면 설정 섹션을 확인하십시오 (OpenAi GPT-4V)

창

Windows Binary는 Windows 10에서 테스트되었습니다.
최신 릴리스에서 Windows Zip 파일을 다운로드하십시오.
폴더를 압축하고 exe를 원하는 위치로 이동하고 두 번 클릭하여 열고 짜십시오.
Open Interface를 LLMS에 연결하려면 설정 섹션을 확인하십시오 (OpenAi GPT-4V)

설정

OpenAI API 키를 설정하십시오

OpenAI API 키를 얻으십시오
- 열린 인터페이스는 사용자 요청을 수행하려면 GPT-4V에 액세스해야합니다. GPT-4V 키는 OpenAI 계정에서 다운로드 할 수 있습니다.
- OpenAI 계정에 균형을 추가하려면 여기 단계를 따르십시오. GPT-4V 잠금을 해제하려면 최소 $ 5의 지불이 필요합니다.
- 더 많은 정보
열린 인터페이스 설정에 API 키를 저장하십시오
- 열린 인터페이스에서 오른쪽 상단의 설정 메뉴로 이동하여 OpenAI에서받은 키를 다음과 같은 텍스트 필드로 입력하십시오.
API 키를 처음으로 설정 한 후 처음으로 앱을 다시 시작해야합니다.

선택 사항 : 사용자 정의 LLM을 설정하십시오

Open Interface는 다른 OpenAI API 스타일 LLM (예 : LLAVA)을 백엔드로 사용하여 지원하며 고급 설정 창에서 쉽게 구성 할 수 있습니다.
고급 설정 창에 사용자 정의 기본 URL 및 모델 이름을 입력하고 필요에 따라 설정 창에 API 키를 입력하십시오.
LLM이 OpenAI 스타일 API를 지원하지 않으면 이와 같은 라이브러리를 사용하여 하나로 변환 할 수 있습니다.
이러한 변경 후 앱을 다시 시작해야합니다.

물건이 나쁘다 (지금은) ?

정확한 공간-통화 및 클릭 버튼.
위에서 언급 한 것과 유사한 이유로 Excel 및 Google Sheets와 같은 테이블 컨텍스트에서 자체적으로 추적합니다.
커서 액션에 크게 의존하여 카운터 스트라이크, Spotify, Garage Band 등과 같은 복잡한 GUI가 풍부한 응용 프로그램을 탐색합니다.

미래 ?

( YouTube 튜토리얼과 같은 비디오 연습에 대한 더 나은 모델을 사용하여 )

"최신 프로젝트를 위해 차고 밴드에서 저를 위해 몇 가지베이스 샘플을 만드십시오."
"새로운 기능에 대한이 디자인 문서를 읽고 GitHub에서 코드를 편집 한 후 검토를 위해 제출하십시오."
"Spotify에서 친구의 음악 맛을 찾아 오늘 밤 이벤트를위한 파티 재생 목록을 만드십시오."
"Tahoe 여행에서 사진을 찍고 Imovie에서 흰색 연꽃 유형 몽타주를 만드십시오."

메모

비용 : 사용자 요청 당 $ 0.05- $ 0.20.
(GPT-4V가 어시스턴트/상태 모드를 가능하게하면 가까운 시일 내에 훨씬 낮을 것입니다).
정지 버튼을 누르거나 커서를 화면 코너로 끌어서 언제든지 앱을 방해 할 수 있습니다.
열린 인터페이스는 여러 모니터를 사용할 때만 기본 디스플레이 만 볼 수 있습니다. 따라서 커서/초점이 보조 화면에있는 경우 진행 상황을 볼 수없는 것과 동일한 동작을 계속 재현 할 수 있습니다 (특히 스포트라이트가 시작된 MacOS).

시스템 다이어그램 ? ️

 +----------------------------------------------------+
| App                                                |
|                                                    |
|    +-------+                                       |
|    |  GUI  |                                       |
|    +-------+                                       |
|        ^                                           |
|        |                                           |
|        v                                           |
|  +-----------+  (Screenshot + Goal)  +-----------+ |
|  |           | --------------------> |           | |
|  |    Core   |                       |    LLM    | |
|  |           | <-------------------- |  (GPT-4V) | |
|  +-----------+    (Instructions)     +-----------+ |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  | Interpreter |                                   |
|  +-------------+                                   |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  |   Executer  |                                   |
|  +-------------+                                   |
+----------------------------------------------------+