mac_computer_use

인류 컴퓨터 사용 (Mac 용)

인류 컴퓨터 사용은 Ubuntu와 함께 Docker 이미지를 실행하여 제어하는 ​​베타 인류 기능입니다. 이 포크를 사용하면 기본적으로 MACOS에서 실행하여 기본 MACOS 명령 및 유틸리티를 통해 직접 시스템 제어를 제공 할 수 있습니다.

주의

이것은 명백한 위험이 있습니다. 인위적 에이전트는 Mac의 모든 것을 제어 할 수 있습니다. 조심 해주세요. Anthropic의 새로운 Claude 3.5 Sonnet 모델은 구매 품목 또는 불법 콘텐츠 다운로드와 같은 안전하지 않은 작업을 거부합니다.

특징

• 기본 MacOS GUI 상호 작용 (Docker 필요 없음)
• 기본 MACOS 명령을 사용하여 화면 캡처
• Cliclick을 통한 키보드 및 마우스 제어
• 다중 LLM 제공 업체 지원 (의인화, 기반암, 정점)
• 간소 기반 인터페이스
• 자동 화면 해상도 스케일링
• 파일 시스템 상호 작용 및 편집 기능

전제 조건

• Macos Sonoma 15.7 이상
• 파이썬 3.12+
• 홈브류 (추가 종속성 설치)
• cliclick ( brew install cliclick ) - 마우스 및 키보드 제어에 필요합니다.

설정 지침

1. 저장소를 복제하고이를 탐색하십시오.

git clone https://github.com/deedy/mac_computer_use.git
cd mac_computer_use

2. 가상 환경 생성 및 활성화 :

python3.12 -m venv venv
source venv/bin/activate

3. 설정 스크립트 실행 :

chmod +x setup.sh
./setup.sh

4. 파이썬 요구 사항 설치 :

pip install -r requirements.txt

데모 실행

환경과 의인성 API 키를 설정하십시오

1. .env 파일에서 추가 :

 API_PROVIDER=anthropic
ANTHROPIC_API_KEY=<key>
WIDTH=800
HEIGHT=600
DISPLAY_NUM=1

화면 치수를 설정하고 (권장 : XGA/WXGA 해상도 내에 머무르면) 인류 콘솔에서 키를 넣으십시오.

2. Streamlit 앱 시작 :

streamlit run streamlit.py

인터페이스는 http : // localhost : 8501에서 제공됩니다

화면 크기 고려 사항

최적의 성능을 위해 이러한 해상도 중 하나를 사용하는 것이 좋습니다.

• XGA : 1024x768 (4 : 3)
• WXGA : 1280x800 (16:10)
• fwxga : 1366x768 (~ 16 : 9)

모델 성능을 최적화하기 위해 더 높은 해상도가 이러한 대상으로 자동 스케일링됩니다. 환경 변수를 사용하여 해상도를 설정할 수 있습니다.

 export WIDTH=1024
export HEIGHT=768
streamlit run streamlit.py

중요한

이 참조 구현에 사용 된 베타 API는 변경 될 수 있습니다. 최신 정보는 API 릴리스 노트를 참조하십시오.