Interface aberta
AutoPilot completo para todos os computadores usando LLMS
Interface aberta
- Os computadores autodesses enviando solicitações de usuário para um back-end LLM (GPT-4V, etc) para descobrir as etapas necessárias.
- Executa automaticamente as etapas simulando a entrada do teclado e do mouse.
- Correitos de curso enviando ao LLMS uma captura de tela atual do computador, conforme necessário.
Software autônomo para todos os seus computadores
Demonstração
["Faça -me um plano de refeições no Google Docs"]
Mais demos
Instalar ?
Macos
- Faça o download do binário do MacOS da versão mais recente.
- Descompacte o arquivo e mova a interface aberta para a pasta Aplicativos.
Apple Silicon M-Series Macs
- A Interface Open solicitará acesso de acessibilidade para operar seu teclado e mouse para você, e o acesso de gravação de tela para tirar capturas de tela para avaliar seu progresso.
- Caso não, adicione manualmente essas permissão por meio de configurações do sistema -> privacidade e segurança
Intel Macs
- Inicie o aplicativo na pasta Aplicativos.
Você pode enfrentar o erro padrão do "interface aberta não pode ser aberta" .
Nesse caso, pressione "Cancelar" .
Em seguida, vá para as preferências do sistema -> Segurança e Privacidade -> Abra de qualquer maneira.
- A interface aberta também precisará de acesso de acessibilidade para operar o teclado e o mouse para você, e o acesso à gravação de tela para tirar capturas de tela para avaliar seu progresso.
- Por fim, consulte a seção de configuração para conectar a interface aberta ao LLMS (OpenAI GPT-4V)
Linux
- O Binário do Linux foi testado no Ubuntu 20.04 até agora.
- Faça o download do arquivo zip Linux da versão mais recente.
- Extraia o executável e execute -o do terminal via
./Open Interface - Confira a seção de configuração para conectar a interface aberta ao LLMS (OpenAI GPT-4V)
Windows
- O Binário do Windows foi testado no Windows 10.
- Faça o download do arquivo zip do Windows da versão mais recente.
- Descompacte a pasta, mova o exe para o local desejado, clique duas vezes para abrir e pronto.
- Confira a seção de configuração para conectar a interface aberta ao LLMS (OpenAI GPT-4V)
Configurar
Configure a chave da API Openai
Obtenha sua chave de API Openai
- A interface aberta precisa de acesso ao GPT-4V para executar solicitações de usuário. As chaves GPT-4V podem ser baixadas da sua conta OpenAI.
- Siga as etapas aqui para adicionar saldo à sua conta do OpenAI. Para desbloquear o GPT-4V, é necessário um pagamento mínimo de US $ 5.
- Mais informações
Salve a chave da API em configurações de interface abertas
- Na interface aberta, vá para o menu Configurações no canto superior direito e insira a chave que você recebeu do OpenAI no campo de texto como assim:
Depois de definir a tecla API pela primeira vez, você precisará reiniciar o aplicativo.
Opcional: Configure um LLM personalizado
- A interface aberta suporta o uso de outros LLMs de estilo API OpenAI (como LLAVA) como um back -end e pode ser configurado facilmente na janela de configurações avançadas.
- Digite o URL da base personalizado e o nome do modelo na janela Configurações avançadas e na tecla API na janela Configurações, conforme necessário.
- Se o seu LLM não suportar uma API no estilo OpenAI, você poderá usar uma biblioteca como essa para convertê -la em uma.
- Você precisará reiniciar o aplicativo após essas alterações.
Coisas que são ruins (por enquanto) ?
- Botões precisos e, portanto, clicando em espacial.
- Mantendo o controle de si mesmo em contextos tabulares, como Excel e Google Sheets, por razões semelhantes às indicadas acima.
- Navegando aplicativos complexos ricos em GUI, como contra-ataque, Spotify, Garage Band, etc. devido à forte dependência das ações do cursor.
Futuro ?
( com melhores modelos treinados em passo a passo de vídeo como tutoriais do YouTube )
- "Crie algumas amostras de baixo para mim na Garage Band para o meu último projeto".
- "Leia este documento de design para um novo recurso, edite o código no Github e envie -o para revisão".
- "Encontre o gosto da música dos meus amigos do Spotify e crie uma lista de reprodução de festa para o evento desta noite".
- "Tire as fotos da minha viagem de Tahoe e faça uma montagem branca do tipo Lotus em Imovie."
Notas
- Custo: US $ 0,05 - US $ 0,20 por solicitação do usuário.
(Isso será muito menor no futuro próximo, assim que o GPT-4V permitir o modo assistente/estado) - Você pode interromper o aplicativo a qualquer momento pressionando o botão Stop ou arrastando seu cursor para qualquer um dos cantos da tela.
- A interface aberta pode ver apenas sua tela principal ao usar vários monitores. Portanto, se o cursor/foco estiver em uma tela secundária, poderá continuar novamente repetindo as mesmas ações que não é capaz de ver seu progresso (especialmente no MacOS com o lançamento do Spotlight).
Diagrama do sistema ? ️
+----------------------------------------------------+
| App |
| |
| +-------+ |
| | GUI | |
| +-------+ |
| ^ |
| | |
| v |
| +-----------+ (Screenshot + Goal) +-----------+ |
| | | --------------------> | | |
| | Core | | LLM | |
| | | <-------------------- | (GPT-4V) | |
| +-----------+ (Instructions) +-----------+ |
| | |
| v |
| +-------------+ |
| | Interpreter | |
| +-------------+ |
| | |
| v |
| +-------------+ |
| | Executer | |
| +-------------+ |
+----------------------------------------------------+
História da estrela ️
Links ?
- Confira mais dos meus projetos em Amberbah.dev.
- Outras demos e kit de imprensa podem ser encontrados em mídia.md.
