FreeChat

freechat

다른 소프트웨어를 설치하지 않고 Mac에서 LLMS와 채팅하십시오. 모든 대화는 로컬로 저장되며 모든 대화는 오프라인으로 발생합니다.

• 시스템 프롬프트를 변경하여 페르소나 및 전문 지식을 사용자 정의하십시오
• llama.cpp 호환 모델을 사용해보십시오
• 인터넷 연결이 필요하지 않은 모든 로컬 (원격 모델에 연결하는 옵션 포함)

H264. 스크린. 레코딩. 2023-09-13.at.1.54.49.pm.mov

설치하다

Testflight 베타 : https://6032904148827.gumroad.com/l/freechat-beta에 가입하십시오

또는 Mac App Store에서 다운로드하십시오 : https://apps.apple.com/us/app/freechat/id6458534902

또는 아래에서 DEV 설정을 완료 한 후 Xcode의 "아카이브"를 통해 소스에서 빌드하십시오.

목표

Freechat의 주요 목표는 더 많은 사람들이 개방적이고 현지의 개인 모델에 액세스 할 수 있도록하는 것입니다.

Freechat은 완전히 로컬로 운영되는 MACOS 용 기본 LLM 어플라이언스입니다. 그것을 다운로드하고 LLM에 구성을 수행하지 않고 질문하십시오. 로그인이나 추적없이 OpenAi의 채팅의 로컬/라마 버전. Mac App Store에서 설치하여 즉시 사용할 수 있어야합니다.

• 구성이 없습니다. 모델, 프롬프트 또는 LLM에 대해 들어 보지 못한 사람들이 사용할 수 있습니다.
• DEV 경험 또는 기능에 대한 성능 및 단순성. 단어가 아니라, Elektron이 아닌 스위프트.
• 먼저 로컬. 핵심 기능은 인터넷 연결이 필요하지 않아야합니다.
• 대화 추적이 없습니다. 메모와 마찬가지로 Freechat로 원하는 것에 대해 이야기하십시오.
• 오픈 소스. 실제로 로컬 AI를 실행하는 요점은 실제로 로컬로 실행되고 있음을 감사 할 수 없습니까?

모델을 업그레이드하십시오

일단 가동되면 Freechat에서 다른 모델을 시도하는 것이 재미 있습니다. AI 교육 커뮤니티는 기본적으로 매일 새로운 모델을 출시하고 있습니다. Freechat은 llama.cpp와 함께 작동하는 모든 GGUF 형식 모델과 호환됩니다.

모델은 일반적으로 매개 변수 수 (예 : 7B)로 명명되며 다른 수준의 손실 압축 적용 (양자화)으로 형식화됩니다. 일반적인 규칙은 더 많은 매개 변수를 가진 모델이 느리고 현명하고 양자화가 더 많은 경향이 있다는 것입니다.

모델을 찾으려면 얼굴을 안아주십시오. 대부분의 모델에는 저자가 교육과 능력을 논의하는 링크 된 "모델 카드"가 있습니다.

DEV 설정

1. mac/freechat.xcodeproj를 엽니 다
2. 오류를 실행하고 수정하십시오

로드맵 / TODO (대략 순서) :

• 다른 것을 설치하지 않고 Llama 3과 채팅하십시오
• llama.cpp 호환 모델을 사용해보십시오
• 시스템 프롬프트는 페르소나 또는 전문 지식을 수정하라는 프롬프트입니다
• 앱 내에서 모델 다운로드 (3GB에서 10MB에서 앱을 줄이기, 업데이트가 더 좋습니다)
• 고급 설정 (프롬프트 형식, 온도, 반복 페널티)
• 페르소나 - 나중에 시스템 프롬프트 / 모델 설정을 저장하고 새 대화를 만들 때 페르소나 변경
• 대화를 검색하십시오

기여

기부금은 매우 환영합니다. Freechat을 단순하고 강력하게 만들어 봅시다.

크레딧

이 프로젝트는 열심히 일하지 않으면 불가능합니다.

• Llama.cpp의 Georgi Gerganov
• 훈련을위한 메타 라마 2
• 기본 모델 인 Spicyboros 훈련을위한 Jon Durbin
• 모델 양자화를위한 TheBloke (Tom Jobbins)
• Freechat 로고를위한 Monica Kogler 및 Uncountable UX Consults

또한 Billy Rennekamp, ​​Elliot Hursh, Tomás Savigliano, Judd Schoenholtz, Alex Farrill에게 귀중한 Spitballing 세션에 감사드립니다.