local chat

로컬챗

아무런 설정 없이 컴퓨터에서 로컬로 생성 언어 모델과 채팅할 수 있습니다. LocalChat은 간단하고 설정이 쉬운 오픈 소스 로컬 AI 채팅으로 llama.cpp를 기반으로 구축되었습니다. 기술적 지식이 필요하지 않으며 사용자가 GDPR을 완전히 준수하고 실수로 정보가 유출될 염려 없이 자신의 컴퓨터에서 ChatGPT와 유사한 동작을 경험할 수 있습니다. 여기에서 macOS, Windows 또는 Linux용 LocalChat을 다운로드하세요.

목차
개요 | 근거 | 시스템 요구사항 | 빠른 시작 | 선적 서류 비치

개요

LocalChat은 생성적 LLM(대형 언어 모델) 과 상호 작용하기 위한 채팅과 유사한 인터페이스를 제공합니다. 이는 채팅 대화처럼 보이고 느껴지지만 컴퓨터에서 로컬로 발생합니다. 어떤 데이터도 일부 클라우드 서버로 전송되지 않습니다.

ChatGPT와 거의 비슷하게 보이고 느껴지는 매우 유능한 생성 언어 모델이 이미 여러 개 있습니다. 가장 큰 차이점은 해당 모델이 로컬로 실행되고 개방형이라는 점입니다.

중요한

이미 알고 계시겠지만, LLM과의 채팅은 매우 자연스러울 수 있지만 모델은 여전히 ​​확률론적입니다. 즉, 프롬프트에 있는 다른 내용을 기반으로 다음 가능성 있는 단어를 생성합니다. LLM에는 시간, 인과 관계, 맥락 및 언어학자들이 화용론이라고 부르는 것에 대한 감각이 없습니다. 따라서 그들은 결코 일어나지 않은 사건을 만들어내거나, 전혀 다른 사건의 사실을 뒤섞거나, 솔직하게 거짓말을 하는 경향이 있습니다("환각"이라고 함). 이러한 모델이 출력할 수 있는 코드나 계산에도 동일하게 적용됩니다. 이것은 다음과 같이 말합니다.

• 모델을 절대 믿지 마세요 . 독립적인 조사를 통해 제공하는 모든 정보를 확인하세요. 출력되는 많은 항목에 대한 빠른 Google 검색을 통해 사실적으로 더 정확한 정보를 얻을 수 있습니다.
• 생성된 코드를 맹목적으로 실행하지 마십시오 . 코드가 작동하는 것처럼 보일 수도 있지만 전체 디스크가 지워질 수도 있습니다.
• 그 계산을 신뢰하지 마십시오 .
• 품질을 높이려면 각 대화를 단일 주제로 유지하십시오.

주의를 기울이고 이 모델을 사용하는 데 따른 위험은 사용자 본인의 책임입니다. 믿을 수 있는 것이 아니라 장난감이라는 점을 명심하세요.

왜?

ChatGPT가 2022년 11월에 출시되었을 때 저는 매우 기뻤지만 동시에 조심스럽기도 했습니다. 저는 GPT-3의 기능에 깊은 인상을 받았지만 해당 모델이 독점 모델이고 그렇지 않더라도 로컬에서 실행하는 것이 불가능하다는 사실을 뼈저리게 인식하고 있었습니다. 개인 정보 보호를 잘 아는 유럽 시민으로서 저는 언제든지 액세스를 차단할 수 있는 수십억 달러 규모의 기업에 의존한다는 생각을 좋아하지 않습니다.

이로 인해 저는 GPT를 실제로 다룰 수 없었고 피할 수 없는 더 작고 더 나은 도구의 개발을 기다리기로 결정했습니다. 지금까지 모든 조건을 충족하는 여러 모델이 있습니다. 로컬로 실행 되며 ChatGPT와 같은 느낌을 줍니다. 양자화(기본적으로 품질 손실과 함께 해상도 감소)를 사용하면 구형 하드웨어에서도 실행할 수 있습니다.

그러나 LLM에 대한 경험이 없다면 LLM을 운영하기 가 어려울 것입니다.

이 앱이 존재하는 이유는 (a) 인체공학적으로 어떻게 작동하는지 확인하기 위해 직접 구현하고 싶었고, (b) PyTorch 설정에 대해 걱정할 필요 없이 이러한 것들과 상호 작용할 수 있는 매우 간단한 레이어를 제공하고 싶었기 때문입니다. 로컬 트랜스포머.

앱을 설치하고 모델을 다운로드하기만 하면 됩니다.

시스템 요구 사항

이 앱을 실행하려면 최신 컴퓨터가 필요합니다. 그러나 이 앱은 전력 소모가 심한 것으로 악명 높은 LLM에 의존합니다. 따라서 컴퓨터 하드웨어에 따라 실행할 수 있는 모델이 결정됩니다.

"일반" 크기 모델에는 단어당 1초 이상 기다릴 의사가 없는 한 6~18GB의 비디오 메모리를 갖춘 전용 그래픽 카드가 필요할 수 있습니다.

요즘에는 많은 모델이 양자화된 형태로 제공되므로 더 큰 모델을 오래되거나 덜 강력한 하드웨어에도 사용할 수 있습니다. 양자화는 때때로 너무 큰 품질 손실 없이 너무 큰 모델의 시스템 요구 사항을 상당히 줄여줍니다(그러나 마일리지는 모델마다 다를 수 있습니다).

중요한

대규모 언어 모델이므로 응답을 생성하는 데 약간의 시간이 걸립니다. 따라서 특히 컴퓨터에 전용 GPU가 없는 경우에는 인내심을 가지거나 더 작은 모델을 사용해 보십시오.

빠른 시작

1. 이 저장소의 릴리스 섹션에서 앱을 다운로드하고 설치합니다.
2. 모델 관리자를 열어 모델 다운로드 지침을 받으세요.
   1. Huggingface.co를 방문하세요.
   2. GGUF 형식의 모델 다운로드
   3. 해당 모델 파일을 앱의 모델 디렉터리에 넣습니다.
3. 채팅!

팁

앱 웹사이트에서 전체 문서를 찾을 수 있습니다.

사용자 인터페이스는 세 가지 주요 구성 요소로 구분됩니다.

• 왼쪽 사이드바에는 대화 목록이 포함되어 있습니다. 채팅을 시작하려면 새 대화를 만들어야 합니다. 기본적으로 이 대화는 사용 가능한 첫 번째 모델을 활용합니다. 나중에 변경할 수 있습니다. 앱을 다시 시작해도 대화와 채팅이 유지됩니다. 왼쪽 상단의 작은 메뉴 버튼을 사용하여 사이드바를 표시하거나 숨길 수 있습니다.
• 주요 영역은 채팅 인터페이스가 차지합니다. 여기에서 현재 대화의 메시지를 확인하고, 새 메시지를 입력하고, 모델이 어떻게 응답을 생성하는지 확인할 수 있습니다.
• 하단의 상태 표시줄은 앱과 모델의 작동 방식에 대한 몇 가지 상태 표시를 제공합니다.

특허

이 코드는 GNU GPL 3.0을 통해 라이센스가 부여되었습니다. LICENSE 파일에서 자세한 내용을 읽어보세요.