llm x

LLM X

크롬 확장 | 웹/모바일 앱

개인정보 보호정책:

LLM X는 외부 API 호출을 하지 않습니다. (계속해서 네트워크 탭을 확인하고 가져오기 섹션을 참조하세요). 귀하의 채팅과 이미지 생성은 100% 비공개입니다. 이 사이트/앱은 완전히 오프라인으로 작동합니다.

문제:

LLM X(웹 앱)는 안전하지 않은 서버에 연결하지 않습니다. 즉, localhost(보안 컨텍스트로 간주)에서 LLM X를 사용할 수 있지만 네트워크를 통해 llm-x를 사용하려는 경우 서버는 https에 있어야 하며 그렇지 않으면 작동하지 않습니다.

최근 추가사항:

• 다중 모델 지원! 이제 채팅은 연결된 모든 서버에서 여러 모델을 지원하며 각 모델에 동시에 응답할 수 있습니다.
• 빠른 삭제! 빠른 검색/kbar 패널을 사용하면 모든 앱 관련 데이터를 매우 쉽게 삭제할 수 있습니다.
• 크롬 확장 지원! 브라우저에 내장된 웹 앱의 모든 기능
• 제미니 나노 지원!
• IndexedDB 지원! 이제 모든 텍스트가 로컬 저장소 대신 IndexedDB에 저장됩니다.
• 로드 시 자동 연결됩니다. 표시되고 연결할 준비가 된 서버가 있으면 해당 서버에 연결해 드립니다.

사용 방법:

신청 전제조건

• Ollama: Ollama 다운로드 및 설치
  • 라이브러리에서 모델(또는 몇 개) 풀다운 예: ollama pull llava (또는 앱 사용)
• LM 스튜디오: LM 스튜디오 다운로드 및 설치
• AUTOMATIC1111: Git 복제 AUTOMATIC1111(이미지 생성용)
• Gemini Nano: Chrome Canary 다운로드 및 설치
  • BypassPerfRequirement 선택하여 온디바이스 모델을 활성화합니다.
  • nano용 Api Gemini 활성화
  • Chrome을 다시 시작하세요(다운로드될 때까지 기다려야 할 수도 있음).

웹 클라이언트 사용 방법(설치 없음):

웹 클라이언트의 전제 조건

• 올라마 옵션:
  • Ollama의 FAQ를 사용하여 OLLAMA_ORIGINS = https://mrdjohnson.github.io 설정하세요.
  • 터미널에서 이것을 실행하세요 OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • (Powershell 사용자: $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve )
• LM 스튜디오:
  • 터미널에서 다음을 실행하세요: lms server start --cors=true
• A1111:
  • a1111 프로젝트 폴더에서 다음을 실행하십시오: ./webui.sh --api --listen --cors-allow-origins "*"
• Gemini Nano: 자동으로 작동

---

• 브라우저를 사용하여 LLM-X로 이동하세요.
• 오프라인으로 전환하세요! (선택 과목)
• 채팅을 시작하세요!

크롬 확장을 위한 전제조건

• Chrome 확장 프로그램 다운로드 및 설치
• 이상적으로 이것은 즉시 작동하며 연결하는 데 특별한 것이 필요하지 않습니다! 그렇지 않은 경우 아래 단계를 계속 진행하세요.
• 올라마 옵션:
  • Ollama의 FAQ를 사용하여 OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk 설정하세요.
  • 터미널에서 이것을 실행하세요 OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • (Powershell 사용자: $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve )
• LM 스튜디오:
  • 터미널에서 다음을 실행하세요: lms server start --cors=true
• A1111:
  • a1111 프로젝트 폴더에서 다음을 실행하십시오: ./webui.sh --api --listen --cors-allow-origins "*"

오프라인 사용 방법:

• "웹 클라이언트 사용 방법" 지침을 따르세요.
• 브라우저 검색창에 다운로드/설치 버튼이 있을 것입니다. 해당 버튼을 누르세요.
• 오프라인으로 전환하세요! (선택 과목)
• 채팅을 시작하세요!

프로젝트 소스에서 사용하는 방법:

프로젝트 소스에 대한 전제 조건

• Ollama: 터미널 ollama serve 에서 이것을 실행하세요.
• LM Studio: 터미널에서 다음을 실행하세요: lms server start
• A1111: a1111 프로젝트 폴더에서 다음을 실행합니다: ./webui.sh --api --listen

---

Vite 미리보기 모드

• 이 프로젝트를 풀다운하세요. yarn install , yarn preview
• 오프라인으로 전환하세요! (선택 과목)
• 채팅을 시작하세요!

도커

• 터미널에서 다음을 실행하세요: docker compose up -d
• http://localhost:3030을 엽니다.
• 오프라인으로 전환하세요! (선택 과목)
• 채팅을 시작하세요!

크롬 확장 프로그램

• 이 프로젝트를 풀다운하세요. yarn chrome:build
• chrome://extensions/ 로 이동하세요.
• 다음 경로에서 압축이 풀린 로드(개발자 모드 옵션): llm-x/extensions/chrome/dist

목표/특징

• 완전히 비공개입니다. 완전히 오프라인으로 작동
• 올라마 통합!
• LM 스튜디오 통합!
• 개방형 AI 서버 통합!
• 제미니 나노 통합!
• AUTOMATIC1111 통합!
• AUTOMATIC1111을 통한 텍스트-이미지 생성
• Ollama의 다중 모달 기능을 사용하여 이미지를 텍스트로 변환
• Highlight.js를 사용한 코드 강조 표시 (현재는 공통 언어만 처리)
• 검색/명령 모음은 kbar를 통해 앱 기능에 대한 빠른 액세스를 제공합니다.
• LaTex 지원
• 사용자가 원하는만큼 많은 연결을 가질 수 있도록 허용하십시오!
• 자동 저장된 채팅 기록
• 여러 채팅 관리
• 보내거나 받은 메시지 복사/수정/삭제
• 사용자 메시지 다시 쓰기(응답 새로 고침 트리거)
• "페르소나" 기능을 통한 시스템 프롬프트 사용자 정의
• DaisyUI를 통한 테마 변경
• 또 다른 반응 라이트박스를 통해 채팅 이미지 모달 미리보기
• 채팅 가져오기/내보내기
• 지속적인 배포! 마스터 브랜치에 병합하면 새로운 github 페이지 빌드/배포가 자동으로 트리거됩니다.

스크린샷:

Google의 온디바이스 Gemini Nano를 사용하여 Chrome 확장 모드 표시

Ollama의 llama3.2-vision으로 Chrome 확장 모드 표시

ollama와 LM Studio를 동시에 실행하는 능력을 보여줌

로고에 대한 대화

이미지 생성 예시!

옴니바 및 코드 표시

코드와 조명 테마 표시

고양이에 대한 반응

라텍스 지원!

또 다른 로고 응답

이게 뭔가요? Ollama(오프라인 채팅 gpt 서버와 유사하다고 생각함)를 로컬에서 실행하는 틈새 그룹을 위한 ChatGPT 스타일 UI입니다. 이미지와 텍스트 전송 및 수신을 지원합니다! PWA(Progressive Web App) 표준을 통해 오프라인으로 작동합니다 (죽지 않았습니다!).

왜 이런 일을 하는가? 나는 한동안 LLM UI 에 관심이 있었는데 이것이 좋은 입문 응용 프로그램인 것 같았습니다. 저도 이 프로젝트 덕분에 많은 현대 기술을 접하게 되었어요. 정말 즐거웠어요!

왜 그렇게 유행어가 많은 걸까요? 나는 도울 수 없었지만 멋지다?

Tech Stack(감사합니다):

논리 도우미:

• 반응하다
• 타이프스크립트
• 로다시
• 조드
• 몹스
• Mobx 상태 트리 (빠른 프로젝트 시작에는 적합하지만 장기 유지 관리에는 좋지 않음)
• Langchain.js

UI 도우미:

• 순풍 CSS
• 데이지UI
• 다음UI
• 하이라이트.js
• 마크다운 반응
• 크바
• 또 다른 React 라이트박스
• 음성을 텍스트에 반응

프로젝트 설정 도우미:

• 비테
• Vite PWA 플러그인
• Vite 플러그인 웹 확장

영감: ollama-ui의 프로젝트. 사용자가 웹 앱을 통해 ollama에 연결할 수 있습니다.

Perplexity.ai Perplexity는 LLM UI 공간에서 몇 가지 놀라운 UI 발전을 이루었으며 저는 그 지점에 도달하는 데 매우 관심이 있었습니다. 이 시작 프로젝트를 통해 비슷한 일을 하는 데 더 가까워질 수 있기를 바랍니다!

지역 개발 시작하기

(json 패키지의 최소 엔진 요구 사항을 참고하세요)

프로젝트를 복제하고 루트 디렉터리에서 yarn 실행합니다.

yarn dev 로컬 인스턴스를 시작하고 https:// 아래에 브라우저 탭을 엽니다(PWA 이유로).

기타

• 이 앱을 스파이크하는 동안 LangChain.js가 시도되었지만 불행히도 들어오는 스트림을 중지하기 위해 올바르게 설정되지 않았습니다. 나중에 이 문제가 수정되기를 바랍니다. 또는 가능하다면 사용자 정의 LLM 에이전트를 활용하여 LangChain을 사용할 수 있기를 바랍니다.

  • 편집: Langchain이 작동 중이며 이제 앱에 추가되었습니다!

• 원래는 create-react-app을 사용했습니까? 이 프로젝트를 만들면서 더 이상 유지 관리되지 않는다는 사실을 모르고 Vite를 사용하고 있습니다. ? 이를 통해 이전에는 사용할 수 없었던 ollama-js 와 같은 라이브러리를 사용할 수 있게 되었습니다. 곧 langchain으로 더 많은 테스트를 진행할 예정입니다.

• 이 추가 정보는 https://stackedit.io/app으로 작성되었습니다.

• 기본 분기에 대한 변경 사항은 https://mrdjohnson.github.io/llm-x/에 대한 즉시 배포를 트리거합니다.