몇 초 만에 생성적(LLM 및 디퓨저) 애플리케이션(챗봇 및 API)을 생성하고 배포합니다.
input()
및 print()
를 사용하거나 디스크에 파일을 쓸 수 있습니다.AI(RAG, 미세 조정, 정렬, 교육)에 집중하고 엔지니어링 작업(프런트엔드 개발, 백엔드 통합, 배포, 운영)을 건너뜁니다.
다음과 같이 몇 초 안에 챗봇을 만들고 공유하세요.
pip install hal9
hal9 create chatbot
hal9 deploy chatbot
deploy
hal9.com/devs에서 얻을 수 있는 API 토큰과 함께 HAL9_TOKEN
환경 변수가 필요합니다. 이 토큰을 사용하여 로컬 컴퓨터, 노트북에서 배포하거나 GitHub에서 자동화할 수 있습니다.
HAL9_TOKEN=H9YOURTOKEN hal9 deploy chatbot --name my_first_chatbot
그렇게 쉽게 첫 번째 챗봇을 만들 수 있습니다!
/chatbot/app.py
내부 코드에는 사용자 프롬프트를 읽고 결과를 다시 출력하는 "Hello World" 챗봇이 포함되어 있습니다.
prompt = input ()
print ( f"Echo: { prompt } " )
우리는 단순함을 염두에 두고 이 패키지를 설계했습니다. 코드의 작업은 입력을 읽고 출력을 쓰는 것입니다. 즉, LLM을 사용하고, 이미지를 생성하고, 데이터베이스에 연결하는 도구를 사용하고, 웹 사이트와 게임을 구축하는 챗봇을 만들 수도 있습니다!
기본적으로 hal9 create
기본값은 --template echo
템플릿이지만 다음과 같이 다른 템플릿을 선택할 수 있습니다.
hal9 create chatbot-openai --template openai
hal9 create chatbot-groq --template groq
템플릿은 특정 기술 및 사용 사례에 바로 사용할 수 있는 코드를 제공합니다. --template openai
와 함께 OpenAI의 ChatGPT 유사 템플릿을 사용하는 것이 매우 인기가 있으며 생성된 코드는 다음과 같습니다.
import hal9 as h9
from openai import OpenAI
messages = h9 . load ( "messages" , [])
prompt = h9 . input ( messages = messages )
completions = OpenAI (). chat . completions . create ( model = "gpt-4" , messages = messages , stream = True )
h9 . complete ( completions , messages = messages )
h9 . save ( "messages" , messages , hidden = True )
학습 섹션에서는 이 코드의 작동 방식을 자세히 설명하지만 빠른 개요도 제공합니다. hal9
패키지에는 생성 AI 코드를 단순화하는 도우미 기능이 포함되어 있습니다. hal9
전혀 사용하지 않고 input()
및 print()
문을 직접 사용하거나 langchain
과 같은 도구를 사용하도록 선택할 수도 있습니다. h9.load()
및 h9.save()
함수는 채팅 세션 전반에 걸쳐 데이터를 로드하고 저장하며, 우리 플랫폼은 기본적으로 상태 비저장입니다. h9.input()
함수는 messages
에 사용자 입력을 저장하는 input()
에 대한 슬림 래퍼입니다. 그런 다음 h9.complete()
완료 결과를 구문 분석하고 결과를 messages
에 저장하는 데 도움이 되는 도우미 함수입니다. 그게 다야!
프로젝트를 변경하려면 IDE에서 chatbot/
열고 chatbot/app.py
수정하세요.
그런 다음 다음과 같이 프로젝트를 실행할 수 있습니다.
hal9 run chatbot
--template
사용하여 템플릿을 사용자 정의한 경우 올바른 키를 설정해야 합니다. 예를 들어 Linux 또는 macOS용 OpenAI 템플릿을 사용하는 경우:
export OPENAI_KEY=YOUR_OPENAI_KEY.
Windows의 경우:
set OPENAI_KEY=YOUR_OPENAI_KEY.
OpenAI API 키 획득 및 사용에 대한 자세한 내용은 OpenAI API 키 설명서를 참조하세요.
그런 다음 다음을 사용하여 애플리케이션을 로컬로 실행할 수 있습니다.
hal9 run chatbot
이 명령은 python app.py
와 같은 코드를 직접 실행하기 위한 편리한 래퍼입니다.
배포 명령은 생성 앱 배포를 준비합니다.
예를 들어 생성 앱(Hal9)으로 배포를 준비할 수 있습니다. 우리는 또한 Docker에 배포를 제공할 계획이 있으며 오픈 소스 커뮤니티는 이를 더욱 확장할 수 있습니다.
hal9 deploy chatbot --target hal9
각 명령은 프로젝트 폴더 배포를 준비하는 작업을 수행합니다. 예를 들어 --target docker
이 프로젝트를 클라우드 컨테이너에서 실행할 수 있도록 준비하는 Dockerfile
파일을 생성해야 합니다.
개인적인 용도의 경우 --target hal9
hal9.com
에서 무료 계층을 지원합니다. --target hal9 --url hal9.yourcompany.com
사용하여 엔터프라이즈 지원을 배포할 수도 있습니다.