gemma
1.0.0
Gemma는 Gemini 연구 및 기술을 기반으로 하는 Google DeepMind의 개방형 LLM(대형 언어 모델) 제품군입니다.
이 저장소에는 Flax 및 JAX를 기반으로 한 추론 구현 및 예제가 포함되어 있습니다.
Gemma 기술 보고서(v1, v2)에는 모델의 기능이 자세히 설명되어 있습니다.
튜토리얼, 다른 ML 프레임워크의 참조 구현 등을 보려면 https://ai.google.dev/gemma를 방문하세요.
Gemma를 설치하려면 Python 3.10 이상을 사용해야 합니다.
CPU, GPU 또는 TPU용 JAX를 설치합니다. JAX 웹사이트의 지침을 따르세요.
달리다
python -m venv gemma-demo . gemma-demo/bin/activate pip install git+https://github.com/google-deepmind/gemma.git
모델 체크포인트는 Kaggle(http://kaggle.com/models/google/gemma)을 통해 제공됩니다. Flax 모델 변형 중 하나를 선택하고 ⤓ 버튼을 클릭하여 모델 아카이브를 다운로드한 다음 해당 콘텐츠를 로컬 디렉터리에 추출합니다. 아카이브에는 모델 가중치와 토크나이저가 모두 포함되어 있습니다. 예를 들어 2b Flax 변형에는 다음이 포함됩니다.
2b/ # Directory containing model weights tokenizer.model # Tokenizer
단위 테스트를 실행하려면 선택적 [test] 종속성을 설치하고(예: 소스 트리 루트에서 pip install -e .[test] 사용) 다음을 수행합니다.
pytest .
Gemma 소스와 함께 배포되는 토크나이저가 없으므로 sampler_test.py 의 테스트는 기본적으로 건너뜁니다. 이러한 테스트를 실행하려면 위 지침에 따라 토크나이저를 다운로드하고, sampler_test.py 의 _VOCAB 상수를 tokenizer.model 경로로 업데이트하세요.
예제 샘플링 스크립트를 실행하려면 가중치 디렉터리 및 토크나이저에 대한 경로를 전달하세요.
python examples/sampling.py --path_checkpoint=/path/to/archive/contents/2b/ --path_tokenizer=/path/to/archive/contents/tokenizer.model
다음과 같은 여러 Colab 노트북 튜토리얼도 있습니다.
colabs/sampling_tutorial.ipynb 에는 샘플링 예시가 포함된 Colab 노트북이 포함되어 있습니다.
colabs/fine_tuning_tutorial.ipynb 에는 영어에서 프랑스어로의 번역과 같은 작업에 맞게 Gemma를 미세 조정하는 방법에 대한 기본 튜토리얼이 포함된 Colab이 포함되어 있습니다.
colabs/gsm8k_eval.ipynb 참조 GSM8K 평가 구현이 포함된 Colab입니다.
이러한 노트북을 실행하려면 가중치 및 토크나이저(위 참조)의 로컬 복사본을 다운로드하고 ckpt_path 및 vocab_path 변수를 해당 경로로 업데이트해야 합니다.
Gemma는 CPU, GPU, TPU에서 실행될 수 있습니다. GPU의 경우 2B 체크포인트의 경우 GPU에 8GB 이상의 RAM을 권장하고, 7B 체크포인트의 경우 GPU에 24GB 이상의 RAM을 권장합니다.
우리는 버그 보고서, 끌어오기 요청(PR) 및 기타 기여에 열려 있습니다. PR에 대한 자세한 내용은 CONTRIBUTING.md를 참조하세요.
저작권 2024 DeepMind Technologies Limited
이 코드는 Apache 라이센스 버전 2.0("라이센스")에 따라 라이센스가 부여됩니다. 라이센스를 준수하는 경우를 제외하고는 이 파일을 사용할 수 없습니다. 귀하는 http://www.apache.org/licenses/LICENSE-2.0에서 라이센스 사본을 얻을 수 있습니다.
해당 법률에서 요구하거나 서면으로 동의하지 않는 한, 라이선스에 따라 배포되는 소프트웨어는 명시적이든 묵시적이든 어떠한 종류의 보증이나 조건 없이 있는 그대로 배포됩니다. 라이선스에 따른 허가 및 제한 사항을 관리하는 특정 언어는 라이선스를 참조하세요.
이것은 공식 Google 제품이 아닙니다.
