awesome llmops
1.0.0
LLMOps는 대규모 언어 모델(LLM)의 전체 수명주기 관리에 초점을 맞춘 MLOps의 특수한 형태인 MLOps 방식의 일부입니다.
2021년부터 LLM이 빠르게 발전하고 기술이 성숙해지면서 LLM을 효율적으로 관리하기 위한 관행에 초점을 맞추기 시작했고, 전통적인 MLOps 관행을 LLM에 적용한 LLMOps가 이야기되기 시작했습니다.
| LLMOps | MLOps | |
|---|---|---|
| 정의 | 대규모 언어 모델의 개발 및 배포를 위한 도구 및 인프라 | 일반 기계 학습 워크플로우를 위한 도구 및 인프라 |
| 집중하다 | 대규모 언어 모델의 고유한 요구 사항 및 과제 | 일반 기계 학습 워크플로 |
| 핵심기술 | 언어 모델, Transformers 라이브러리, Human-In-The-Loop 주석 플랫폼 | Kubeflow, MLflow, TensorFlow 확장 |
| 주요 기술 | NLP 전문 지식, 대규모 언어 모델에 대한 지식, 텍스트 데이터에 대한 데이터 관리 | 데이터 엔지니어링, DevOps, 소프트웨어 엔지니어링, 머신러닝 전문 지식 |
| 주요 과제 | 대량의 텍스트 데이터 관리 및 라벨링, 특정 작업에 대한 기반 모델 미세 조정, 언어 모델의 공정성과 윤리성 보장 | 복잡한 데이터 파이프라인 관리, 모델 해석 가능성 및 설명 가능성 보장, 모델 편향 및 공정성 해결 |
| 업계 채택 | 신흥 기업, LLMOps에 초점을 맞춘 스타트업과 기업의 수가 증가하고 있습니다. | 사용 가능한 도구 및 프레임워크로 구성된 대규모 에코시스템을 갖추고 구축됨 |
| 미래 전망 | LLMOps는 대규모 언어 모델이 더욱 널리 보급되고 강력해짐에 따라 점점 더 중요한 연구 분야가 될 것으로 예상됩니다. | MLOps는 효율성, 확장성 및 모델 안정성 향상에 중점을 두고 계속해서 기계 학습 산업의 중요한 구성 요소가 될 것입니다. |
⬆️ 맨 위로 이동
⬆️ 맨 위로 이동
| 이름 | 매개변수 크기 | 발표일 |
|---|---|---|
| BERT-대형(336M) | 3억 3,600만 | 2018 |
| T5 (11B) | 110억 | 2020 |
| 고퍼(280B) | 2,800억 | 2021 |
| GPT-J (6B) | 60억 | 2021 |
| LaMDA (137B) | 1,370억 | 2021 |
| 메가트론-튜링 NLG(530B) | 5,300억 | 2021 |
| T0 (11B) | 110억 | 2021 |
| 잉꼬 (11B) | 110억 | 2021 |
| 글램(1.2T) | 1조 2천억 | 2021 |
| T5 플랜(540B) | 5,400억 | 2022년 |
| OPT-175B (175B) | 1,750억 | 2022년 |
| 채팅GPT(175B) | 1,750억 | 2022년 |
| GPT 3.5(175B) | 1,750억 | 2022년 |
| 알렉사TM (20B) | 200억 | 2022년 |
| 블룸(176B) | 1,760억 | 2022년 |
| 음유 시인 | 아직 발표되지 않음 | 2023년 |
| GPT 4 | 아직 발표되지 않음 | 2023년 |
| 알파코드(41.4B) | 414억 | 2022년 |
| 친칠라 (70B) | 700억 | 2022년 |
| 참새 (70B) | 700억 | 2022년 |
| PaLM (540B) | 5,400억 | 2022년 |
| NLLB(54.5B) | 545억 | 2022년 |
| 알렉사 TM (20B) | 200억 | 2022년 |
| 갤럭티카 (120B) | 1,200억 | 2022년 |
| UL2(20B) | 200억 | 2022년 |
| 쥬라기-1 (178B) | 1,780억 | 2022년 |
| LLaMA(65B) | 650억 | 2023년 |
| 스탠포드 알파카 (7B) | 70억 | 2023년 |
| GPT-NeoX 2.0(20B) | 200억 | 2023년 |
| 블룸버그GPT | 500억 | 2023년 |
| 인형 | 60억 | 2023년 |
| 쥬라기-2 | 아직 발표되지 않음 | 2023년 |
| OpenAssistant LLaMa | 300억 | 2023년 |
| 코알라 | 130억 | 2023년 |
| 비쿠나 | 130억 | 2023년 |
| PaLM2 | 아직 발표되지 않음, PaLM1보다 작음 | 2023년 |
| 리마 | 650억 | 2023년 |
| MPT | 70억 | 2023년 |
| 매 | 400억 | 2023년 |
| 라마 2 | 700억 | 2023년 |
| 구글 제미니 | 아직 발표되지 않음 | 2023년 |
| 마이크로소프트 파이-2 | 27억 | 2023년 |
| 그록-0 | 330억 | 2023년 |
| 그록-1 | 3,140억 | 2023년 |
| 태양광 | 107억 | 2024년 |
| 아체 | 70억 | 2024년 |
| 그록-1.5 | 아직 발표되지 않음 | 2024년 |
| DBRX | 1,320억 | 2024년 |
| 클로드 3 | 아직 발표되지 않음 | 2024년 |
| 젬마 1.1 | 70억 | 2024년 |
| 라마 3 | 700억 | 2024년 |
⬆️ 맨 위로 이동
⬆️ 맨 위로 이동
⬆️ 맨 위로 이동
⬆️ 맨 위로 이동
⬆️ 맨 위로 이동
⬆️ 맨 위로 이동
Awesome LLMOps 목록에 대한 기여를 환영합니다! 추가 사항을 제안하거나 수정하려면 다음 지침을 따르십시오.
[ Name of Resource ] (Link to Resource) - Description of resource여러분의 기여에 감사드리며 Awesome LLMOps 목록을 더욱 멋지게 만드는 데 도움을 주셔서 감사합니다!
⬆️ 맨 위로 이동
