mPLUG DocOwl 다운로드 - mPLUG DocOwl 소스 코드 다운로드

mPLUG DocOwl

기타 소스코드

다운로드

강력한 다중 모드 LLM 제품군
OCR 없는 문서 이해를 위한

알리바바 그룹

소식

[2024.9.28] HuggingFace ?와 DocOwl2의 훈련 데이터, 추론 코드, 평가 코드를 공개했습니다. 및 ModelScope .
[2024.9.20] 우리 논문 DocOwl 1.5와 TinyChart가 EMNLP 2024에 승인되었습니다.
[2024.9.06] OCR이 없는 다중 페이지 문서 이해에 대한 SOTA 8B 다중 모드 LLM인 mPLUG-DocOwl 2의 arxiv 논문을 출시합니다. 각 문서 이미지는 단 324개의 토큰으로 인코딩됩니다!
[2024.7.16] 저희 논문 PaperOwl이 ACM MM 2024에 게재되었습니다.
[2024.5.08] DeepSpeed에서 지원하는 DocOwl1.5의 훈련 코드를 공개했습니다. 이제 DocOwl1.5를 기반으로 더욱 강력한 모델을 미세 조정할 수 있습니다!
[2024.4.26] 우리는 Program-of-Throught 기능을 갖춘 차트 이해를 위한 SOTA 3B 다중 모드 LLM인 TinyChart의 arxiv 논문을 출시합니다(ChartQA: 83.6 > Gemin-Ultra 80.8 > GPT4V 78.5). TinyChart의 데모는 HuggingFace ?에서 볼 수 있습니다. 코드, 모델, 데이터 모두 TinyChart로 공개됩니다.
[2024.4.3] 우리는 DocOwl1.5-Omni가 지원하는 ModelScope와 HuggingFace? 모두에서 DocOwl1.5의 데모를 구축합니다. 로컬 데모를 시작하는 소스 코드도 DocOwl1.5에 공개되어 있습니다.
[2024.3.28] mPLUG-DocOwl의 훈련 데이터(DocStruct4M, DocDownstream-1.0, DocReason25K), 코드 및 모델(DocOwl1.5-stage1, DocOwl1.5, DocOwl1.5-Chat, DocOwl1.5-Omni)을 공개합니다. HuggingFace 둘 다에 1.5? 및 ModelScope .
[2024.3.20] OCR-free Document Understanding(DocVQA 82.2, InfoVQA 50.7, ChartQA 70.2, TextVQA 68.6)에 대한 SOTA 8B Multimodal LLM인 mPLUG-DocOwl 1.5의 arxiv 논문을 출시합니다.
[2024.01.13] 우리의 과학적인 다이어그램 분석 데이터 세트 M-Paper는 HuggingFace ? 447k 고해상도 다이어그램 이미지와 해당 단락 분석이 포함된 ModelScope .
[2023.10.13] mPLUG-DocOwl/UReader의 학습 데이터, 모델이 오픈소스화되었습니다.
[2023.10.10] 저희 논문 UReader가 EMNLP 2023에 게재되었습니다.

[2023.07.10] ModelScope에서 mPLUG-DocOwl 데모를 사용할 수 있습니다.
[2023.07.07] mPLUG-DocOwl의 기술보고서 및 평가세트를 공개합니다.

모델

mPLUG-DocOwl2 (Arxiv 2024) - mPLUG-DocOwl2: OCR 없는 다중 페이지 문서 이해를 위한 고해상도 압축
mPLUG-DocOwl1.5 (EMNLP 2024) - mPLUG-DocOwl 1.5: OCR 없는 문서 이해를 위한 통합 구조 학습
TinyChart (EMNLP 2024) - TinyChart: 시각적 토큰 병합 및 사고 프로그램 학습을 통한 효율적인 차트 이해
mPLUG-PaperOwl (ACM MM 2024) - mPLUG-PaperOwl: 다중 모드 대형 언어 모델을 사용한 과학적 다이어그램 분석
UReader (EMNLP 2023) - UReader: 다중 모드 대형 언어 모델을 사용한 범용 OCR 없는 시각적 상황 언어 이해
mPLUG-DocOwl (Arxiv 2023) - mPLUG-DocOwl: 문서 이해를 위한 모듈화된 다중 모드 대형 언어 모델