Downcodes小编带你了解一项OCR技术领域的重大突破！研究人员最新研发出名为GOT（通用OCR理论）的OCR模型，它被誉为“OCR2.0”，巧妙地融合了传统OCR系统和大型语言模型的优势，在文本识别能力上取得了显着进展。 GOT模型架构精巧，拥有强大的图像编码器和解码器，能够处理多种类型的视觉信息，其应用前景极其广阔。
最近，研究人员开发了一种新的通用光学字符识别（OCR）模型，名为GOT(通用OCR 理论)。在他们的论文中，首次提出了“OCR2.0” 的概念，这个新模型旨在将传统OCR 系统的优点与大型语言模型的强大功能结合起来。
GOT 的架构相当先进，包含了一个大约8000万参数的图像编码器和一个500万参数的解码器。图像编码器能够将1024x1024像素的图像压缩成tokens，而解码器则负责将这些tokens 转换成最长可达8000个字符的文本。通过这种方式，OCR2.0模型能够处理的不仅仅是简单的文本。
这项新技术的魅力在于它能够识别并转换多种类型的视觉信息，包括英文和中文的场景文本和文档文本、数学与化学公式、音乐符号、简单几何图形以及包含组件的图表等。这样的功能无疑为科学、音乐和数据分析等领域的自动化处理带来了新的可能性。
为了优化训练过程，研究团队首先仅针对文本识别任务训练了编码器，随后引入了阿里巴巴的Qwen-0.5B 作为解码器，并利用多样化的合成数据进行了模型的微调。他们通过使用LaTeX、Mathpix-markdown-it、TikZ、Verovio、Matplotlib 和Pyecharts 等渲染工具生成了数百万对图像和文本的训练数据。
GOT 的模块化设计使得未来可以灵活地扩展新功能，而不需要重新训练整个模型，这样的设计大大提高了系统的更新效率。此外，研究者们表示，GOT 在各类OCR 任务中表现优异，尤其是在文档和场景文本识别方面，甚至在图表识别上超越了一些专用模型和大型语言模型。
值得一提的是，研究团队已将GOT 的免费演示和代码在Hugging Face 上发布，供其他人使用和进一步开发。这个新模型无疑将推动OCR 技术的发展，开启更为广泛的应用前景。
demo入口：https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo
划重点:
? GOT（通用OCR 理论）是一种新型OCR 模型，将传统OCR 系统与大型语言模型相结合，称为OCR2.0。
? 该模型能识别和转换多种视觉信息，包括文本、公式、音乐符号和图表，适用领域广泛。
? 模块化设计和合成数据训练使GOT 具备灵活扩展能力，并在多项OCR 任务中表现出色。
GOT模型的开源发布，无疑将加速OCR技术的革新，为各行各业带来更智能、更高效的文本识别解决方案。期待GOT在未来应用中展现出更强大的潜力！