Answer.AI 和 LightOn 联合发布了开源语言模型 ModernBERT，这是一个对谷歌 BERT 的重大改进，在速度、效率和质量上都有显著提升。ModernBERT 处理速度是 BERT 的四倍，内存使用更少，并能处理长达 8192 个标记的文本，是现有模型的 16 倍。它还首次在编程代码编码方面取得突破性进展，在 StackOverflow 问答数据集上得分超过 80，创造了新纪录。更重要的是，ModernBERT 显著降低了大规模文本处理的成本，可以在普通消费级硬件上运行，这使其比 GPT-4 等模型更具成本效益。
ModernBERT 的设计允许它处理长达8192个标记的文本，这比现有编码模型的典型512标记限制提高了16倍。此外，ModernBERT 还是首个经过广泛训练的编程代码编码模型，它在 StackOverflow 问答数据集上的得分超过80，创造了编码模型的新纪录。
在通用语言理解评估（GLUE）中，ModernBERT-Large 的处理速度与准确性达到了最佳平衡，每个标记的处理时间约为20毫秒，得分为90。开发团队形象地将 ModernBERT 比作一辆经过调校的本田思域，强调其在日常应用中可靠而高效。
与现有大型语言模型如 GPT-4相比，ModernBERT 在大规模文本处理上大幅降低了成本。GPT-4每次查询的费用为数美分，而 ModernBERT 则可以在本地运行，更快且更便宜。例如，FineWeb Edu 项目在过滤150亿个标记时，使用 BERT 模型的成本为6万美元，而即便使用谷歌的 Gemini Flash 解码器，成本也超过了100万美元。
开发团队表示，ModernBERT 非常适合多种实际应用，包括检索增强生成（RAG）系统、代码搜索和内容审查。不同于需要专门硬件的 GPT-4，ModernBERT 可以在普通消费级游戏 GPU 上有效运行。
目前，ModernBERT 提供两个版本:基础模型包含1.39亿个参数，大型版本包含3.95亿个参数。两个版本现已在 Hugging Face 上发布，并且用户可以直接用它们替换现有的 BERT 模型。开发团队计划在明年推出更大的版本，但没有多模态能力的计划。为了促进新应用的开发，他们还推出了一项比赛，将向五个最佳演示者奖励100美元和六个月的 Hugging Face 专业订阅。
自2018年谷歌推出 BERT 以来，该模型一直是最受欢迎的语言模型之一，在 HuggingFace 上每月下载量超过6800万次。
项目入口:https://huggingface.co/blog/modernbert
划重点:
ModernBERT 比 BERT 处理速度快四倍，能够处理长达8192个标记的文本。
相较于 GPT-4，ModernBERT 在大规模文本处理上的成本大幅降低，运行更高效。
该模型特别擅长处理编程代码，在 StackOverflow 问答数据集上得分超80，创造新纪录。
总之，ModernBERT 的开源发布为开发者提供了一个高效、经济且强大的语言模型选择，其在速度、效率和处理长文本的能力方面都具有显著优势，有望推动更多 AI 应用的创新发展。 期待其未来版本的更新和更广泛的应用。