Awesome Foundation Models

很棒的发现模式

基础模型是一种大规模预认证的模型（例如，BERT，DALL-E，GPT-3），可以适应广泛的下游应用。该术语首先是由斯坦福大学以人工智能为中心的斯坦福大学（Stanford）流行的。该存储库维护了视觉和语言任务的基础模型的精选列表。不包括没有代码的研究论文。

民意调查

2024

• 语言代理商（来自普林斯顿Shunyu Yao的博士学位论文。Blog1，blog2）
• 一项针对算法设计的大语言模型的系统调查（来自香港的城市大学）
• 基础模型时代的图像细分：一项调查（北京技术研究所）
• 迈向视觉地理基础模型：一项调查（来自Nanyang Technology University）
• 视觉建模简介（来自元）
• 多模式架构的演变（来自普渡大学）
• 有效的多模式大语模型：调查（来自腾讯）
• 视频理解的基础模型：一项调查（来自奥尔堡大学）
• Sora是世界模拟器吗？一项关于通用世界模型及以后的综合调查（来自Gigaai）
• 基础模型在推进自动驾驶汽车（来自汤吉大学）中的潜在作用
• 大型型号的参数有效微调：一项全面的调查（来自东北大学）
• 对大型视力模型的背景，技术，局限性和机会的审查（来自Lehigh）
• 大型多模式代理：一项调查（来自CUHK）
• 不可思议的山谷：扩散模型的综合分析（来自MILA）
• 基础模型的现实世界机器人应用：评论（来自东京大学）
• 从GPT-4到双子座及以后：通过四种模式评估MLLM的景观在普遍性，可信赖性和因果关系上（来自上海AI实验室）
• 统一生成和判别视觉基础模型：一项调查（来自JHU）

2024年之前

• 医学成像中的基础模型：全面的调查和未来愿景（来自SDSU）
• 多模式基础模型：从专家到通用助手（来自微软）
• 迈向放射学通才基金会模型（来自SJTU）
• 定义了愿景新时代的基础模型：调查和前景（来自AI MBZ大学）
• 迈向通才生物医学AI（来自Google）
• 对视觉基础模型（来自牛津）的及时工程的系统调查（来自牛津）
• 大型多式联模：CVPR 2023教程的注释（来自Microsoft的Chunyuan Li）
• 一项关于多模式大语言模型的调查（来自USTC和Tencent）
• 视觉任务的视觉模型：一项调查（来自Nanyang Technology University）
• 通才医学人工智能的基础模型（来自斯坦福大学）
• 一项关于验证基础模型的综合调查：从伯特到chatgpt的历史
• 对AI生成的内容（AIGC）的全面调查：从GAN到CHATGPT的生成AI的历史
• 视力语言预训练：基础知识，最新进步和未来趋势
• 关于基础模型的机遇和风险（这项调查首先普及了基础模型的概念；来自Standford的概念）

报纸日期

2024

• [11/14]精确度的缩放法（来自哈佛）
• [11/13]神经场的神经模型：手持操作的视觉感知感知（来自meta）
• [11/07] Dino-WM：预训练的视觉功能的世界模型启用零拍计划（纽约大学）
• [10/31] SID项目：对AI文明的多个模拟（来自Altera.al）
• [10/30] TokenFormer：使用令牌化模型参数重新思考变压器缩放（来自Max Planck Institute for Inlfimatics）
• [10/30]奖励中心（来自艾伯塔大学的理查德·萨顿）
• [10/21]长期记忆：AI自我进化的基础（来自Tianqiao和Chrissy Chen Institute）
• [10/10]扩展您的内核：convnet中的大型内核设计（来自CUHK）
• [10/04]电影gen：媒体基础模型（来自元）的演员
• [10/02] RNN是我们需要的吗？ （来自米拉）
• [10/01] NGPT：归一化的变压器，具有在Hypersphere上的表示（来自NVIDIA）
• [09/30] MM1.5：多模式LLM微调（来自Apple）的方法，分析和见解
• [09/27] EMU3：下一步的预测是您所需要的（来自Baai）
• [09/25] Molmo和Pixmo：最先进的多模型模型（来自Allen AI）的开放权重和开放数据
• [09/18] QWEN2-VL：增强视觉模型的任何分辨率（来自阿里巴巴）的世界的感知
• [09/18] Moshi：实时对话的语音文本基础模型（来自Kyutai）
• [08/27]扩散模型是实时游戏引擎（来自Google）
• [08/22] Sapiens：人类视觉模型的基础（来自元）
• [08/14]成像3（来自Google DeepMind）
• [07/31] Llama 3模型（来自Meta）
• [07/29] SAM 2：分段图像和视频中的任何内容（来自Meta）
• [07/24] partglee：识别和解析任何对象的基础模型（来自hust and bytedance）
• [07/17]夏娃：揭开无编码器视觉语言模型（来自baai）
• [07/12]变压器层作为画家（来自Sakana AI）
• [06/24] Cambrian-1：对多模式LLM的完全开放，以视觉为中心的探索（来自纽约大学）
• [06/13] 4M-21：几十个任务和方式的任何一对一的视觉模型（来自EPFL和Apple）
• [06/10] Merlin：3D计算机断层扫描的视觉语言基础模型（来自斯坦福。
• [06/06] Vision-LSTM：XLSTM作为通用视觉骨干（来自LSTM作者）
• [05/31] MESHXL：生成3D基础模型的神经坐标场（来自Fudan）
• [05/25] MOEUT：Experts的混合物通用变压器（来自斯坦福）
• [05/22]作为RNN的注意（来自Mila＆Borealis AI）
• [05/22] Gigapath：现实世界数据（来自自然）的数字病理的全扫描基础模型
• [05/21] Biomedparse：生物医学图像解析的生物医学基础模型（来自Microsoft。期刊版本）
• [05/20] OCTO：开源通用机器人政策（来自加州大学伯克利分校）
• [05/17]观察缩放法和语言模型表现的可预测性（FRO Standford）
• [05/14]了解在线和离线对齐算法之间的性能差距（来自Google）
• [05/09] Lumina-T2X：通过基于流的大扩散变压器（来自上海AI实验室）将文本转换为任何模态，分辨率和持续时间
• [05/08]您仅缓存一次：语言模型的解码器架构架构
• [05/07] XLSTM：延长长期的短期内存（来自LSTM的作者Sepp Hochreiter。）
• [05/06]促进双子座的多模式医疗能力（来自Google）
• [05/04] U-DITS：U形扩散变压器中的下样品令牌（来自北京大学）
• [05/03] Vibe-eval：用于衡量多模式模型进度的硬评估套件
• [04/30] KAN：Kolmogorov-Arnold Networks（MIT的MLP的有前途的替代方案）
• [04/26]我们到GPT-4V有多远？使用开源套房（Intervl 1.5。从上海AI实验室）缩小与商业多模式的差距
• [04/14] TransformerFam：反馈注意是有效的记忆（来自Google。有效的注意力。）
• [04/10]不留下背景：有效的无限上下文变形金刚（来自Google）
• [04/02]章鱼V2：超级代理的设备语言模型（来自斯坦福）
• [04/02]详细信息的混合物：在基于变压器的语言模型中动态分配计算（来自Google）
• [03/22] Intervideo2：用于多模式视频理解的缩放视频基础模型（来自上海AI实验室）
• [03/18] Arc2face：人类面孔的基础模型（来自伦敦帝国学院）
• [03/14] MM1：来自多模式LLM预训练的方法，分析和见解（来自Apple的30b参数）
• [03/09] Unigradicon：医学图像注册的基础模型（来自UNC-Chapel Hill）
• [03/05]用于高分辨率图像综合的缩放流动变压器（稳定扩散3。稳定性AI）
• [03/01]在视觉表示中学习和利用世界模型学习（来自元）
• [03/01] Visionllama：视觉任务的统一骆驼界面（来自Meituan）
• [02/28] CLLMS：一致性大语言模型（来自SJTU）
• [02/27]使用潜在透明度（来自Standford）的透明图像层扩散
• [02/22] Mobilellm：针对内存用例（来自Meta）优化数十亿个参数语言模型
• [02/21]超出了A ∗：通过搜索动力学引导（来自Meta）通过变压器进行更好的计划
• [02/20]神经网络扩散（通过扩散模型生成网络参数。
• [02/20]摄影：供视频理解的基础视觉编码器（来自Google）
• [02/19]拟合：扩散模型的灵活视觉变压器（来自上海AI实验室）
• [02/06] MobileVLM V2：视觉语言模型的更快，更强的基线（来自Meituan）
• [01/30] YOLO-WORLD：实时开放式视频器对象检测（来自腾讯和HUST）
• [01/23] Lumiere：视频生成的时空扩散模型（来自Google）
• [01/22] Chexagent：迈向胸部X射线解释的基础模型（来自斯坦福）
• [01/19]深度任何内容：释放大规模未标记数据的功能（摘自Tiktok）
• [01/16] SIT：具有可扩展的插值变压器（来自纽约大学）的探索流量和基于扩散的生成模型
• [01/15] intsantid：零摄像的身份发电量（来自xiaohongshu）

2023

• Bioclip：生命之树的视觉基础模型（CVPR 2024最佳学生论文）
• MAMBA：具有选择性状态空间的线性时间序列建模（Mamba似乎优于类似大小的变压器，同时用序列长度线性缩放。
• 粉底液：统一的6D姿势估计和追踪新物体（来自NVIDIA）
• 一次跟踪所有地方（从康奈尔，ICCV 2023最佳学生纸）
• 通才地理空间人工智能的基础模型（来自IBM和NASA）
• Llama 2：开放基础和微调聊天模型（来自Meta）
• Internlm-Xcomposer：一种视觉语言大型模型，用于高级文本图像理解和组成（来自上海AI实验室）
• 全景点：朝着全景视觉识别和对开放世界的理解（来自上海AI实验室）
• 元转换器：多模式学习的统一框架（来自Cuhk和Shanghai AI实验室）
• 保留网络：大型语言模型变压器的继任者（来自微软和Tsinghua大学）
• 计算机视觉的神经世界模型（剑桥大学的Anthony Hu博士学位）
• 识别任何东西：强大的图像标记模型（图像标记的强大基础模型。来自Oppo）
• 迈向物理场景的视觉基础模型（描述了仅使用图像预测作为训练标准学习物理场景的通用视觉表示的第一步；来自AWS）
• 利马：更少用于对齐（65b参数，来自meta）
• Palm 2技术报告（来自Google）
• imageBind：一个嵌入空间以将它们全部绑定（来自meta）
• 视觉教学调整（Llava，来自威斯康星州麦迪逊和微软U的U）
• 看起来：一次到处的所有地方（来自威斯康星大学麦迪逊分校，HKUST和MICROSOFT）
• SAM：段的任何内容（图像分割的第一个基础模型；从元模型）
• seggpt：在上下文中分割所有内容（从baai，Zju和pku）
• 图像在图像中说话：一位用于视觉学习的通才画家（来自Baai，Zju和PKU）
• UNIDECTOR：检测开放世界中的所有内容：迈向通用对象检测（CVPR，来自Tsinghua和Bnrist）
• 未接受的老师：培训高效的视频基础模型（来自中国科学院中国科学院，上海AI实验室）
• 视觉及时的多模式跟踪（来自达利安技术大学和彭成实验室）
• 旨在建立语言，远见和视力语言理解任务的一般基础模型（来自八次）
• EVA-CLIP：改进的剪辑训练技术（来自Baai和Hust）
• EVA-02：Neon Genesis的视觉表示（来自Baai和Hust）
• EVA-01：探索大规模掩盖视觉表示学习的极限（CVPR，来自Baai和Hust）
• Llama：开放有效的基础语言模型（基础语言模型的集合范围从7b到65B参数；来自Meta）
• MAE预先培训对十亿级预处理的有效性（来自元）
• Bloomberggpt：一种金融的大语言模型（500亿参数；彭博社）
• Bloom：176B参数开放式多种语言模型（这项工作是由Bigscience协调的，其目标是使LLM民主化。）
• 翻转：通过掩模（来自元）进行缩放语言图像预训练
• BLIP-2：带有冷冻图像编码器和大型语言模型的引导语言图像预训练（来自Saleforce Research）
• GPT-4技术报告（来自OpenAI）
• Visual Chatgpt：通过视觉基础模型（来自Microsoft Research Asia）的交谈，绘画和编辑
• UNINEXT：通用实例感知作为对象发现和检索（10个实例感知任务的统一模型； CVPR，来自bytedance）
• Intervideo：通用视频基础模型通过生成和歧视性学习（来自上海AI实验室）
• 内部图：探索具有可变形卷积的大型视觉基础模型（CVPR，来自上海AI实验室）
• Bridgetower：视觉表示学习中编码器之间的桥梁学习（来自Harbin理工学院和Microsoft Research Asia）

2022

• BEVT：视频变压器的BERT预测（CVPR，来自上海密钥实验室的智能信息处理）
• 基础变压器（来自微软）
• 通才药物（称为Gato，一种多模式，多任务，多任命的通才代理；来自Deepmind）
• 纤维：骨干中的融合（来自微软，加州大学洛杉矶分校和纽约大学）的粗到精细的视觉预训练
• Flamingo：一种用于几次学习的视觉语言模型（来自DeepMind）
• MetalM：语言模型是通用界面（来自Microsoft）
• 点-E：一个用于从复杂提示生成3D点云的系统（使用文本到图像扩散模型的高效3D对象生成；来自OpenAI）
• 使用文本和图像提示（CVPR，来自哥廷根大学）的图像进行分割
• 统一流，立体声和深度估计（三个运动和3D感知任务的统一模型；来自苏黎世的Eth）
• 巴利人：一个共同尺度的多语言图像模型（来自Google）
• 视频：蒙面的自动编码器是自我监视视频预训练的数据效率学习者（Neurips，来自南京大学，腾讯和上海AI实验室）
• 滑道：自学符合语言图像预训练（ECCV，UC Berkeley和Meta）
• GLIPV2：统一本地化和VL理解（Neurips'22，来自UW，Meta，Microsoft和UCLA）
• GLIP：扎根的语言图像预训练（CVPR，来自UCLA和Microsoft）
• BLIP：引导语言图像预训练，用于统一视力语言理解和产生（来自Salesforce Research）
• NUWA-INFINITY：无限视觉合成的自回归产生（来自Microsoft）
• 棕榈：使用途径缩放语言建模（来自Google）
• 可口可乐：对比字幕是图像文本基础模型（来自Google）
• Parti：缩放内容丰富的文本到图像生成的自回旋模型（从Google发出）
• 视觉任务的统一序列接口（来自Google Research，Brain Team）
• 成像人：具有深度语言理解的影像学文本对图像扩散模型（来自Google）
• 稳定扩散：具有潜扩散模型的高分辨率图像合成（CVPR，来自稳定和跑道）
• 除了模仿游戏之外：量化和推断语言模型的功能（Big-Bench：204任任务的LLMS极其困难和多样化的基准，444位来自132个机构的作者）
• CRIS：夹子驱动图像细分（来自悉尼大学和Oppo）
• 蒙面的自动编码器作为时空学习者（将MAE扩展到视频；神经，从Meta扩展）
• 蒙面的自动编码器是可扩展的视觉学习者（CVPR 2022，来自Fair）
• 指示：培训语言模型以人为反馈的指示（在循环中接受人类训练；从Openai培训）
• 视觉任务的统一序列接口（神经2022，来自Google）
• dall-e2：层次的文本条件图像生成带有剪辑潜在的图像（来自OpenAI）
• 使用自我统治的强大而有效的医学成像（来自Google，Georgia Tech和Northwestern University）
• 视频Swin Transformer（CVPR，来自Microsoft Research Asia）
• OFA：通过简单的序列到序列学习框架（来自阿里巴巴的ICML 2022。）统一体系结构，任务和方式。
• Mask2Former：通用图像分割的掩模注意力掩码变压器（CVPR 2022，来自Fair and uiuc）
• Flava：基础语言和愿景对准模型（CVPR，来自Facebook AI研究）
• 通过多模式基础模型（来自中国人民大学的自然传播）朝着人工通用情报
• FILIP：细粒度的互动语言图像预训练（ICLR，来自华为和HKUST）
• SIMVLM：简单的视觉语言模型，以弱监督进行预处理（ICLR，来自CMU和Google）
• 滑行：使用文本引导的扩散模型（来自OpenAI）迈向逼真的图像生成和编辑

2021

• 通过文本生成（来自UNC-Chapel Hill）统一视觉和语言任务
• 对齐：使用嘈杂的文本监督（PMLR，来自Google）来扩展视觉和视觉语言表示学习
• 单位：具有统一变压器的多模式多任务学习（ICCV，来自Fair）
• Wenlan：大规模多模式预训练的桥接视觉和语言（本文介绍了第一个中国大规模的中国多模式的预训练模型，称为Brivl；来自中国人民人大学）
• 法典：评估经过代码训练的大型语言模型（GPT语言模型在GitHub公共代码上进行了验证，OpenAI和人类AI）
• 佛罗伦萨：计算机视觉的新基础模型（来自微软）
• dall-e：零击文本对图像生成（来自OpenAI）
• 剪辑：从自然语言监督（来自OpenAI）中学习可转移的视觉模型
• 使用冷冻语言模型（神经，来自DeepMind）的多模式学习
• SWIN Transformer：使用移位窗口的分层视觉变压器（ICCV，来自Microsoft Research Asia）
• 图像价值16x16单词：用于大规模图像识别的变压器（具有纯自我发项块的第一个视觉转换； iClr，来自Google）

2021年之前

• GPT-3：语言模型是很少的学习者（175b参数；与GPT-2相比，允许在文本学习中；来自OpenAI）
• UNITER：通用图像文本表示学习（来自Microsoft）
• T5：使用统一的文本到文本变压器（来自Google）探索转移学习的极限
• GPT-2：语言模型是无监督的多任务学习者（1.5B参数；来自OpenAI）
• LXMERT：从变形金刚（EMNLP，来自UNC-Chapel Hill）的学习跨模式编码器表示
• BERT：深度双向变压器的预训练，以了解语言理解（来自Google AI语言）
• GPT：通过生成预培训（来自OpenAI）来提高语言理解
• 您需要注意的是（神经，来自Google和UOT）

论文逐个主题

大语言/多模型

• Llava：视觉教学调整（来自威斯康星大学麦迪逊分校）
• Minigpt-4：通过先进的大语言模型（来自KAUST）增强视力语言理解
• GPT-4技术报告（来自OpenAI）
• GPT-3：语言模型是很少的学习者（175b参数；与GPT-2相比，允许在文本学习中；来自OpenAI）
• GPT-2：语言模型是无监督的多任务学习者（1.5B参数；来自OpenAI）
• GPT：通过生成预培训（来自OpenAI）来提高语言理解
• Llama 2：开放基础和微调聊天模型（来自Meta）
• Llama：开放有效的基础语言模型（范围从7b到65b参数；来自Meta）
• T5：使用统一的文本到文本变压器（来自Google）探索转移学习的极限

线性注意

• flashattention-2：更快地关注和更好的平行性和工作划分
• 闪存：具有IO意识的快速和记忆力精确的关注

大型基准

• Ophnet：眼科手术工作流程的大规模视频基准（大规模注释的视频基准，用于眼科手术。莫纳什，2024年）
• MMT基础：一种用于评估大型视觉模型对多任务AGI的综合多模式基准（来自上海AI实验室，2024年）
• 眨眼：多模式大型语言模型可以看到但看不到（多模式基准。宾夕法尼亚大学，2024年）
• CAD估计：RGB视频中的大规模CAD模型注释（带有CAD注释的RGB视频。来自Google 2023）
• Imagenet：大规模层次图像数据库（Vision Benchmark。来自Stanford，2009年）

视觉训练

• 翻转：通过掩模（来自元）进行缩放语言图像预训练
• BLIP-2：通过冷冻图像编码器和大型语言模型进行引导语言图像预训练（提出了基于现成的冷冻视觉和语言模型的通用有效的VLP策略。
• BLIP：引导语言图像预训练，用于统一视力语言理解和产生（来自Salesforce Research）
• 滑道：自学符合语言图像预训练（ECCV，UC Berkeley和Meta）
• GLIP：扎根的语言图像预训练（CVPR，来自UCLA和Microsoft）
• 对齐：使用嘈杂的文本监督（PMLR，来自Google）来扩展视觉和视觉语言表示学习
• 区域性分机：基于区域的语言图像预训练
• 剪辑：从自然语言监督（来自OpenAI）中学习可转移的视觉模型

感知任务：检测，细分和姿势估计

• SAM 2：图像和视频中的任何内容（来自Meta）
• 粉底液：统一的6D姿势估计和追踪新物体（来自NVIDIA）
• 看起来：一次到处的所有地方（来自威斯康星大学麦迪逊分校，HKUST和MICROSOFT）
• SAM：段的任何内容（图像分割的第一个基础模型；从元模型）
• seggpt：在上下文中分割所有内容（从baai，Zju和pku）

培训效率

• 绿色AI（介绍红色AI与绿色AI的概念）
• 彩票假设：寻找稀疏，可训练的神经网络（MIT的彩票票证假设）

迈向人工通用情报（AGI）

• 在计算机视觉中迈向AGI：从GPT和大型语言模型中学到的教训（来自华为）

人工智能安全和责任

• 限制AI创建护栏的危害的可能性（来自Yoshua Bengio的博客）
• 在快速进步的情况下管理极端的AI风险（科学，2024年5月）

相关的很棒的存储库

• 很棒的扩散模型
• 很棒的视频扩散模型
• 令人敬畏的基于模型的图像编辑方法
• 很棒的cv构造模式
• 很棒的健康基础模型
• 很棒的大型代理
• 野外计算机视觉（Cvinw）