“医疗通用大模型时代”来了上海 AI 实验室开源全球首个医疗基础模型群乐鱼电竞

　　乐鱼电竞记者今天从上海人工智能实验室（上海 AI 实验室）获悉，由该实验室牵头，联合国内外顶级科研机构、高校及医院共同研发的全球首个医疗多模态基础模型群 OpenMEDLab 浦医 对外发布。该模型融合全球顶尖 AI 研发实力、海量医学数据以及医学专家知识，突破了小样本、标注难度高等限制人工智能在医疗场景使用的长尾问题。

　　据悉，OpenMEDLab 浦医 大模型已与全国多家头部三甲医院开展合作，并将于近期逐步开源，该模型将促进基于医疗基础模型的跨领域、跨疾病、跨模态科研突破，同时助力解决医疗领域的长尾问题，推动医疗大模型的产业落地。

　　作为牵头单位，上海 AI 实验室联合了多个国内外组织共同参与开源 OpenMEDLab 浦医 基础模型群，包括广州实验室、之江实验室等顶尖科研机构，上海交通大学、复旦大学、电子科技大学、华东理工大学乐鱼电竞、北京邮电大学、美国罗格斯大学、英属哥伦比亚大学、香港中文大学等高校，以及上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、郑州大学第一附属医院等医疗机构。

　　OpenMEDLab 浦医 融合了全球顶尖的 AI 研发能力、海量医学数据以及医学专家知识，首批发布的基础模型群中乐鱼电竞，包含基于医学图像、医学文本、生物信息、蛋白质工程等 10 余种数据模态训练而成的基础模型。

　　在语言模型方面，OpenMEDLab 浦医 开源了由上海 AI 实验室与上海交通大学、华东理工大学合作开发的中文医疗语言大模型，基于海量医学知识和真实医患互动对话数据，可提供导诊、问诊、健康咨询、辅助决策等多场景多轮会话能力。联合团队对多个语言大模型的医疗能力进行了系统的对比评测，评测代码及数据已公布。

　　在图像方面开源的一系列模型群，可针对放射影像、病理图像、内镜、超声等不同影像模态，实现高精度的检测、分割、分类等前沿研究和临床任务，高效赋能解决基于医学影像的临床任务，模型具有轻量级的特点，能满足创新研究的临床部署与便捷应用。

　　在生物医药方面，OpenMEDLab 浦医 同样大有可为。例如由上海 AI 实验室和上海交通大学共同研发的蛋白质序列大模型，通过融合生物医学专业知识，可助力设计合成高稳定性高生物活性蛋白质，解决蛋白类新药研发过程中普遍存在的耗时长、耗费高等难题。

　　为了方便开发者使用，OpenMEDLab 浦医 开源平台在提供基础模型下载的同时，还提供了下游任务应用范例、测试数据、对应标注和评价指标，帮助开发者全流程高效使用基模型开展研发工作。此外，为推动产学研协作，深化医学图像分析基础模型的可行性探索，上海 AI 实验室发起《〈Medical Image Analysis〉基础模型特刊》与 NeurIPS 2023 医学图像分析基础模型应用挑战赛，向全球人工智能及医疗领域的研究人员和机构发出 英雄帖 ，通过 一刊一赛 ，进一步推动医疗基础模型的研究和应用。

　　近年来，超大参数深度学习基模型在计算机视觉（CV）、自然语言处理（NLP）等领域获得突破性进展，能够基于大模型的超强泛化能力应用于许多下游任务的分析。然而医学数据在数据模态、成像模式、图像特征等方面种类繁多、差别较大，使得通用大模型难以在医学图像分析方面实现令人满意的性能。在高度关注数据私密性的医疗机构中，落地部署也存在较大困难，当前，针对特定任务进行单独模型训练依然是该领域主流的解决方案。然而乐鱼电竞，医疗下游长尾任务的数据样本少、标注难度高，这也限制了人工智能在更多医疗场景的应用。

　　如何将 CV、NLP 通用大模型 为我所用 ，并发展出更适合医疗场景的基础模型，上海 AI 实验室首创了多层级、多场景、高精度、可落地的医疗基础模型群 OpenMEDLab 浦医 。首先，基于 CV、NLP 大模型对医疗图像和文本通用特征的学习，上海 AI 实验室针对不同医疗数据模态开发了一系列基模型，例如 CT、MRI、超声、内镜、病理、医学文本等，以充分学习和利用不同数据模态独有的特征和模式。

　　基于上述多层级、多场景的基础模型群，OpenMEDLab 浦医 可以将先前医学数据训练中学习到的特征，高效应用于海量医疗下游问题中，从而实现针对不同任务的小数据、弱标注、高效率的训练。同时，模型群兼顾性能与落地的平衡，在医疗场景中的部署应用更具便捷性，从而让基础模型在更多医疗长尾问题中得以落地应用。

　　src=例如，上海 AI 实验室联合四川大学华西医院和上海交通大学，分别应用预训练得到的视觉和语言大模型，采用小样本模型激活的算法，进行医疗图像中多种病灶的检测和疾病分类，得到了相较传统迁移学习精度更高的实验结果。这意味着，未来科研人员将能够更好地应对小数据甚至零数据样本的医疗生物场景。

　　医疗多模态基础模型群的问世，为大模型赋能医疗场景带来了更多可能乐鱼电竞。目前，OpenMEDLab 浦医 研发团队已与全国多家头部三甲医院及医药企业开展合作，全方位赋能医院诊疗及药物研发工作。

　　在上海交通大学医学院附属瑞金医院， 医学数字人 已应用于全身多部位乐鱼电竞、多器官、多模态影像的智能辅助诊疗，覆盖十余个临床方向，全方位赋能患者诊疗愈全流程；在四川大学华西医院，双方合作打造基于自动提示词微调的视觉语言大模型，显著提高了小样本下的医学图像的检测性能，为视觉语言大模型在医疗图像领域提供了应用范式；在郑州大学第一附属医院，双方正合作开发医疗语言大模型，将整合海量药学知识和专家经验，通过线上服务为患者提供更便捷、更全面的用药咨询。在生物制药领域，与多家知名药企合作，利用基础模型赋能蛋白质工程，助力药品研发。