7月5日，在2024年世界人工智能会议“可信大模型论坛”上，支付宝宣布了人工智能技术在医疗领域布局的最新进展：发布了多模式医疗大模型，同时推出了医疗可信一体机、可信云等数字智能解决方案。在现场，支付宝还与人民卫生出版社、北京大学医学部、浙江省卫生委员会等20家机构联合发起了人工智能医疗联合建设计划，共同探索人工智能数字智能技术基础和创新应用服务。经过半年多的测试和抛光，支付宝多模态医疗大模型正式亮相，这也是中国首批多模态医疗大模型之一。蚂蚁集团大模型应用部总经理顾金杰介绍了其背后的技术研发。蚂蚁百灵的大模型可以“看”和“听”、能“说”能“画”的原始多模态能力，能直接理解和训练音频、视频、图片、文本等多模态数据。以此为基础模型，支付宝医疗大模型增加了报告、影像、药品等100亿级中英文图文、1000亿级医疗文本语料、1000万级优质医疗知识图。中英文医学考试和基准考试达到或超过gpt4水平，医学专业能力在中国医学llm评价榜单promptcblue中排名第一，b榜第二。同时，全栈自主研发的医疗多模态结构，使模型识别报告、药物、头发等图像的准确性达到90%以上，相关技术在行业顶尖技术期刊和会议上 cvpr、kdd、eccv等发表了多项成果。为了使回答对话更加可靠，在研发阶段，支付宝还与数百个专业医疗团队和专家合作标记数据，确保信息权威可信，并与上海仁济医院联合推出了第一个中国医学专业问答推理数据集rjua-qa。在模型测试阶段，用户、病人、医生参与问答反馈，同时兼顾病人的关怀。

支付宝医疗大模型发布现场
目前，多模式医疗模型不仅提供智能问答、病历结构化和检索、辅助诊断，还能识别解释药品和数百份复杂的医疗报告、头发健康检测等，可嵌入医院等机构医疗环节，创新医疗服务，也有助于提高机构运营效率。
顾金杰表示，人工智能的深度应用不仅对数据、算法和计算能力提出了更高的要求，而且对可靠性、安全性和隐私提出了更多的挑战。在医疗场景下，确保技术可靠性和数据隐私安全至关重要。为此，支付宝为该行业推出了一台新的“医疗可信一体机” 通过密态计算和存储，可信云的解决方案使医疗数据不可见，机构更安全地存储。
据报道，百灵医疗可信一体机核心解决了医院计算能力不足的痛点，可实现开箱即用、培训推广一体化，支持国内计算能力，加快软硬件协调优化。大型医疗模式可信云解决方案，重点解决数据隐私安全和商业秘密保护问题，通过公共云和专有云部署秘密推理。
AI医疗创新应用“联盟”即将到来
自去年以来，支付宝加快了人工智能技术在医疗领域的开放和布局。去年11月，浙江省卫生委员会应用支付宝开放的“人工智能医疗助理”解决方案，依托大模型和数字人员技术，打造了中国第一个数字健康人员“安全”，为浙江居民提供云咨询、健康咨询等服务。自推出以来，它已经为1000多家医疗机构提供了服务。上海第一人民医院采用人工智能模型，不仅推出了上海第一位语音交互“数字陪同医生”，而且在行业内开创了生成电子病历，将复杂的文件工作从原来的10分钟减少到15秒。
医疗技术的创新需要平台、产业和学术界的共同努力。会议现场，支付宝、人民卫生出版社、北京大学医学部、浙江卫生委员会、厦门卫生委员会、浙江人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海第一人民医院、首都医科大学附属医院等20多家机构、企业联合发起人工智能医疗建设计划，共同探索大型模型的应用和各类专业模型的创新研发。

支付宝AI医疗共建计划启动现场启动

支付宝副总裁、数字医疗卫生部总经理张俊杰表示：

“支付宝希望利用顶级技术提供最包容的服务，让人工智能像“扫描代码支付”一样方便每个人的生活。支付宝还将继续开放人工智能技术和行业解决方案，与合作伙伴合作，促进智能医疗的包容性和普及。”

据了解

• 支付宝支持2014年全国首次远程登记支付。

• 经过十年的发展，该平台服务了6亿多医生，是中国最大的：

  • 医保第三方在线服务平台
  • 一站式医疗卫生服务平台

目前

• 全国300多个城市
• 超过3600家医院在支付宝上提供一站式数字医疗服务。

以上是支付宝人工智能的新进展：发布多模式医疗模式，与20家机构合作发起人工智能医疗联合建设计划的详细内容，请关注其他相关文章！

p