汕头大学医学院
  • 首页
  • 走进汕医
  • 机构设置
  • 人才招聘
  • 教师队伍
  • 招生信息
  • 教学教务
  • 科学研究
  • 合作交流
  • ESI学科建设
×

汕医新闻
  •    最新要闻>
  •    综合新闻>
  •    媒体汕医>
网站首页  ->  汕医新闻  ->  最新要闻
国际首个眼科手术视频基础大模型OVFM问世——汕头国际眼科中心、上海新华医院、上海交大联合研发
2026-03-11 17:23:05   

近日,国际首个由中国本土团队独立自主研发、针对眼科显微手术的视频基础大模型——OVFM(Ophthalmic Video Foundation Model)成功问世。该成果由汕头大学·香港中文大学联合汕头国际眼科中心张铭志教授团队、上海交通大学医学院附属新华医院郑策教授、赵培泉教授团队、上海交通大学陈晓军教授团队联合上海美沃精密仪器股份有限公司等全国12家单位共同完成,为眼科手术智能化发展开辟了新路径。

该项目以临床问题为导向,针对眼科显微手术操作精度要求高、基层医生培养周期长、优质医疗资源分布不均等现实难题,通过医工结合、多学科交叉协同攻关,让AI从“读片诊断”走向“实时手术辅助”。OVFM模型能够实时识别手术场景、精准导航关键操作,有效提升手术精准度,并缩小新手与专家医生之间的技能差距。

这一研究成果以《An ophthalmic video foundation model for surgical recognition and navigation with wet-lab porcine eye validation》为题,发表于国际顶级学术期刊《Nature Biomedical Engineering》(Nature子刊,JCR1区,影响因子26.7)。

原文链接:https://www.nature.com/articles/s41551-026-01622-w

以临床问题为导向,破解手术培训与资源不均困局

眼科显微手术对医生的操作精度要求极高,而基层医生、年轻医师需要经过漫长训练才能达到专家水平。全球每年有数以万计的白内障患者需要手术治疗,优质医疗资源的分布不均使得大量患者难以获得高水平的手术服务。如何让每一台白内障手术都有“AI专家”全程护航,成为智能医疗领域的重要研究方向。

在长期的教学培训实践中,团队深刻体会到传统“师徒带教”模式的局限。研究团队从大规模手术视频入手,构建了OVFM模型,首次将“大模型+实时导航”带进眼科手术显微镜,让“专家经验”成为每一台手术的“标配功能”。目前,该系统已初步应用于白内障手术培训中,为学员提供实时操作导航与反馈,加速技能掌握。

三大核心突破,彰显本土自主创新实力

01.构建最大规模眼科预训练视频数据集,奠定数据基础

研究团队构建了迄今为止最大的眼科预训练视频数据集,涵盖超过一万个显微镜视频(总时长超7500小时),包含显微眼科前段、后段及联合手术在内的144种手术类型,预处理数据超过了一百万个视频片段,五亿个单帧手术视频图像,数据集规模远超现有的其他眼科视频数据集,为模型预训练提供了坚实的数据基础。

02.首创自监督学习框架,精准捕捉手术动态特征

项目构建了一种自监督视频Transformer模型,通过自监督学习方法在有效降低数据标定成本的同时,让模型从视频中学习空间特征(如眼部解剖结构、手术器械形状)、时间特征(如手术动作演变、手术步骤推进)、时空一致性(如不同视角下的同一手术动作)。相比传统图像预训练模型,该框架能更有效地捕捉手术视频中的动态信息,推动了基础模型在医疗领域的应用。

03.创新知识蒸馏策略,突破实时部署难题

为解决大模型在术中实时部署的难题,团队提出两阶段知识蒸馏策略。通过知识蒸馏,基础模型的参数量大幅减少,使其可以实时部署在手术显微镜的处理器上。该系统可以实时识别当前手术步骤,并提供相应的导航信息,帮助医生进行更精确的操作。在基于wet-lab研究中,新手医生在AI导航下切口误差下降37%,撕囊居中度提升2倍,直接抹平与高年资手术医生的差距。

七大下游任务全面领先,关键指标超越国际同类

OVFM模型在手术步骤识别、手术器械识别、手术并发症检测、手术技能评估、眼部结构分割、手术场景分割等多项任务中均展现出优越性能,并在真实猪眼手术中显著提升了外科医生的操作水平。在关键导航指标上,OVFM已超越国外同类产品,为智能化国产替代打开了产业蓝海。

为验证OVFM的临床应用价值,团队邀请10位经验不同的眼科医生,在离体猪眼上完成120例模拟白内障手术。每位医生在随机顺序下,分别在有AI导航和无导航辅助的情况下完成手术。

多维尺度分析显示:有AI辅助时,所有医生的操作一致性明显提高,其中对新手医生的提升尤为显著。在关键操作指标上,新手的改进幅度显著大于专家,表明OVFM能够有效缩小新手与专家之间的手术技能差距。

从眼科出发,让智能手术触手可及

OVFM的成功不仅为眼科手术导航提供了全新范式,其技术框架还可拓展至腹腔镜、胸腔镜、神经外科显微手术等其他手术领域。未来,该模型有望应用于更广泛的外科手术场景,成为手术室中的智能化标配工具。

在临床应用层面,OVFM可辅助各级医院医生提升手术精准度,降低并发症风险;在教学培训层面,可为基层医生提供专家级的实时指导,加速人才培养;在产业转化层面,其超越国际同类产品的关键指标,为国产智能手术设备的发展提供了核心技术支撑。

随着多中心临床数据的持续积累和算法的迭代优化,AI手术基础模型将推动优质医疗资源向基层持续下沉,让“AI专家护航”从愿景走向现实,惠及更多患者。

项目核心研究团队

上海交通大学医学院附属新华医院团队成员:郑策(项目负责人,共同第一作者兼共同通讯作者)、赵培泉(共同通讯作者)、吕骄、谢梦、糜伟、王亚夫

汕头大学·香港中文大学联合汕头国际眼科中心团队成员:张铭志(共同通讯作者)、谢晓玲(共同第一作者)、邱坤良、尹胜杰、郭金铭

上海交通大学团队成员:陈晓军(共同通讯作者)、涂朴勋(共同第一作者)

本研究获得国家自然科学基金重点项目、面上项目、博士生专项等多项资助。

光影魔术手拼图.jpg


通知类别:汕医新闻      撰稿人:国际眼科中心      审核人:组织宣传统战部

汕头大学医学院  粤ICP备10216025号  ©   汕头大学医学院  |  地址:汕头市新陵路22号  |  515041  |  汕头大学医学院网络与信息中心开发