首页 > 医疗资讯/ 正文
虚拟仿真技术的快速发展给临床实践技能培训考核带来新的变革。近年来,国内外利用该技术开展了广泛研究及实践应用。为统一、规范并推广虚拟仿真技术在临床实践技能培训考核中的应用,中国医院协会模拟医学专业委员会组织国内临床、技术、教育和管理等领域专家,在全面调研国内外医学虚拟仿真培训考核的技术标准、专家共识、系统评价、原始研究等及相关疾病诊疗指南、管理共识等的基础上,编写形成《临床实践技能虚拟仿真应用技术体系标准专家共识》(以下简称《共识》)初稿,并邀请实践技能培训考核领域的临床、技术以及管理专家开展意见征集和专家论证,经三轮意见征集和专家论证,对初稿进行修订和完善,形成《共识》终稿,包括虚拟仿真内容设计与建模、管理平台接口设计、质量评价、数据传输与安全4个部分。本《共识》是在充分学习借鉴医学虚拟仿真培训相关标准、指南、共识及临床研究成果,征求和综合专家意见的基础上编制形成的,为医学院校、医疗机构或培训机构开展临床实践技能虚拟仿真培训考核工作提供参考借鉴。
01 虚拟仿真内容设计与建模
1.1 内容设计目标
根据临床实践技能的适用范围、技能培训考核基本要求和扩展性要求,虚拟仿真内容指虚拟空间中提供符合实践技能培训考核的虚拟环境、虚拟患者、人机对话、交互操作模式,以及对应的知识题库、模拟考核、辅助评估等内容设计。为实现学习不受时间和空间限制,以及提升临床实践真实体验效果,内容需要支持跨平台、跨系统读取,并且兼容移动手机/平板、VR/AR/MR等硬件设备。虚拟内容模型通过人工设计或多源临床数据生成获取,其设计性能需考虑数据渲染可视化、交互性和传输等技术要求,同时需要符合现实临床诊疗规范,使得实践技能操作训练内容具有多样化、强交互性和高保真度等特点,最终为临床实践技能培训考核提供了内容设计指导与支撑。
1.2 内容设计基本要求
(1)虚拟仿真内容设计是实现临床实践技能培训考核数字虚拟化的基础,虚拟仿真内容涉及虚拟场景、虚拟人体解剖、虚拟医疗器械等多维度信息,同时还兼顾内容的交互性与硬件兼容性等问题,因此,在内容设计开发时,需要综合考虑临床医学知识、计算机图形技术、力反馈技术、人工智能等技术的数字化仿真设计。
(2)内容制作脚本的设计为虚拟内容设计提供大纲和设计思路,为确保设计内容更准确符合医学公共常识和临床专业经验知识,需要参照相关临床专业的指南或者实践操作规范等技术资料,并根据临床专业操作内容的要求确定采用内容场景呈现和交互操作方式。
(3)内容元素设计需要根据医学实训重点关注或强调的内容,选择不同的媒体素材形式,媒体素材包括文本、图形/图像、音频、视频、动画以及新兴的虚拟成像素材。内容媒体素材选择或操作的结果展示采用颜色、音效、文字等方法体现,对操作过程出现的错误要给予明显的提示或警告。
(4)内容资源形式分为讲解、示范、解析、实训和考核五种模式,讲解、示范、解析侧重于知识点的解读和实训案例的分析,通常采用视频或教学课件的方式,也可以采用视频与虚拟仿真混合方式;实训与考核模式建议采用虚拟仿真或混合方式,要求记录每一步的操作过程和操作运动信息,包含最基本的命令名称、相应的命令参数、实训场景和运动状态数据等,保存在该操作的记录脚本中。
(5)实训模式基础模块设计考虑学习行为的基础学习效果评价,包括理论知识、操作逻辑、流程性关键要点等,可以提供基础学习数据统计分析反馈给教师或管理者以进一步优化教学重点。学习成绩和过程性评价数据分析反馈给实训用户,以进一步了解自己学习弱项和提升方向。
(6)考核分为过程性考核和终结性考核两种模式。过程性考核包括学生学习行为和学习结果的考核,重点是操作流程的考核。终结性考核应当结合真实医学操作流程,特别是自由型、开放型和搭建型仿真模拟。
(7)考核评价包括操作评价、观察与记录评价、结果评价。对于过程性考核采用操作评价和观察与记录评价,终结性考核综合操作评价和结果评价。考试评分应支持教师在线人工评分和录像评分,支持定量或定性的评价学员操作过程和结果,评分建议使用百分制或等级量表、核查表的形式,且评分需要有分项分数表的形式展示。
(8)评分点和评价结果应有详细的接口文件实现管理平台和终端设备的交互,并能够提供实训的成绩单、及格率、平均分、实训成绩分布等训练效果数据。
1.3 内容设计发展要求
(1)内容脚本设计在符合医学常规和临床场景的基础上,可创新性融入医学人文素养和临床思维模式,高度还原设计脚本所述的真实周边环境和临床情境;内容素材要根据设计脚本所述的真实世界实地取景,以高度还原真实场景。
(2)结合不同培训内容采取"虚实结合"的表现方式,即"实"的方面,主要是操作过程、核心器械及实物、手感与力反馈等高度仿真反馈设备;"虚"的方面,主要包括应用场景、数字化模型和自动评价等,达到能进行智能化反馈评价、纠错、反复训练等效果,最终达到"能实不虚、虚实结合,以虚补实"的效果。
(3)实训模式中可采用系统整合案例或闯关递进模式,以提高内容趣味性、激发学生的学习兴趣。在实训同时虚拟仿真设备可提供反馈环境,展示学员操作后设备记录的操作数据给予学员进一步针对性改进的建议。
(4)考核评价可支持半自动或自动评分。半自动评分是场景内部自动客观评判和操作过程视频录像人工评价相结合的方式,场景内部自动客观评判可以通过编写脚本进行定量化的客观评判,对场景答题和操作时间、器材选择、操作和器材位置等操作过程学习要点评估。自动评分是融合计算机视觉、语音识别和自然语言处理等技术对软件和硬件设备中的虚拟仿真内容及虚拟环境交互操作数据进行全自动评价,通过评价算法实现自动统计和输出学习效果,生成对比分析与培训考核要点的反馈报告,充分利用可视化直观展示学员在时间、空间等多维度上的学习质量效果。
1.4 内容呈现形式
临床实践技能培训考核的应用场景是非常丰富、复杂和多样的,在疾病筛查、诊断和治疗等各环节上,所要求的技能内容及复杂程度均不相同,而且最新的显示硬件包括了手机、平板、电脑、VR/AR/MR等,因此内容的呈现模式也具有多样性。为更好地满足医学生、医师对不同阶段、不同学习内容实践操作培训的需求,内容呈现形式通常分为视频、虚拟现实、增强现实和混合现实等主要的呈现形式。其不同应用场景采用的呈现形式如表1所示。
1.5 内容交互模式
虚拟仿真内容的交互模式是利用特殊的输入设备(如触摸屏、鼠标、键盘、手柄、手势、语音、头戴式显示器、力反馈器械装置、数据手套、数据服等),对内容进行操控交互,通过操作用户自己的肢体语言与虚拟环境中的物体进行人机交互,计算机可以利用用户的手、眼、头、语言和身体动作来调整虚拟图像,不断更新虚拟环境内容以显示给用户。例如,为让学员模拟身临其境的真实操作感受,学员可以在虚拟环境中直接用手抓取手术器械,通过力反馈触觉设备可以感受到重量,同时可以用手进行相应手术操作,并感受到器械的力反馈触觉,并可通过语音方式与接受手术的患者进行语言互动等。虚拟仿真内容交互模式要求见表2。
1.6 内容制作与建模要求
内容几何模型通常有计算机软件建模生成和真实临床数据生成两种方式,软件建模生成是指用软件创建或通过拍摄的图像或视频生成原始3D模型或动画,真实临床数据生成是指通过医学影像设备扫描获得的计算机断层(CT)或核磁共振(MRI)进行图像分割和三维重建计算得到符合真实临床的虚拟三维模型,然后使用图像处理软件添加颜色和纹理等,最终将建模得到的数据输出三维格式存储,用于后续内容交互操作等开发。
为实现在虚拟环境中进行教育教学和培训考核,应提供用于虚拟对象操作和与虚拟环境交互的接口开发标准。采用虚拟仿真培训考核内容主流开发的虚拟引擎工具实现物理引擎和渲染。通过编程实现虚拟场景、虚拟模型和虚拟角色对象的自由操控,其开发编程语言采用多种编程语言,如C#、JavaScript、LUA、Python语言等。通过引擎内置工具为场景添加照明及音效等,最终实现栩栩如生的感官体验。
考虑到医学虚拟模拟对应用场景及虚拟对象操作具有独有的特点,因此,虚拟仿真内容制作与建模需要包括制作基本要求、内容形式与交互方式要求、操作制作要求等。
首先是制作基本要求,包含对模型性能、内容呈现、操作过程、器械设备等内容,详细指导思想和制作要求如表3所示。
针对不同临床培训考核应用场景的特点,对虚拟仿真内容呈现形式和交互方式提出不同制作要求,具体包括问诊、体格检查、辅助检查和手术操作等,详细要求如表4所示。
为全方位对虚拟仿真培训考核内容数字化记录和质量的自动评价,对不同临床虚拟培训内容操作需要考虑相应的制作要求,包括诊断或治疗操作基础内容、培训扩展性操作、数据记录和知识题库等,具体制作要求详见表5。
1.7 内容部署要点
1.7.1 软件部署:
(1)根据不同的内容规模大小,可通过有线、无线或移动4G/5G等不同网络方式进行传输与访问。
(2)考虑到目前虚拟仿真内容主流的交互开发框架兼容性,因此虚拟仿真内容的应用接口设计需要支持和兼容主流基础框架(如Unity3D),如果有其他依赖第三方库,也同时需要兼容主流开发基础框架。
(3)确保内容资源运行流畅,移动端建议采用基于资源包形式,下载后可执行内置脚本语言方式(如LUA),下载后资源包执行自动运行课程内容。
(4)针对主流引擎基础框架上导出的外部资源,需验证在其他不同版本或软硬件平台框架工程上下载均可以正常运行。
(5)对内容资源模块的业务合理性和技术性能指标进行全面测试,并根据评价及反馈,对模块进行优化和改进。
(6)支持受训者的内容操作数据导出和操作全过程的视频录制,用于培训考核的评价和电子存档。
1.7.2 硬件部署:
(1)对于部分实训考核模块需要借助于硬件交互设备,推荐VR/AR/MR场景的呈现和交互方式完成内容模块部署。
(2)考虑到数据安全和费用成本等因素,内容运行的硬件建议是国产自主研发的VR/AR/MR设备。
(3)为确保内容可靠和高效率运行,运行于硬件的内容支持平台的鉴权方式运行。
(4)驱动引擎采用等主流引擎框架(如Unity3D等),如依赖于第三方库,需要将其打包集成。
(5)为满足虚实结合场景,实而不虚的训练需求,根据实际应用场景选择合适的沉浸式头显方案,垂直视场角尽量满足实际场景的需求,以确保用户视野完整。
(6)对半实物仿真内容,头显可对各类实物医疗器械进行空间定位跟踪,支持头部和手部的空间定位,识别用户空间位置和手部控制器旋转及位移数据,满足精准定位的实训需求。
(7)硬件设备上实训的操作过程、异常、结果等数据可通过统一接口方式上报平台服务器。
02 虚拟仿真内容管理平台接口设计
虚拟仿真内容管理平台主要用于虚拟仿真实训内容的统一管理、维护与运行,其接口设计是指用于管控虚拟内容、可视化硬件设备等信息交互和信息共享的接口。内容管理平台接口的要求用于指导开展虚拟仿真内容、可视化硬件设备和虚拟仿真内容管理平台互联互通、操作接口的设计、开发和测试评估工作。
内容管理平台接口包括:虚拟仿真应用接口、可视化硬件设备接口。虚拟仿真内容管理平台接口如图1,其中,虚拟仿真应用接口为虚拟仿真应用及其开发者提供了虚拟仿真应用接入的鉴权、数据及支撑运行的访问和操作可视化硬件设备的能力;可视化硬件设备接口为虚拟仿真应用及其开发者提供了可视化硬件设备的接入、监控、运维的能力。
2.1 虚拟仿真应用接口
虚拟仿真应用接口是指用于保障虚拟仿真应用能够在平台运行、数据互通、可访问和操作可视化硬件设备的接口。支持对虚拟仿真内容进行鉴权,保障平台运行内容的安全。
(1)支持平台使用者信息、内容运行的异常、过程、结果和平台的互通。
(2)支持可读取可视化设备的硬件信息、操作接口。
2.2 可视化硬件设备接口
可视化硬件设备接口是指用于可视化硬件设备的识别、注册的接口。
(1)可视化硬件设备的识别能力,提供可视化硬件设备识别、鉴权功能,根据设备白名单,保障平台运行的设备可用性。
(2)可视化硬件设备注册能力,提供可视化硬件设备白名单添加和信息收集能力。
03 虚拟仿真内容质量评价
内容质量评价是依据临床实践技能训练考核目标对实训内容设计和制作的效果进行价值判断,对临床虚拟仿真实训课程现实的或潜在的价值做出判断的过程。内容质量评价一般包括对实训目标内容、实训设计、虚拟资源、技术规范等评价,但主要是对内容设计制作的评价和应用效果的评价,内容质量评价要求参见表6。
04 虚拟仿真内容数据传输与安全
4.1 数据传输方式
虚拟仿真内容涉及的数据通常包含图像、文本、视频、三维模型、声音等多模态数据。为了达到虚拟教育和培训内容低延时、大容量和高效率传输的目标,技术方面涉及传输网络方式和数据编码格式等标准要求。为更好地满足面向VR/AR/MR等虚拟仿真内容体验流畅性和舒适度,以及根据网络通信技术性能的限制,适用于虚拟仿真内容的主流网络方式是5G Wi-Fi(通信协议为IEEE802.11ax/ay)和以太网无源光纤网络(EPON)/千兆无源光纤网络(GPON),现有的网络传输方式已经基本满足最小规模的VR/AR/MR服务的通信延迟时间要求(约1 ms延迟)。为平衡虚拟内容显示质量与传输速度矛盾的问题,现有的虚拟传输模式一般采用全视角非等同质量模式或视场模式,为保证虚拟仿真内容良好的交互体验,交互响应延迟时间<20ms。且随着新一代高带宽通信技术发展,尤其是超高带宽、超低延迟的移动5G技术成熟,为虚拟仿真内容服务提供了数据传输的保障。
虚拟仿真学习内容由实践操作的虚拟内容和培训操作产生数据信息。用于教学和培训的虚拟仿真内容通常是三维虚拟环境、三维数据模型和交互角色对象等,而支持的数据只能是三角形、四边形或多边形网格面片,其他形式的面需要转换为多边形,常用的存储和数据交换的3D文件格式为.fbx/.dae/.3ds/.dxf/.obj。
所有虚拟仿真内容及教育和培训过程中产生的信息数据形式应能够跨异质传递使用标准化方法压缩媒体,详细教育培训信息的传递和交换可采用表7标准格式。
4.2 数据安全与隐私策略
应用于VR/AR/MR的数据不仅包含培训内容,同时还包括硬件设备获取用户个人隐私信息、面部图像、学习习惯、学习效果及设备捕获的周围环境等数据。现有设备通过互联网对数据进行访问以及相关学习信息的共享,如内容数据是基于患者真实CT/MRI影像设备扫描生成的虚拟仿真数据和个人脸部图片在公共网络传输导致个人信息泄露而导致隐私安全问题等。因此,对虚拟仿真培训的内容以及设备采集或学习生成信息的安全传输及隐私设计安全与保护策略非常重要。根据数据流划分不同的数据保护策略,数据流包含了数据采集、数据分析和数据存储3个主要保护层。数据保护方法的目的是让服务或第三方应用程序只接触到与隐私或机密无关的信息,从而不会泄露机密信息或个人隐私信息。因此针对不同层次的数据流环节安全风险与策略也有差异,具体数据特点与技术策略如表8所示。
小 结
虚拟、增强与混合现实技术为医学教育及临床实践技能培训考核领域带来了创新性的技术支撑。本共识旨在为虚拟仿真技术在临床实践技能中的应用提供技术参考与实践指引,实现虚拟仿真内容设计的规范化、数据共享的标准化、培训效果评估的客观化以及数据安全保障的体系化构建,进而有力推进VR/AR/MR技术在临床实践技能培训考核环节的深度应用与广泛推广。展望未来,在人工智能、5G通信以及数字孪生等新兴技术的依托下,临床实践技能虚拟仿真技术正呈现出智能化、个性化、高保真化与全场景化的发展趋势,有望持续拓展其在医学领域的应用边界并优化应用效能。
本文来源:中国医院协会模拟医学专业委员会. 临床实践技能虚拟仿真应用技术体系标准专家共识[J]. 中国全科医学, 2025, 28(23): 2833-2840.
- 搜索
-
- 1000℃李寰:先心病肺动脉高压能根治吗?
- 1000℃除了吃药,骨质疏松还能如何治疗?
- 1000℃抱孩子谁不会呢?保护脊柱的抱孩子姿势了解一下
- 1000℃妇科检查有哪些项目?
- 1000℃妇科检查前应做哪些准备?
- 1000℃女性莫名烦躁—不好惹的黄体期
- 1000℃会影响患者智力的癫痫病
- 1000℃治女性盆腔炎的费用是多少?
- 标签列表
-
- 星座 (702)
- 孩子 (526)
- 恋爱 (505)
- 婴儿车 (390)
- 宝宝 (328)
- 狮子座 (313)
- 金牛座 (313)
- 摩羯座 (302)
- 白羊座 (301)
- 天蝎座 (294)
- 巨蟹座 (289)
- 双子座 (289)
- 处女座 (285)
- 天秤座 (276)
- 双鱼座 (268)
- 婴儿 (265)
- 水瓶座 (260)
- 射手座 (239)
- 不完美妈妈 (173)
- 跳槽那些事儿 (168)
- baby (140)
- 女婴 (132)
- 生肖 (129)
- 女儿 (129)
- 民警 (127)
- 狮子 (105)
- NBA (101)
- 家长 (97)
- 怀孕 (95)
- 儿童 (93)
- 交警 (89)
- 孕妇 (77)
- 儿子 (75)
- Angelababy (74)
- 父母 (74)
- 幼儿园 (73)
- 医院 (69)
- 童车 (66)
- 女子 (60)
- 郑州 (58)