首页| 行业资讯| 企业名录| 周边产品| 数字城市| 增强现实| 工业仿真| 解决方案| 虚拟医疗| 行业仿真| 图形处理| 军事战场
用户登录/注册 ×
资讯首页
行业资讯 >> 专业文献
多模态力触觉反馈交互技术及应用
时间:2019-11-23    评论:0
    来源:第三维度
    单位:宋爱国, 田磊, 倪得晶, 秦欢欢 
    单位:东南大学仪器科学与工程学院

    摘要 力触觉人机交互技术是虚拟现实中人机交互的重要组成部分, 它通过模拟人类对真实物体的力触觉感知过程, 将虚拟环境的力触觉信息真实地反馈给人, 极大地提高了虚拟环境的交互性和临场感程度. 本文从虚拟对象和力触觉表达方式的差异出发, 综述了力触觉建模技术和力触觉再现设备的研究现状, 并分析了各种模态的力触觉交互技术的特性, 提出了基于云端的力触觉人机交互信息感知系统框架、研究进展及应用, 最后对多模态力触觉交互技术的发展趋势进行了展望.

    1 引言

    人类认识客观世界过程中, 约 20%~30% 的信息来源于非视觉信息的感知, 其中力触觉是重要的非视觉信息来源. 在五大感官信息通道中, 力触觉是人类获取环境信息的仅次于视觉的重要感觉, 是唯一具有双向信息传递能力的通道. 力触觉交互是基于人类力触觉感知机理, 通过力触觉设备, 模拟人类对实际物体的感知过程, 实现对虚拟或远地力触觉进行感知和再现的人机交互技术 [1~3].

    目前, 人机交互接口的功能主要集中在视听觉交互上, 能提供的力触觉功能很有限. 而通过力触觉交互设备, 用户不仅能够以自然方式向计算机发送各种命令, 而且可以通过 “触摸” 屏幕上看到的图像或虚拟物体, 获得和触摸实际物体时相同的力感和运动感, 从而实现真实、自然的感知和交互.

    在虚拟现实中, 人类可以感知甚至操作人工虚拟环境, 而力触觉再现技术的引入, 增强了虚拟现实的真实感, 从而具有广泛的应用. 例如外科手术训练的虚拟仿真系统、盲人使用的触觉设备、虚拟游戏模拟器、虚拟教育系统、虚拟博物馆、浸入式 CAD 设计系统等 [4~7].

    力触觉交互系统的基本结构如图 1 所示, 主要包括操作者、力触觉交互设备、力触觉再现算法及虚拟视听仿真引擎. 因此, 当前的力触觉交互技术研究主要包括: 虚拟对象的力触觉建模研究, 力触觉再现的人机交互感知设备研究, 人的力触觉心理和生理特性研究以及具有刚度、纹理、形状等感知多模态触觉信息的融合. 本文调研了国内外力触觉再现技术的研究现状, 着重讨论了虚拟对象的力触觉建模、力触觉交互设备、基于云端的多模态力触觉信息感知的系统框架和研究进展, 以及多模态力触觉交互的发展趋势.

图 1 力触觉交互系统的基本结构

    2 力触觉建模技术研究

    虚拟对象的力触觉建模是力触觉再现技术中最为重要的环节, 本质上是一种基于物理约束的物体受力与变形模型. 目前, 力触觉建模研究中较多的是针对简单情况, 对于物体受力触觉作用时的真实变形计算还存在很多困难. 根据虚拟环境中物体的不同模型 (刚性或柔性等), 力触觉建模方法可以分成两类: 刚性物体的力计算方法和柔性物体的受力与变形之间的关系.

    2.1 刚性物体的力计算方法

    根据触觉接口设备在虚拟环境中的虚拟化身 (avatar) 形状的不同 (如点、线或体), 可以分为以下3 个方面介绍刚性物体的力生产算法.

    (1) 基于点的力生成算法. 在基于点的力生成算法中, 用接口设备的末端点 HIP (haptic interface point) 与虚拟物体相互作用, 类似真实世界中借助探针状工具的末端去触摸物体. 这种 HIP 只在空间某一维方向上运动的模型为 1DOF 作用力生成模型, 如仿真紧捏剪刀来剪纸张、推动注射器的活塞运动等. 此模型虚拟环境中的 avatar 会刺入虚拟物体内部, 这种穿刺程度信息可以用来建立相应力生成算法模型, 这类力建模方法建立了 avatar 的空间位置与所生成的作用力一一对应的关系, 又称为向量场 (vector field) 方法.

    这种算法是基于惩罚的方法, 即力直接正比于穿透距离, 计算比较简单有效, 但是并不记录 avatar的历史位置信息, 这样在与一些扁平的或者比较复杂的 3D 物体相互作用时, 无法确定作用力的方向以及应该基于虚拟物体的哪一个表面来计算作用力, 而且向量场方法会使得虚拟作用力出现振荡和能量泄漏现象, 容易引起系统的不稳定 [8~10].

    针对这一问题, Zilles 及 Salisbury [11] 和 Ruspini 等 [12] 分别给出了 God-object 算法和 Proxy 算法. 这两个算法都是基于约束的方法, 即使用一个附加的变量 (god/proxy) 来记录 avatar 的虚拟位置,控制它不进入任何虚拟物体内部, 并遵循虚拟环境中的物理定律, 然后在 avatar 位置和 god/proxy 点位置之间建立相应弹簧阻尼等模型来计算作用力. 因为力触觉设备的虚拟位置一直保持在物体的表面上, 所以力的方向是不会混淆的, 这就更逼真地产生了由触摸物体产生的力. 而且这种方法适合于任意形状的多面体, 在一定程度上解决了反馈力不连续和嵌入的问题 [13].

    (2) 基于线的力生成算法. 采用点接触模型虽然较简单有效, 但不能仿真碰撞过程中所产生的力矩. Basdogan 等 [14] 通过使用射线状线段 (带有方向的线段) 模型来仿真长条形工具与虚拟物体相互作用. 这种模型可以使得操作者能够同时与虚拟环境中的多个物体相互作用, 并且能够获得力矩作用的再现. Ang 等 [15] 研究了多点接触抓取虚拟物体的力触觉生成, 通过带有摩擦力的点接触作用来仿真接触点法向附近的力矩作用.

    (3) 基于几何体的力生成算法. 基于几何体的力生成算法相对基于点和线模型的算法所需要的计算量更多, 但对于力生成的精准度和逼真度都有了很大的提高. 虽然单个点不足以来仿真两个 3D 多面体之间的接触作用, 但是一组分布在接触 3D 物体表面的点集合却可以计算力和力矩作用. 典型的如 McNeely 等 [16] 研究的复杂机械部件之间的力生成算法模型. Vlasov 等 [17] 提出了一种新的体数据的力渲染方法, 该方法直接在体素数据上运行, 并且使用在运行中生成的隐式表面表示而不是任何预先计算的结构, 是现有技术的一个很好的替代方案, 同时避免了大多数常见的缺陷.

    2.2 柔性物体的受力与变形之间的关系

    与柔性物体接触时的作用力, 通常是由变形计算产生. 因此, 对接触力的建模主要研究力与变形的关系. 根据柔性物体的力计算模型和变形计算模型是否一致, 可以大致分为以下两类: 一类称为开环仿真, 另一类称为闭环仿真. 在开环仿真中, 用于计算变形的模型和计算接触力的模型之间相互独立. 这样实现起来比较容易, 但变形和力计算之间没有内在联系, 可能出现视觉和力觉仿真不一致. 在闭环仿真中, 变形和接触力计算相互关联. 变形计算和虚拟力计算模型一般采用相同的基于物理意义的模型. 这种仿真中接触力和变形计算具有一致性, 但变形计算和力计算形成两个紧密联系的闭环,存在视觉再现和力觉显示的协调性和稳定性问题.根据实际对柔性物体形变计算的不同需求, 也可以分为几何学 (geometry) 形变模型和基于物理意义 (physics-based) 的形变模型. 在几何学形变模型中, 物体的变形仅仅由几何学操作来决定, 也就是用户通过操作 3D 物体上的顶点或者控制点来获得物体变形. 这种形变方法具有速度快和便于实现等特点, 它主要用于视觉再现中实现较易控制而且简单的物体形变. 基于物理意义的形变中, 物体的变形是由相互作用过程中的物理学规律和动力学特性决定, 其主要用于仿真物体在内力或者外力作用下真实的物理学行为特征. 目前常用的基于物理意义的模型包括基于直接构建的弹簧质点模型和体元模型, 基于连续介质力学的有限元模型和边界元模型等 [18]. 对于不同的形变模型, 有相应不同的力触觉反馈算法. 由于各类算法已有详细的性能分析比较, 此处不做赘述, 可参考文献 [19].

    由于力觉再现和视觉显示所要求的刷新频率不同, 力觉再现要求力计算的刷新频率达到200~500 Hz 以上, 而视觉显示中变形的计算和刷新频率一般只有 20~30 Hz. 如果要等待视觉显示计算刷新完成才将变形结果输入力觉再现闭环, 用于接触力的计算, 那么接触力的采样频率也只能保持在 20~30 Hz, 就会存在不稳定的力反馈. 因此, 为了解决这一问题, 很多研究者开展了大量的研究工作, 具体详见 2.3 小节力触觉再现的稳定性分析.

    2.3 力触觉再现的稳定性问题

    在力触觉再现过程中, 交互稳定性是确保高性能和高逼真度力触觉再现的前提. 力触觉再现系统不稳定的因素主要包括: (1) 本质为数据采集系统的力触觉再现系统中采样保持环节引入的误差; (2)力触觉设备固有的误差 (摩擦力及传感器分辨率等); (3) 计算延时; (4) 位移差分计算速度时产生的干扰及其他误差. 这些因素会导致力触觉交互过程中产生能量泄漏, 从而引起系统不稳定.

    因为操作者的行为特征很难用一个通用的模型来描述, 所以很多研究者通过确保系统的无源性来实现系统的稳定. Colgate 等 [20] 给出了力触觉再现中满足系统无源性的条件


    其中 b 和 B 分别是设备和虚拟墙的阻尼系数, T 是作用力计算刷新周期, K 是虚拟墙硬度系数. 从式 (1) 可以看出, 当设备和虚拟物体确定的情况下, 提高作用力计算刷新率即减小周期 T 可以提高系统稳定性.

    另外, 理想情况下, 刚性物体的表面硬度 K 为无穷大, 而实际受力再现装置受硬件本身的限制, 无法满足. 此外, 虚拟硬度 K 过大会导致系统的不稳定. Abbott 等 [21] 提出了确保虚拟墙无源性的刚度系数上限, 此上限考虑了力触觉设备的固有摩擦力和位移传感器分辨率. Diolaiti 等 [22, 23] 研究了更一般的系统稳定性准则, 充分考虑了力触觉设备的各种因素的影响.

    目前提高力触觉再现系统稳定性的方法主要分为两类: 一类是改进力触觉控制算法; 另一类是提高作用力计算的刷新率.

    (1) 改进力触觉控制算法. Colgate 等 [24] 提出了 “虚拟匹配” 的办法, 这种方法是在力触觉设备与虚拟物体之间插入刚性以及阻尼元件, 以此限制交互过程中机械阻抗的最大值, 从而确保系统的稳定性. Hannaford 等 [25, 26] 提出一种基于能量的方法, 采用时域上的无源控制来消耗虚拟环境所产生的能量, 即通过 “无源性观察器” (passivity observers, PO) 实时观测系统所产生的能量, 当检测到虚拟环境施加给操作者能量时, 通过 “无源性控制器” 将这种多余的能量释放掉, 从而保证系统的无源性, 这种方法称作 PO/PC 方法. Lu 等 [27] 提出了 “做功差” 的概念, 建立了一种能量补偿控制器来补偿力触觉再现系统中的 “欠功” 和 “过功”, 达到系统稳定性的控制.

    (2) 提高作用力计算刷新率. 为了确保作用力计算刷新率, 此类方法一般将作用力生成算法与图形图像渲染, 碰撞检测等运算量较大的部分算法分离. Alhalabi 等[28] 提出利用局部模型的方法来提高作用力刷新率, 即采用简单的模型仿真虚拟物体的局部几何特性, 且模型的数据随着交互的进行不断刷新, 这种方法简化的模型提高了运算的速度而获得广泛的应用, 但同时也降低了系统的精度. Barbagli等 [29] 提出基于缓冲模型理论利用动态的简单结构作为模型来提高统稳定性, 此方法在多层交互的场景下可达到较好效果. Davanne 等 [30] 则采用模型的切面作为局部模型, 降低了交互计算的复杂性, 提高了作用力刷新率.

    2.4 力触觉建模的应用

    力触觉再现建模可以让操作者感知和操纵虚拟物体, 从军事仿真到艺术、教育、娱乐, 从医学到制造业, 从机器人到数据可视化都是力触觉建模的重要应用领域.

    在医学领域, 通过力触觉再现虚拟现实技术实现医生的操作训练系统已得到越来越广泛的应用.Rutgers 大学、新泽西州立大学和新泽西医科与牙科大学联合开发了基于虚拟现实的 DRE 仿真训练系统, 该系统由 PHANToM 力触觉设备、SGI 工作站和一个运动限制板构成, 通过力触觉再现建模受训者的食指, 帮助他掌握 DRE 诊断技能. Immersion Medical 公司开发的 CathSim 的血管内导管插入仿真系统. 该系统通过 AccuTouch 的专用力触觉接口和计算机, 模拟各类病人的注射特征. 在康复领域, 力触觉建模可以辅助医生对病患进行康复训练, Rutger 大学的同事们开发了名为 Rutgers Ankle的脚踝康复系统, 它由电动平台、电气气动控制器和 PC 机组成. Rutgers 大学还与斯坦福大学医学院联合开发了带力触觉再现的整形外科康复系统, 通过互联网和 Rutgers Master II 数据手套、电动气动控制器等让病人实现不同目的的康复训练.

    在机器人操作领域, 尤其是在机器人遥操作中, 操作者可以通过视觉、听觉和力触觉再现多通道与机器人相接, 实现身临其境的感受. 力触觉再现在其中发挥着至关重要的作用. 美国国家航空航天局的 Robonaut 系统, 可以代替宇航员在恶劣或危险的环境中完成作业.

    此外, 在工业设计和制造领域, 力触觉再现因其不仅可提供多模态交互而且可提供真实感而受到越来越多的关注, 可辅助实现虚拟装配验证、虚拟产品设计, 降低了开发成本. SensAble 公司开发了一套 FreeForm 应用系统, 可以给操作者提供虚拟界面, 实现 “数字黏土” 的雕塑.

    3 力触觉交互设备

    力触觉再现装置从功能上可分为两大类: 力反馈 (force feedback) 和触觉再现 (tactile display). 触觉的感知, 包含材料的质感、纹理感以及温度感等, 目前能模拟的仅是一般的接触感即力感. 力觉感知设备要求能反馈力的大小和方向, 与触觉反馈装置相比, 力觉反馈装置设计成熟一些.

    3.1 力觉反馈装置

    力反馈装置主要有力反馈数据手套、手控器、操纵杆等类型. 目前, 关于力反馈装置及软件工具的研发比较成熟, 市场上已经有多家知名的力反馈设备厂商研制了很多型号的力觉反馈设备, 研究者们可以借助这些成熟的力反馈设备进行力触觉再现研究.

    力反馈数据手套, 如 Immersion 公司生产的 CyberGrasp, 可以作为力反应外骨骼佩戴在 CyberGlove 数据手套上使用, 该系统共有五个驱动器, 每根手指单独配备一个, 能够为每根手指添加阻力反馈. 该系统具有良好的便携性, 极大地扩大了有效的工作区.手控器不仅可以跟从操作者的手臂运动, 将人手的测量结果作为运动指令输入, 而且可对其输出特定的力反馈, 市面上主要有 Force Dimension 公司的 OMEGA 和 DELTA 系列、Geomagic 公司的Touch 系列、Novint Techonologies 公司的 Falcon 系列等. 手控器主要分为同构式和异构式. 外骨架式手控器为最典型的同构式结构, 其结构是依照人手或手臂的结构设计, 整个手控器固定或联接在人的手臂上, 如早期的美国 Utah 大学研制的外骨架力反馈手控器; 东南大学研制的同构式力反馈手控器;近几年的美国雷神公司最新研制的 “Raytheon Sarcos” 模型. 然而, 由于同构式手控器体积较大, 且应用对象有限, 异构式手控器成为当前发展的主流.

    根据机构类型, 力触觉交互设备可以分为并联式、串联式 (如图 2 所示). 根据输入输出特性, 力触觉交互设备分为阻抗控制型和导纳控制型. 阻抗型设备是根据操作者的位置信息反馈输出作用力,而导纳型设备则是根据操作者施加的作用力来反馈输出位置. 阻抗型设备结构设计简单、造价低, 因此被较多采用, 而导纳型设备结构复杂, 一般用于需要较大作用力的大空间场合. 此外, 也可根据结构形式分为摇杆式 (joystick force display) 和可穿戴式, 根据是否产生能量分为有源和无源.

图 2 根据机构类型分类的力触觉交互设备

    3.2 触觉反馈装置

    触觉再现是指通过安装在触觉反馈装置将传感器检测的触觉信息进行物理表达, 通过刺激人体相关部位, 再现纹理、刚度、形状、温度、等多模态特征.

    触觉反馈装置主要分为形状改变式和表面刺激式. 形状改变式触觉反馈主要通过形变模拟物体表面的力变状态. 早期的研究主要通过气囊、气环制作, 如 Tini Alloy 公司采用形状记忆合金制作的阵列触觉显示器, 英国 Hull 大学采用电流变材料研制的高密度触觉显示器, 操作者可以通过触摸表面感受物体的形状.

    表面刺激式触觉反馈主要是通过对操作者皮肤表面或表皮神经施加气流冲击、震动刺激或电刺激, 使操作者产生触感. 如 Immersion 公司的触觉反馈手套上的 CyberTouch, 通过在手指与手掌部位上设置了许多小型触觉振动器. 每个振动器可以独立编辑不同强度的触感压力. 该振动器能产生单一频率或持续性的振动, 且可以感受到虚拟物体的外形. 东南大学研制的振动电机阵列, 通过阵列式电机振动, 对静态图像进行映射表达.

    随着智能平板作为人们日常信息交互的主要平台, 面向智能平板的触觉反馈设备研制成为一大研究热点. 该方向的研究大多基于表面刺激式触觉反馈实现. Kyung 等 [31, 32] 研制出了带有触觉表达功能的触摸笔 Ubi-pen, 该笔主要由一个振动式触觉刺激阵列和一个冲击力发生装置构成, 用于图像纹理的触觉表达原理是将光标周围像素块分割后, 对每个单元的亮度做平均, 并将其对应振动阵列的振动强度. 而冲击力发生装置是用来模拟图形界面的按键被按下和弹起的触觉效果.

    西北大学的 Mullenbach 等 [33] 开发了基于 TPad (触觉模式再现) 装置的表面力触觉交互系统,TPad 由玻璃平板和黏贴在平板下方的压电致动器构成, 具有摩擦力可变的触摸屏, 操作者可以通过手指在触摸屏上感受到视觉对象形状、纹理. L′evesque 等 [34] 提出了触觉再现原型系统. 该系统由57 mm × 76 mm 的玻璃板、LCD 屏和位置检测系统构成. 玻璃板的超声振动采用了同侧 4 个压电陶瓷激励源的设计. 西北大学的 Wiertlewski [35] 也进行了相似的研究. Hasegawa 等 [36] 创建了一个在手掌上产生触觉图像的系统, 它利用一个视频投影仪在手掌上投影成可视图像, 并使用聚焦空降超声在用户的皮肤上产生非接触振动触觉刺激, 使人既能看到也能摸到带有不同纹理的物体. 此外, 一些其他的研究可见文献 [37, 38].

    前面所述的两种触觉反馈形式多针对物体纹理、刚度、形状的感知表达, 并不适用于温度这一重要感受的重构表达. 然而, 温度触觉是人类认知外界环境的重要手段. 实际工作中很多操作任务要求操作者必须有效感知接触物体的热属性才能准确地判断物体的类别. 瑞士的 Gallo 等 [39] 和日本的Masayuki Ham 等共同研制出一台集成温度反馈的多通道触觉控制台, 装置上大约为手指大小的温度触觉显示器能够在指尖下产生温度梯度. 日本的 Kobayashi 和 Fukumori [40] 提出了 “热感知触觉图像”的概念, 设计了 TSTG (thermal sensation tactile graphics) 装置, 并用其表现一幅简单的图像, 这将使触觉图形的表现有更多的自由度, 使目标更富有艺术表现力, 这种装置作为一种新兴的表达方式, 在残疾人感知领域将会有更大的发展.

    4 基于云端的多模态力触觉信息感知

    多模态力触觉信息, 主要包括了力觉、接触觉、压觉、温度等与接触有关的感觉, 是通过多部位多维力传感器、触觉传感器获取对象和环境信息, 以及为某种作业任务而对机器人与环境相互作用的一系列力触觉信号进行检测或感知, 进而重构环境的多方面性质特征, 包括目标的相对位置、形状、大小, 以及接触对象的柔性度、硬度、粗糙度、材质、温度等. 随着云计算和大数据的崛起, 人机交互技术有了新的机遇和挑战. 多模态力触觉信息的重构与融合, 多种类力触觉反馈装置配合, 如何构建以人为中心的云端多模态交互通道, 是该领域的研究热点和难点.

    目前, 在该领域的公开研究成果较少, 本文作者所在研究团队提出了基于云端的多模态力触觉信息感知平台框架, 并在此基础上进行了深入研究, 如图 3 所示. 系统分为数据层、云计算层、应用层.

图 3 基于云端的多模态力触觉信息感知系统

    在数据层中, 通过读取力觉触觉传感器、人机交互状态、物体状态等信息, 通过特定的物体模型拟合估算. 在云计算层中, 采用专家系统、深度学习等方法, 将物体的多特征信息, 包括位置、形状、尺寸、柔性度、硬度、粗糙度、材质、温度等进行重构. 在应用层, 用户可通过多种力触觉交互设备, 再现物体的物理属性等. 此外, 在云端获取的物体状态, 也可用于自主机器人的自主控制与决策领域.

    5 力触觉技术的研究进展及应用

    5.1 虚拟物体的力触觉建模研究

    Wu 等 [41] 提出了一种基于物理意义的快速力反馈变形模型及实时力觉响应算法. 该方法对弹簧– 质点模型采用一种新型网格划分方法, 即沿轴线方向的表面同心圆分割法取代原来的立方网格分割法. 通过预先建模分析, 实现虚拟物体在虚拟力觉和触觉作用下的形变和力触觉反馈快速计算. 其不仅计算速度快, 满足力反馈的实时性要求, 而且能够同时保证接触力和变形计算具有较高精度, 满足对虚拟现实系统的要求, 并且可以处理各向异性的虚拟软组织变形仿真.

    Zhang 等 [42] 提出了一种基于层状菱形链连接的实时柔性力触觉变形模型, 这种通过改变链结构单元中菱形的长度和夹角就可对不同的软组织进行变形仿真, 从而实现用一种模型对不同组织进行仿真, 而且可以降低变形计算的次数, 达到简化系统的目的, 较好地实现实时性与准确性之间的和谐折中, 并能取得良好的仿真实验效果. 采用该模型搭建虚拟肺手术仿真系统, 能准确快速地计算虚拟肺的变形量, 实现软组织的实时变形仿真[43].

    5.2 力触觉感知交互装置研究

    东南大学机器人传感与控制实验室研制系列六维力/力矩传感器 (如图 4 所示). 

图4 六维力/力矩传感器

    量程分别为从20 N 到 800 N, 精度为 1%, 该实验室 [44] 研制了一种新型弹性结构的用于实现力反馈测量的直接输出型四维力传感器. 该弹性体结构本身可以避免维间耦合的影响, 从而具有较高的测量精度. 该实验室提出了一种基于背指式的电刺激触觉再现方法 [45] 和电触觉再现装置 (如图 5 所示). 

图5 基于电刺激的虚拟触觉再现装置

    电刺激触觉再现是通过电极将一定频率 (120 Hz 左右) 交变电流注入皮肤内引起其内部神经兴奋以产生在该处的 “触觉”. 刺激电流采用双向脉冲电流, 经过多次试验, 该装置选取了一种独特的刺激电流波形, 通过控制其占空比, 获得不同强度的 “触觉” 感觉.

    该实验室研制了两代同构式力觉反馈手控器, 图 6(a) 为第二代同构式力反馈手控器 [46], 能够实现三维力反馈和二维力矩反馈. 该实验室还研制了三代异构式力觉反馈手控器, 图 6(b) 为第二代六自由度异构式力觉反馈手控器 [47], 能够实现三维力反馈和三维力矩反馈. 它由平行联杆机构和手部转动机构组成, 从结构上实现了三维平动和三维转动之间的分离, 使操作者可以方便地对虚拟环境中的物体实现带有力觉感知的操作. 在第二代的基础上, 又研制了第三代七自由度异构式力觉反馈手控器 [48], 增加了手部抓握力反馈 (如图 6(c) 所示). 

图 6 力觉反馈手控器

    另外, 该实验室研制了一种基于磁流变效应的力反馈数据手套 (如图 7 所示), 其以传统的 Cyberglove 为基础, 利用磁流变液粘度可控这一特性, 配合以电流控制电路实现了一种具有力反馈功能的数据手套 [49, 50]。

图7 力反馈数据手套

    该实验室研制了面向移动终端的多模式力触觉交互笔 (如图 8 所示), 装置基于主动元件 (电机、压电陶瓷)、被动元件 (磁流变液) 和储能元件 (弹性元件) 的组合, 可以同时实现视觉图像的力觉和触觉再现, 使操作者在使用移动终端时能够通过力触觉交互笔获得图像的空间力触觉信息[51].

图 8 模式力触觉笔 

    该实验室研制了基于三维力反馈手控器的温度触觉再现感知交互装置 (如图 9 所示), 手控器控制虚拟手动作,温度触觉再现装置再现手指与不同热属性物体接触时的温度变化, 从而操作者可以感受到手指与物体接触时的温度和力的变化 [52].

图9 基于三维力反馈手控器的温度触觉再现感知交互装置

    5.3 力触觉交互系统应用

    在航天领域, 中国空间技术研究院研制的空间机器人的肌电、手势多模式人机交互遥操作控制系统 (如图 10 所示), 由双臂、头部、腰部等运动部件构成, 用于完成舱外设备更换的维修维护任务、舱内实验平台管理任务和协助航天员完成出舱等任务. 

图 10 多模式人机交互遥操作控制系统

    另外, 为航天员空间舱内操作地面虚拟仿真训练研制了力触觉反馈装置及力触觉建模软件 (如图 11 所示). 力觉反馈和感知是航天员地面训练虚拟环境中的关键支撑技术, 虚拟训练系统中航天员在空间进行科学实验、传递载荷、装配等接触性作业时的力觉感受是保障训练真实性的重要要素.

图11 航天员空间舱内操作虚拟训练系 统

    在康复机器人领域, 丹阳假肢厂公司研制力触觉反馈肌电控制假手 (如图 12 所示), 目前已占领
国内市场 50% 以上, 并出口至东南亚各国. 

图12 力触觉反馈肌电控制假手

    常州钱璟康复器械公司研制了康复机器人的力触觉人机交互康复训练软件 (如图 13 所示), 目前已用于中国康复研究中心北京博爱医院、四川省八一康复中心、上海第七人民医院、浙江大学医学院附属邵逸夫医院等, 且已构建了云环境下的康复训练系统.

图13 力触觉人机交互康复训练软件

    6 多模态力触觉交互的发展趋势

    云计算和大数据产业兴起, 使人机交互技术面临新的机遇与挑战, 云环境下大数据的分析与理解,需要多通道人机交互技术的支撑. 另一方面, 云计算和大数据技术改变了传统的人机交互模式, 这主要体现在: 云端融合给人机交互技术带来了新的计算模型, 感知、认知等交互过程中繁重的计算可由云计算平台完成, 多人、跨系统、多感知的人机交互方式得以实现.

    为了能够实现云环境下的人机多通道交互技术, 实现云环境下大数据的访问、建模、重构与感知,一方面需要对多模态力触觉交互信息端上传与处理, 另一方面需要深入探讨基于深度学习、专家系统等的物体建模方法, 此外需要在应用端优化力触觉交互设备, 建立高沉浸感的人机交互窗口, 融合多交互接口等, 最终实现 “以人为中心” 的人机交互技术. 基于此未来的力触觉交互技术的发展日益呈现出以下趋势:

    (1) 多模态力触觉信息的获取与处理. 深入研究基于深度学习、专家系统等方法处理多种模态触觉感知信息, 实现信息的快速建模、计算、融合和表达;

    (2) 优化力触觉人机交互设备. 力触觉交互设备的小型化、自然性、可穿戴、柔性化是实现云环境下人机交互普适性的必然;

    (3) 多交互接口的有效结合. 随着其他人机交互接口的研发, 力触觉交互与其他人机交互技术的集成可以更有效的实现多模态信息的再现, 因此, 多种交互接口的结合是未来发展的重要趋势.

    7 结束语

    虚拟现实技术追求的目标是具有临场感的多感知人机交互, 力触觉交互技术作为人机交互中的非视觉交互, 由于其存在独特的双向信息交互, 决定了力触觉感知对虚拟现实技术的重要性, 而且, 随着计算机技术等的迅猛发展, 用多模态的力触觉交互技术来替代传统的力触觉交互模式, 对未来人机交互技术在各个领域的发展具有重要意义.

    参考消息(略)
标签:触觉力反馈
上一篇:基于人因感知模型的计算显示学在3D产业中的应用下一篇:第十九届中国虚拟现实大会深圳举行
网友评论:多模态力触觉反馈交互技术及应用
留名: 验证码:
最新评论
查看全部评论0
暂无评论
您可能还需要关注一下内容:
·基于GIS与虚拟现实的土地利用总体规划仿真展示平台设计
·微软研发新型触觉力反馈设备
·Verizon为移动VR/XR开发人员推出基于GPU的5G边缘服务
·3D打印联合力反馈,改革面部重建手术
·3D可视化、3D打印、虚拟现实、增强现实在医学中作用的研究进展
·Woojer推出力反馈背心,增加VR沉浸感
·虚拟现实、增强现实在医学中作用的研究进展
·虚拟膝关节镜手术仿真系统的关键技术研究
·Impacto:电磁刺激模拟冲击、撞击力反馈
·基于虚拟现实技术的正颌手术模拟预测方法建立
☏ 推荐产品

小宅 Z5 2018青春版
商家:小宅

杰瑞特运动平台
商家:杰瑞特智能

Dikalis眼动追踪
商家:赢富仪器

魔神 Hawk
商家:魔神运动分析

5DT Binoculars
商家:四维宇宙

Christie DS+750
商家:四维宇宙

Zalman M220W
商家:四维宇宙

全息360°
商家:四维宇宙

PD F10 AS3D
商家:四维宇宙

PHANTOM系列
商家:四维宇宙
☞ 外设导航
☏ 企业名录
【宁波】宁波维真显示科技股份有限公司
【潍坊】歌尔股份有限公司
【上海】霍尼韦尔(中国)有限公司
【北京】科视Christie-中国
【北京】北京华如科技股份有限公司
【北京】北京乐卡仕技术有限公司
【广州】广州弥德科技有限公司
【上海】刃之砺信息科技(上海)有限公司
【北京】北京度量科技有限公司
【北京】北京小鸟看看科技有限公司
关于本站联系我们融资计划免责声明网站建设广告服务咨询策划行业推广
北京第三维度科技有限公司 版权所有 京ICP备15051154号-3
2008-2020 Beijing The third dimension Inc. All Rights Reserved.
Email:d3dweb@163.com  QQ:496466882
Mob:13371637112(24小时)
关注虚拟现实
关注第三维度