近日，由香港科技大学（HKUST）电子与计算机工程学系申亚京教授领导的研究团队，提出了一种基于数字通道的触觉交互系统，可以实时测量来自手不同部位的分布力，有望在医学评估、体育训练、机器人和虚拟现实（VR）等多个领域实现应用。

图1 基于液压、气压和机械弹簧原理的握力计

  近几个世纪，基于液压、气压和机械弹簧原理的握力计是评估人手施加的力的常用方法，但它们只能提供最大力的信息，缺乏空间和时间的细节分布（图1）。柔性触觉仿生皮肤的发展为测量力的分布提供了新的机会，按其原理，可大致分为两类：基于电信号的阵列式传感（压阻式、电容式、压电、摩擦电等）和基于视觉的传感技术（Gelsight、Tactip、TacLINK、Insight等）。基于电信号的传感器在单点力测量时精度非常高，但存在大面积复杂接触变形时引起的串扰问题，出现精度下降。基于视觉的方法可以避免电信号的串扰问题，提供更高的鲁棒性，但其量程范围通常较小（通常<10N），且同样面临多点大面积接触时精度不足的问题。此外，其标定常需要大量数据集（通常>1GB）。简而言之，现有的柔性触觉传感方式获得的信息，本质上是来自多个未知负载源耦合的复杂模拟信号，这使得分布力的解码非常复杂，特别是对于多点大面积复杂接触的力分布，如手部的握力。

图3 PhyTac的工作机制及潜在的广泛应用。

图4 引入数字通道后，分布力的位置与幅度均可精确重建。

  “针对大规模分布式触觉传感技术，‘数字通道’的概念能够为解码力的位置提供一个新的维度，从而仅通过极小的数据集就可实现高精度和高鲁棒性。”申教授解释了这项研究的背景。

  自然界中，螺旋女王芦荟的旋转叶序能够避免叶子互相遮挡，从而来最大化得捕获阳光（图2C）。受此启发，研究者将标记点以类似的螺旋结构排列以优化光路，使得PhyTac避免了由标记点互相遮挡引起的精度下降，并显著提高了标记点的分布密度，这最终提高了力的传感范围和分辨率。

  图5展示了物理模型增强神经网络（FEM-NN）的原理及其在小数据集上的优势和高精度。FEM-NN的输入是由数字通道得到的关键节点(key nodesof interest, KOI)和位移矩阵,输出为增广刚度矩阵，其仅需要一个很小的数据集(45KB)。引入的物理模型建立了一个力学框架（FEM），将标记位移和力大小联系起来，并提供了包含PhyTac材料、几何和力学性能的宝贵先验知识。FEM-NN模型既采用了此力学先验知识，并得益于神经网络的强大拟合能力，有效地弥补了有限元模型与现实世界模型之间的物理缺失。结果表明，FEM-NN在整个量程范围（0.5 ~ 25 N）内均保持了较高的精度，力的平均绝对误差为0.11 N，平均相对误差仅为2.3%，优于传统基于纯物理模型的方法和基于卷积神经网络的方法（图5C）。

图5物理模型增强神经网络（FEM-NN）的原理

图6 正反手击球时力分布的对比

图7 在虚拟世界中精确操控鸡蛋、花瓶和软球（上图）。遥控机器人手抓取、握住和传递物体（下图）。

  对于下一步的研究工作，团队计划将“数字通道”概念应用于其他几何形状的视触觉传感器上。他们认为，当克服干扰问题时，其他类型的分布式软触觉传感器，如电阻式和电容式传感器，也将从这项研究中获益。

  “我们的目标是为物理世界、虚拟世界和机器人之间建立智能交互的桥梁。PhyTac是实现这一目标的重要一步。它加深了我们对手部动作的理解，我们期望它能成为一种以手为中心的媒介，在医学评估、体育训练、机器人和虚拟现实（VR）等多个领域实现应用。”该项目的负责人申亚京教授说道。

  原文链接：https://www.science.org/doi/10.1126/sciadv.adt2641