触觉传感器可以赋予机器人通过接触来感知外部环境并与之交互的能力，在机器人灵巧操作、人机共融、模式识别等领域有着重要的应用。人类的皮肤不仅可以感知力的大小和方向（自解耦），并且对外界刺激的定位精度可以超越触觉感受器间的平均间距（超分辨率），因此人的双手可以完成非常精巧和复杂的任务，比如抓取易碎物品，进行灵巧操作，识别纹理，阅读盲文等。与人类皮肤相比，现有的机器人触觉传感器还存在较大差距，例如为了实现力的解耦，往往需要设计复杂的传感器结构（如刚性梁）或拟合复杂的数学模型；在实现解耦的情况下，尚无法同时实现超分辨率检测；等等，极大的限制了机器人在执行复杂任务上的能力。

图1. 磁性皮肤的结构和工作原理

  来自香港城市大学生物医学工程系申亚京教授课题组与香港大学计算机系潘佳教授课题组合作，提出了一种基于磁性薄膜的触觉传感器，结合深度学习算法，实现了机器人触觉传感器的自解耦和超分辨率，为仿人类皮肤的触觉感知提供了新的思路。相关成果以“Soft magnetic skin for super-resolution tactile sensing with force self-decoupling（自解耦的超分辨率柔性磁性皮肤）”为题，于近日发表在《Science Robotics（科学：机器人）》上。

  如图1所示，该触觉传感器的核心由一层经单面多级正弦磁化的磁膜和嵌入在印刷电路板上的霍尔传感器组成。磁膜和霍尔传感器之间可以填充不同厚度和弹性的硅胶，用来调节传感器的灵敏度和量程。当有外力施加于磁膜上时，霍尔传感器将测量到由磁膜变形所引起的磁场变化，进而可以测量出所施加外力的大小和方向。

  “这种单面多极的正弦磁化方法在学术上被称为Halbach Array（Halbach阵列）。其一个重要特点就是可以在削弱一侧磁场的同时能够极大的加强另一侧磁场。该技术不仅在粒子加速器、磁悬浮列车、电磁炮等前沿领域有着重要的应用，在我们日常生活中使用的冰箱贴中也采用了类似技术。”申亚京提到，“我们课题组和潘佳课题组合作，尝试研发一种类人类皮肤功能的触觉传感器。因为我们课题组主要从事微型机器人研究，前期工作中在磁性薄膜方面有一些积累（Nature Communications, 9(3944), 2018;Advanced Science, 7(13), 2020; Science Robotics, 5(48), 2020），所以初步选定了磁性薄膜的解决方案。在研究过程中，闫友璨（文章第一作者，香港城市大学生物医学工程系在读博士生）发现Halbach Array除了单侧磁场增强外的另一个很特殊的性质：当把磁膜按正弦磁化后，其磁感应强度B和磁场方向R_B在是x-z平面内是天然解耦的，即磁感应强度B只和z方向有关，磁场方向R_B只和x方向有关（如图2所示）。这样，法向力F_z的输出只与z方向有关，切向力F_x的输出只与x方向有关（式1），为研究自解耦功能的触觉传感器提供了可能。”

（式1）

图2.磁感应强度平面和磁场方向平面（天然解耦）示意图

  解耦后的磁性皮肤可以提供独立的正压力和切向力的测量（无串扰耦合），因此可以给机器人提供更精确的力反馈。视频1展示了将磁性皮肤贴在机械手上进行自适应抓取鸡蛋的应用。开始时，机械手未进行抓取，夹持力F_z和载荷引起的切向力F_x均为零，当机械手夹住鸡蛋时(t₁),夹持力F_z迅速增大，直至鸡蛋被提起时(t₂),由于鸡蛋的重力作用，切向力F_x迅速增大，此时施加一个外部干扰：用手往下拽鸡蛋(t₃)，切向力开始逐渐增大，为了不使鸡蛋滑落，机械手自动增大夹持力，使F_x/F_z的比值始终小于滑动边界（合力保持在摩擦锥以内）。当撤去外部干扰后(t₄)，机械手开始自动松开夹爪，以免鸡蛋被夹碎，从而实现了在有外部干扰时，自适应抓取（易碎）物体的安全操作。作为对比实验，当没有磁性皮肤提供的力反馈时，由于夹持力不足以克服外部干扰，鸡蛋被拽下(t₈)。

动图1. 基于力反馈的自适应鸡蛋夹持

图3. 基于力反馈的自适应鸡蛋抓取

  类似地，展示了如何利用磁性皮肤的力反馈进行自适应调节机械手的夹紧力，以稳定的夹持一个正在注水的水瓶。当往水瓶中不断注入液体时，切向力F_x逐渐增大，水瓶有从机械手中滑落的趋势（F_x/F_z的比值接近滑动边界），此时机械手自动增大了夹持力F_z，从而避免了水瓶的滑落，任务成功。作为对比实验，当没有磁性皮肤提供的力反馈时，水瓶在注水的过程中从手中滑落，任务失败。

图4. 基于力反馈的自适应水瓶抓取

  除了能精确的解耦外力的大小和方向，该磁性皮肤还具有触觉超分辨率，即对外界刺激的定位精度可以超越传感器的物理分辨率（两个传感单元之间的距离）。如图5所示，一个小球压在磁性皮肤（具有3x3传感单元整列）的传感单元S5上，通过定性分析霍尔传感器x,y,z方向上磁通量密度的变化，可以确定该小球与皮肤的接触位置在S5的右上角；进一步，通过神经网络的定量计算，小球的接触位置可以被精确定位到S5右上角的（X,Y）处，该定位精度(0.1mm)可以达到磁性皮肤物理分辨率(相邻传感单元的距离6mm)的60倍。

图5. 磁性皮肤的触觉超分辨率原理示意

  研究团队用两个不同的场景展示了触觉超分辨在机器人领域的应用前景：在第一个展示中（视频3），研究人员利用超分辨率实时追踪了在磁性皮肤上滚动的小球的接触位置和接触力大小；在第二个展示中（图6及视频4），研究人员只使用了一个传感单元便控制了机械臂的六个运动方向（上、下、前、后、左，右），在研究人员的远程操控下，机械臂可以完成穿针的精细操作。

  “深度学习在机器人领域有着越来越广泛的应用，如在我们的前期工作中，我们利用深度学习，实现了多机器人的碰撞检测与防止（International Journal of Robotics Research, 39 (7), 2020）。针对特定硬件设计协同的智能算法，能够进一步突破硬件本身的瓶颈，获得更好的效果。”潘佳讲到，“我们针对磁膜的特性设计了深度学习方法，将其超分辨率提高到了60倍，达到了与人类皮肤的超分辨率（约40倍）可比的程度。如此以来，我们可以在实现功能的同时，极大的减少机器人皮肤中的传感单元与布线，从而提高智能皮肤的易用性。这对未来把人工皮肤覆盖于机器人全身，使机器人拥有和人类一样的全身触觉感知能力至关重要。”

图6. 基于触觉超分辨率的遥控穿针

  研究人员最后展望道：“具有自解耦功能的超分辨触觉感知在机器人领域有很大的应用潜力，可以赋予机器人灵巧操作日常物品的能力，提高人机交互的安全性，或许在不远的将来，覆盖有人工皮肤的家庭机器人将成为我们日常生活中不可缺少的一部分。在今后的工作中，我们希望能够开发出在更多维度上解耦的磁性皮肤，并针对不同的场景设计特定的超分辨率算法，实现硬件和软件的深度融合，从而使磁性皮肤的应用场景可以更加广泛”。

  申亚京和潘佳为该工作的共同通讯作者，闫友璨为论文第一作者，合作团队其他成员来自香港城市大学、卡内基梅隆大学和南方科技大学。

  该项目研究得到了NSFC优青项目（港澳地区）61922093,NSFC-深圳联合重点项目U1813211,香港UGC项目11211720 、11207818和11202119，NSFC/RGC联合研究项目N_HKU103/16以及深圳市学科布局项目JCYJ20200109114827177的共同资助。

  文章链接：Y. Yan, Z. Hu, Z. Yang, W. Yuan, C. Song, J. Pan*, Y. Shen*, Soft magnetic skin for super-resolution tactile sensing with force self-decoupling. Sci. Robot. 6, eabc8801 (2021). DOI: 10.1126/scirobotics.abc8801

  https://doi.org/10.1126/scirobotics.abc8801