人类通过触觉、视觉、听觉、味觉和嗅觉等多种感官整合来全面感知世界。这种感官整合不仅帮助我们理解环境,还为应对各种情境提供了关键信息。随着技术的进步,人形机器人和人机界面的发展突显了扩展人类感官功能的迫切需求。这一需求不仅局限于传统五种感知,还可能引入超越这些感官的第六感:远程感知。远程感知作为认知领域的一次重要突破,展现出在提升决策能力和环境互动方面的巨大潜力。通过突破传统感官的局限,远程感知为人类感知与认知开辟了全新可能性。然而,当前的电子皮肤传感器主要依赖物理接触获取信息,这在无直接交互的情况下表现出显著不足,限制了人机交互(HMI)的能力。尽管已有关于非接触或预接触传感技术的研究,但对远程感知技术的进一步发展探讨仍相对有限。为应对这些挑战,研究者们开始关注通过创新表面结构设计、引入新型复合材料以及离子注入等手段来增强传感器的非接触感知能力。然而,介电层的电荷捕获能力仍显不足,影响了传感器的整体灵敏度,使得在无直接接触的情况下实现有效感知更加困难。另一方面,尽管依靠大数据的模拟建模技术能够识别三维形状,但现有电感受器的灵敏度仍无法同时识别物体的形状和材料组成。因此,将材料科学、纳米技术与深度学习算法的进步融入先进传感器设计中,对于提升触觉和远程感知功能至关重要。提高电荷捕获能力是推动远程感知技术进一步发展的关键。远程感知作为一种新兴技术,能够在一定距离内检测并区分物体的形状和材料组成,展现出广阔的应用前景。
中国科学院北京纳米能源与系统研究所的魏迪研究员、王中林院士团队与清华大学任天令教授、剑桥大学初大平教授团队合作,首次定义远程感知概念,并将其与非接触或预接触传感进行区分;设计了一种具有远程感知-多模态传感功能的高灵敏电子皮肤。该电子皮肤通过将无机纳米颗粒进行结构化阵列掺杂,并结合先进的深度学习算法,显著提升了远程感知功能的精度,超越了传统非接触式传感器的性能;实现了14.2(ΔV/Δd)的灵敏度,极大地提高了远程监控和机器人操控的精确度。在触觉感知方面,采用了基于长短期记忆(LSTM)的自适应脉冲识别技术,将材料识别的准确率提高至99.56%,同时显著提升了数据处理效率。此外,通过将二维传感器矩阵的数据集成到卷积神经网络(CNN)中,成功实现了对三维物体形状和材料组成的精准区分。这一突破不仅推动了传感器技术的进步,还为实现多模态感知系统开辟了新的研究方向,展示了广泛的应用潜力和深远的科学影响。
图 1. 具有远程感知-多模态传感功能的高灵敏电子皮肤。(A)控制五感的人脑功能区。(B)分布在鸭嘴兽喙上的双模态(电感受器和机械感受器)传感系统示意图。(C)具有远程感知-多模态传感功能的电子皮肤和深度学习的智能感知系统示意图。(D)多模态(仿生电感受器和仿生机械感受器)电子皮肤对不同材料识别的灵敏度。
图 2. 具有远程感知-多模态传感功能电子皮肤的机理和模拟。(A)由重叠电子云模型解释的触觉感知的基本原理。(B)用于远程感知的仿生电感受器工作机制。(C)(i)无机非金属纳米颗粒在微孔中的无序掺杂示意图。(C)(ii)COMSOL模拟的纳米颗粒无序掺杂的电位分布。(D)(i)无机非金属纳米颗粒的结构化掺杂示意图。(D)(ii)COMSOL模拟的纳米颗粒结构化掺杂的电位分布。(E) COMSOL模拟的PDMS掺杂不同质量分数PTFE的电位分布((i)3%、(ii)5%、(iii)10%、(iv)20%)。(F)COMSOL模拟的PDMS掺杂不同纳米颗粒的电位分布((i)SiO2、(ii)TiO2、(iii)BaTiO3、(iv)SrTiO3)。(G) COMSOL模拟的PDMS掺杂不同质量分数SrTiO3颗粒的电位分布((i)4%、(ii)8%、(iii) 12%、(iv)16%)。(G)COMSOL模拟的弹性体上不同微孔深度的电位分布((i) 10 μm、(ii)25 μm、(iii)40 μm、(iv)50 μm)。(I)无机非金属纳米颗粒结构化掺杂有效性的实验验证。
图 3. 仿生电感受器的远程感知功能。(A)仿生电感受器的简化物理模型。(B)通过有限元方法模拟了仿生电感受器的行为。分别选择毛皮(C,D)和FEP(E,F)薄膜作为接近仿生电感受器的感知目标时的输出电压。(G)仿生电感受器对不同材料的适用性。(H)本工作及已有文献代表性工作的灵敏度总结。(I)仿生电感受器在智能机器人系统中的应用场景。(J)一种基于仿生电感受器的距离报警机器人。(K)演示如何操作机械臂在成人走近时挥手和握手。
图 4. 仿生机械感受器阵列的材料类型识别。(A)仿生机械感受器阵列示意图。(B)实验中识别的材料和照片。(C)电信号对不同接触材料的反馈特性:(i)电压幅度,(ii)接触峰/谷。(D) 仿生机械感受器阵列与正负极材料(尼龙、FEP)接触的输出电压。(E) 仿生机械感受器阵列分别检测亚克力、Kapton、PE、PTFE、Al、打印纸、PET和橡胶的电压输出。(F)仿生机械感受器阵列识别不同材料的归一化电压。(G)位于摩擦电序列中不同位置的典型材料。
图 5. 基于机器学习的数据处理,用于高精度材料类型识别。(A) 用于材料识别的机器学习的整体计算流程图。(B) 脉冲识别的结果。(C) 用于单个信号分析的脉冲分割。(D) 通过数据增强扩大样本集。(E) 具有信号输入流的堆叠LSTM网络架构。(F) 随着通道输入的增加,神经网络的精度提高。(G) 10个类别和 4个通道的机器学习结果的混淆矩阵图。(H) 微调方面的训练过程。
图 6. 具有远程感知-多模态传感功能电子皮肤在远程感知和触觉感知中的应用。(A) 基于仿生机械感受器阵列的实时触觉感知系统(RTPS)。(B) RTPS的控制页面。(C)RTPS在识别材料时的输出信号曲线和识别结果。(D)基于仿生电感受器矩阵(20×20单元)和卷积神经网络算法(CNN)的远程感知系统,可以识别三维物体。
本研究首次展示了电子皮肤的远程感知功能,突破了传统非接触式传感和感官模式的局限性,开启了感知的新维度。开发初具有远程感知-多模态传感功能的电子皮肤,通过结构化掺杂无机非金属纳米颗粒,并结合先进的深度学习算法,实现了卓越的远程感知和触觉等多模态感知性能。实验结果与COMSOL仿真表明,诱导极化引发的电荷陷阱机制在无机非金属纳米颗粒的结构化掺杂下得到显著增强,大幅提升了远程感知的灵敏度,创造了新的高灵敏度纪录。这一创新策略有效地解决了弹性衬底内无机非金属纳米颗粒掺杂杂乱无章所带来的挑战。基于长短期记忆(LSTM)算法的自适应脉冲识别技术显著提高了触觉感知中的材料识别准确率,达到了99.56%,同时加快了处理速度。与传统感官系统如视觉和触觉的复杂整合相比,该系统在实际应用中表现出优越的材料识别效率。此外,通过将二维传感器矩阵的数据集成到卷积神经网络(CNN)中,实现了对三维物体的准确识别。相比传统的三维识别方法,如CCD和红外相机,这一技术的突破简化了电路设计,显著降低了能耗。整合远程感知与触觉感知等多模态输入,使得该电子皮肤在提升人机界面和人形机器人中的感知能力方面展现出类似第六感的潜力。展望未来,其在具身智能中的应用将有望进一步推动人机交互和感官沉浸,为构建未来更复杂的智能感知系统奠定坚实基础。
原文链接:https://www.science.org/doi/10.1126/sciadv.adp8681
- 西安工程大学孙元娜 JMCA:完全疏水离子凝胶用于应变与温度监测的多模态传感器 2024-12-18
- 深大黄龙彪/西工大孔杰/香港理工郝建华 AFM:适应于软体机器人的自修复多模态传感器 2023-07-14
- 加州理工学院高伟教授团队《Sci. Adv.》: 慢性伤口感染检测和治疗的可穿戴生物电子系统 2023-04-06
- 杜学敏/李舟 Adv. Funct. Mater.:仿生超拉伸和高灵敏的结构色电子皮肤 2024-11-11
- 不列颠哥伦比亚大学姜锋教授、Peyman Servati教授《Nano Letters》:壳聚糖改性纤维素多孔结构用于可回收、高灵敏湿度驱动器及自动冷却纺织品 2024-11-01
- 西安工程大学刘呈坤教授团队 Nano Energy:具有高灵敏度和良好的循环稳定性的纤维基可视化应变传感器及其应用 2024-10-04
- 五邑大学罗坚义、澳门大学周冰朴课题组 Mater. Horiz.:基于磁响应微纤毛及导电微穹顶的双模态电子皮肤 2024-11-28