常言道,眼睛是人类心灵的窗口。据统计,视觉在人感知外部世界时所提供的信息占比为83%。人的视线包含人脑注意机制的相关信息,隐含人的认知与意图,通过追踪眼睛的活动能够实现自然高效、响应快速的人机交互,在退化性疾病患者人机交互、颅脑神经诊疗、认知行为研究和智慧座舱等领域具有广泛的应用前景。隐形眼镜作为一种普适的技术,至今在全球范围内已有约1.5亿名隐形眼镜佩戴者。近年柔性光电子技术的发展,使隐形眼镜不再局限于近视校准的基础功能,逐步发展出具有医学诊断、释药、光电刺激、视觉增强等功能的智能隐形眼镜。隐形眼镜天然与眼睛合为一体,若能赋予其眼动追踪的功能,有望实现精准实时、轻量无感、自然高效的眼机交互应用。
图一:《碟中谍4》人机交互智能隐形眼镜
图二:基于眼动追踪隐形眼镜的眼机交互系统
图三:丰富多样的眼机交互应用
用户佩戴眼动追踪隐形眼镜之后,通过简单的隐式校准过程构建眼动响应模型。该模型定标人眼眼球的个体差异、佩戴过程中射频标签位置的随机性以及阅读器空间位置,基于时序眼动追踪算法实现实时动态、高精度的眼动追踪。眼动角精度优于0.5°,甚至小于中央凹所提供的视角。进一步,该隐形眼镜能够识别用户自定义的多种眼部动作:眼动方位和闭眼,以命令编码的形式实现软硬件交互。
图五:基于眼动追踪隐形眼镜的活体兔子眼控无人车
图六:眼部生物相容性测试
总之,该隐形眼镜具有准确稳定的无线眼动追踪能力、丰富多样的交互模式、柔软舒适的结构特性以及生物安全的理化性质,有望开发新一代人机交互智能装备,为无人设备操控、眼脑医学诊疗、眼-脑科学研究、心理学研究提供设备基础。
该工作以“Frequency-encoded eye tracking smart contact lens for human-machine interaction”为题发表在《Nature Communications》上【Nature Communications, 2024, 15:3588】。南京大学徐飞教授、陆延青教授、江苏省人民医院袁松涛主任医师、南京航天航空大学陈烨研究员为文章的共同通讯作者,南京大学博士生朱衡天、杨欢和江苏省人民医院博士生徐思琪为文章共同第一作者,马园园、朱书庚、毛正艺对实验作出了重要贡献。江苏省人民医院胡仔仲副主任医师、南京大学江德臣教授、宁兴海教授、熊毅丰助理教授、潘荣容博士、徐郁蕊博士、陈薇薇博士生对实验提供了重要帮助。该研究得到国家自然科学基金委(61925502、62135007、62305153和 22025403)和国家重点研发计划(2021YFA1401103)的支持。