机器人系统为行动能力严重受限的人们提供食物

康奈尔大学的研究人员开发了一种机器人喂养系统，该系统使用计算机视觉、机器学习和多模态传感来安全地为行动能力严重受限的人提供食物，包括脊髓损伤、脑瘫和多发性硬化症患者。

“用机器人给行动能力严重受限的人喂食很困难，因为许多人无法向前倾斜，需要将食物直接放入嘴里。” 塔波马尤克·“塔波”·巴塔查吉康奈尔大学 Ann S. Bowers 计算与信息科学学院计算机科学助理教授，也是该系统的高级开发人员。 “当为患有其他复杂疾病的人提供食物时，挑战会加剧。”

一篇关于该系统的论文，“感受咬合：使用强大的口腔感知和物理交互感知控制的机器人辅助口内咬合转移”，于 3 月 11 日至 14 日在科罗拉多州博尔德举行的人机交互会议上发表。 它获得了最佳论文荣誉奖，而研究团队更广泛的机器人喂食系统的演示则获得了最佳演示奖。

辅助机器人领域的领导者巴塔查尔吉 (Bhattacharjee) 和他的 企业实验室 我们花了数年时间向机器传授人类进食的复杂过程。 教机器是一项复杂的挑战——从识别盘子上的食物、拿起它们，然后将其放入护理人员的嘴里。

“最后 5 厘米，从器具到口腔内部，极具挑战性，”Bhattacharjee 说。

Bhattacharjee 说，一些护理接受者的张口可能非常有限，小于 2 厘米，而另一些人则可能会意外地出现不自主的肌肉痉挛，即使器具在嘴里也是如此。 此外，有些人只能在口腔内的特定位置咬食物，他们通过用舌头推动器具来表示这一点，他说。

该论文的主要作者、该领域的博士生拉贾特·库马尔·杰纳马尼 (Rajat Kumar Jenamani) 表示：“当前的技术只能观察一个人的面部一次，并假设他们会保持静止，但事实往往并非如此，而且对护理接受者来说可能会受到很大限制。”计算机科学。

为了应对这些挑战，研究人员开发并为他们的机器人配备了两个基本功能：根据用户动作进行调整的实时嘴巴跟踪，以及使机器人能够在发生物理交互时检测其本质并做出反应的动态响应机制适当地。 研究人员表示，这使得系统能够区分突然痉挛、故意咬伤和用户试图操纵口腔内的器具。

在一项跨越三个地点的用户研究中，该机器人系统成功地为 13 名患有不同健康状况的人提供了食物：康奈尔大学伊萨卡校区的 EmPRISE 实验室、纽约市的一个医疗中心和康涅狄格州的一个护理接受者的家中。 研究人员表示，该机器人的用户发现它既安全又舒适。

巴塔查尔吉说：“这是对最终用户的任何自主机器人辅助喂养系统最广泛的现实评估之一。”

该团队的机器人是一个多关节手臂，末端有一个定制的器具，可以感知施加在其上的力。 嘴部追踪方法通过数千张具有不同参与者头部姿势和面部表情的图像进行训练，结合了位于器具上方和下方的两个摄像头的数据。 研究人员表示，这可以精确检测口腔并克服器具本身造成的任何视觉障碍。 Jenamani 说，这种物理交互感知响应机制使用视觉和力感应来感知用户如何与机器人交互。

“我们正在让个人能够仅用舌头控制 20 磅重的机器人，”他说。

他认为用户研究是该项目最令人满意的方面，并指出机器人对护理接受者及其护理人员的重大情感影响。 在一次治疗期间，一名患有脑裂畸形（一种罕见的先天缺陷）女儿的父母亲眼目睹了她使用该系统成功地进食。

“那是一个充满真实情感的时刻； 她的父亲举起帽子庆祝，而她的母亲几乎流下了眼泪。”杰纳玛尼说。

研究人员表示，虽然还需要进一步开展工作来探索该系统的长期可用性，但其令人鼓舞的结果凸显了提高护理接受者的独立水平和生活质量的潜力。

“这太棒了，”巴塔查吉说，“而且非常非常有成就感。”

论文共同作者是：Daniel Stabile，MS '23； 刘子昂，计算机科学领域博士生； 南加州大学的阿布拉·安瓦尔（Abrar Anwar）和哥伦比亚大学的凯瑟琳·迪米特罗普卢（Katherine Dimitropoulou）。

这项研究主要由国家科学基金会资助。

Louis DiPietro 是康奈尔大学安·S·鲍尔斯计算与信息科学学院的作家。