用一台 iPhone XS Max 打造开源数据集,外骨骼要「自主思考」了

去年,饿了么小哥曾化身「机甲骑士」亮相上海,引起网络热议。

用一台 iPhone XS Max 打造开源数据集,外骨骼要「自主思考」了

前不久,解放军陆军士兵也穿上了原本只能在科幻作品中看到的硬核装备,上百斤的弹药箱也能轻松搬运。

用一台 iPhone XS Max 打造开源数据集,外骨骼要「自主思考」了

外卖小哥和解放军战士所穿的这一设备正是「机械外骨骼」。

机械外骨骼也称动力外骨骼(Powered exoskeleton),是由钢铁框架构成的可穿戴机器装置,可为人们提供额外能量,供四肢运动。

纵观机械外骨骼领域,工业装备、物流、建筑、医疗、军事等行业都曾有过商业化尝试,比如我国运用于军事侦查和巡逻的星云 L70 单兵外骨骼机器人、美国公司 Ekso Bionics 和 suitX 推出的工业外骨骼机器人、日本公司 Cyberdyne 推出的医疗和工业领域外骨骼机器人。

不过正如一位行业人士向雷锋网表示的那样:

机械外骨骼发展尚处在早期阶段。

为进一步优化机械外骨骼,一组来自加拿大滑铁卢大学的研究人员正在结合计算机视觉和深度学习,希望机械外骨骼也能像人类一样根据环境变化适应、调整自身。

外骨骼将要“自主思考”

此前,相关研究成果发表于学术期刊《机器人与人工智能前沿》(Frontiers in Robotics and AI),题为 ExoNet Database: Wearable Camera Images of Human Locomotion Environments(ExoNet 数据库:人体运动环境的可穿戴相机图像)。

用一台 iPhone XS Max 打造开源数据集,外骨骼要「自主思考」了

论文作者来自于滑铁卢大学系统设计工程系、滑铁卢人工智能研究所(Waterloo.ai)。

论文介绍了机械外骨骼的一般运作模式:

  • 首先,高级控制器通过使用机器学习算法分析可穿戴式传感器的实时测量值,识别用户的运动模式(或者说意图)。

  • 然后,中层控制器将运动意图转换为特定轨迹。

  • 最后,低级控制器通过使用前馈反馈控制回路来调制设备致动器,从而跟踪参考轨迹并将信号误差降至最低。

用一台 iPhone XS Max 打造开源数据集,外骨骼要「自主思考」了

值得关注的是,机械外骨骼在不同运动模式间进行准确的转换是非常重要的,因为即便是一丁点错误也可能导致失衡甚至是伤害。

当前,机械外骨骼大多需要用户通过手机应用程序或操纵杆手动控制。

自然,这意味着在使用机械外骨骼时会有很多不必要的麻烦。在研究团队看来,传统的需要手动操纵机械外骨骼的方式很大程度上会很不方便,且对认知要求很高。不难想象,用户每次想进行一项新的运动时,都必须先停下来,拿出手机选择想要的模式。

当然这并不意味着如今机械外骨骼的控制方式还是原地踏步。

论文显示,自 2015 年起,已有一些研究团队做了尝试。

比如开发「自动运动模式识别系统」,使用可穿戴传感器(例如惯性测量单元 IMU 和表面肌电图 EMG)在不同运动模式之间自动切换——不过,相比传统方式,这种神经肌肉-机械数据融合的方式提高了运动模式识别的准确性。然而,这种测量仍然取决于患者,且 EMG 容易造成疲劳、电极皮肤电导率变化以及邻近肌肉的串扰。

在此背景下,研究人员为机械外骨骼用户安装了可穿戴摄像头,目前正在优化 AI 计算机软件来处理视频,从而准确识别楼梯、门等周围环境特征,通过调整自身动作来模仿体格健全的人走路。

具体来讲,研究人员给用户安装上一台 iPhone XS Max,也就是所谓的可穿戴智能手机摄像头系统。

用一台 iPhone XS Max 打造开源数据集,外骨骼要「自主思考」了

其设计保证用户在直立时,手机距离地面约 1.3 m,这将支持机载机器学习,从而进行实时环境分类。按照论文的说法,可穿戴式相机系统相对轻巧、不引人注目的特性使人类行走生物力学不受影响。

手机录制了超过 52 个小时的 30 Hz、1,280×720 分辨率视频,总计约 560 万张图像,总共被划分为 12 类,即一个大规模分层数据集 ExoNet(已开源:https://github.com/BrockLaschowski2/ExoNet)。

据了解,ExoNet 包含约 923,000 个单独标记的图像。相比之下,之前最大的数据集包含约 402,000 张图像。可见,ExoNet 在规模和多样性上,与以前的环境识别系统明显不同。

关于作者

上述成果来自于 ExoNet 项目,这一项目由该校系统设计工程专业博士生、滑铁卢人工智能研究所成员 Brokoslaw Laschowski 领导。

用一台 iPhone XS Max 打造开源数据集,外骨骼要「自主思考」了

据了解,Brokoslaw Laschowski 曾获:

  • 多伦多大学运动机能学(生物力学)理学学士

  • 西安大略大学运动机能学(生物力学)理学硕士

  • 滑铁卢大学机械工程硕士

Brokoslaw Laschowski 表示:

在我们的控制方法下,机械外骨骼的运作不一定需要人类思考。我们正在设计的这种外骨骼和假肢就像自动驾驶汽车一样。

据外媒 TechCrunch 报道,ExoNet 项目下一阶段的目标是:通过向电机发送指令,分析用户当前的运动和未来将要接触的地形,使得机械外骨骼顺利进行爬楼梯、避障等行动。

未来,研究人员还希望做到机械外骨骼“自我充电”,提高其能量效率。

引用来源:

https://techcrunch.com/2021/03/15/using-cameras-and-ai-to-help-exoskeletons-adapt-to-their-environment/

https://www.eurekalert.org/pub_releases/2021-03/uow-eca031221.php

https://uwaterloo.ca/motion-research-group/brock-laschowski

https://www.frontiersin.org/articles/10.3389/frobt.2020.562061/full

雷锋网雷锋网雷锋网(公众号:雷锋网)

雷锋网原创文章,未经授权禁止转载。详情见转载须知

(完)