跳至正文
原文导读 · 原标题中译

迈向仿生视觉导航:面向微型飞行器的神经形态导航范式

Towards bio-inspired visual navigation: a neuromorphic navigation paradigm for MAVs

材料发布 2026-10-15 · arXiv · 作者论文 · 核查 2026-10-18
图 2:端到端事件驱动神经形态微型飞行器导航系统。(A)脉冲感知模块将事件流转为紧凑几何特征,脉冲导航策略结合机器人状态与目标方向输出动作。(B)硬件包括 Prophesee EVK4、Jetson Orin NX、x86 主机、Intel Kapoho Bay 及飞行器。(C)受神经元模型支持限制,感知模块在 Orin NX 上运行,导航模块在 Kapoho Bay 上运行;Orin NX 与主机无线通信,并向 Pixhawk 发送控制指令,主机通过 NxSDK 交换脉冲序列。 图片出处
图 3:事件驱动神经形态导航的训练流程。灰度序列经模拟器转为异步事件流,深度估计辅助学习几何特征;事件特征与飞行器状态、目标方向融合后,经群体编码转为脉冲序列,由导航网络处理并解码为动作。碰撞、平滑度及到达目标损失共同监督端到端优化。 图片出处

内容摘要

作者提出面向微型飞行器的事件驱动神经形态视觉导航系统,将事件相机、脉冲神经网络与神经形态处理器连接为导航闭环。感知模块从事件流预测深度并提取几何特征,导航模块结合飞行器状态和目标方向,经群体编码生成脉冲输入,再输出动作并转换为轨迹点;训练结合深度辅助监督与轨迹损失。作者在六个相同仿真环境中与对应 ANN 模型比较,报告成功率、平均航程和导航时间总体相当。真机室内、室外各进行十次试验,分别成功七次、九次。

能耗结果需分开理解:感知模块按 45 纳米 CMOS 运算成本估算的单次推理能耗为 ANN 对应模块的 19.57%;导航模块在 Intel Kapoho Bay 上的单次推理能耗为 0.81 毫焦,对照 ANN 在 Orin NX 的 10 瓦模式下为 3.02 毫焦,采用动态功耗除以推理速率的口径,并非整机飞行能耗。部署也并非全部在机载神经形态硬件上完成:感知网络仍在 Orin NX 上模拟运行,导航网络经无线连接的主机与 Kapoho Bay 协同执行。

点评

这项作者论文把事件感知、脉冲决策和硬件执行接入真机导航闭环,为低推理能耗的微型飞行器导航提供了系统级可行性证据。

尚未实现全部网络的机载神经形态部署,位姿估计仍依赖帧式相机;模块能耗结果不能等同于整机节能。代码、权重和数据仅承诺后续公开,不能据此视为已开放工程产物。

版本与核查范围

版本 2610.21978v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S0.SSx1.p4.1;#S0.SSx4.SSS0.Px3.p1.1;#S0.SSx2.SSS0.Px1.p2.1;#S0.SSx2.SSS0.Px2.p2.1;#S0.SSx2.SSS0.Px2.p3.1;#S0.SSx2.SSS0.Px3.p2.1;#S0.SSx2.SSS0.Px3.p2.1;#S0.T2.5;#S0.SSx4.SSS0.Px7.p2.1;#S0.SSx2.SSS0.Px1.p1.1;#S0.SSx3.p3.1;#S0.SSx3.p2.1