SNN在车载领域中的应用

大家好，欢迎来到IT知识分享网。

车厂正在使用神经形态技术来实现AI功能，如关键词识别、驾驶员注意力和乘客行为监测。

模仿生物大脑过程之所以诱人，是因为它有望实现无需明显增加功耗的情况下，实现先进的功能，这对电动车来说很友好。神经形态计算和感知也有望带来这些优势，比如极低的延迟，在某些情况下可以实现实时决策。这种低延迟和高能效的结合非常有吸引力。

Spike网络

事实是，关于人脑的工作方式，我们仍有些不了解的地方。然而，前沿研究表明，神经元通过相互发送被称为spike的电信号来进行交流，而spike的序列和时间是关键因素（而不是它们的大小）。神经元如何对这些spike作出反应的数学模型仍在研究阶段。但许多科学家都认为，如果多个spike同时（或以非常快的速度连续）到达相邻神经元，这意味着这些spike所代表的信息是相关的，因此导致神经元向相邻神经元发射一个spike。

这与基于深度学习（当今主流AI）的人工神经网络形成了对比，后者的信息通过网络以有规律的节奏传播；也就是说，进入每个神经元的信息被表示为数值，而不是基于时间。

制作基于spike的人工系统并不容易。除了我们不知道神经元的工作原理之外之外，对于训练spike神经网络的最佳方式也没有达成一致。反向传播（Backpropagation）需要计算导数，这对于spike是不可能的。有些公司为了使用反向传播而对spike的导数进行近似计算（如SynSense），有些人使用另一种称为STDP（spike timing dependent plasticity）的技术，这更接近生物大脑的功能。然而，STDP作为一种技术还不太成熟（BrainChip使用这种方法进行边缘的一次性学习）。也有可能采用深度学习CNN，通过正常的方式反向传播训练，并将其转换为在spike域运行（BrainChip使用的另一种技术）。

SynSense Speck

SynSense正在与宝马合作，推进神经形态芯片在智能座舱的集成，并共同探索相关领域。宝马将对SynSense的Speck SoC进行评估，该系统结合了SynSense的神经形态视觉处理器和Inivation的128*128像素事件相机。可用于实时捕捉视觉信息，识别和检测物体，以及执行其他基于视觉的检测和交互功能。

SynSense全球研究运营副总裁Dylan Muir说：“当宝马用视觉感知的Speck模块取代RGB摄像头时，它们不仅可以取代传感器，还可以取代处理标准RGB视觉流所需的大量GPU或CPU计算。”

使用基于事件的摄像头提供了比标准摄像头更高的动态范围，有利于车内和车外极端照明条件下的使用场景。

宝马将探索神经形态技术在汽车上的应用，包括通过Speck模块监测驾驶员的注意力和乘客的行为。

Muir表示：“未来几个月，我们将探索更多的车辆内外应用。”

SynSense的神经形态视觉处理器拥有完全异步的数字架构。每个神经元使用带有8位突触权重、16位神经元状态、16位阈值和单位输入输出spike的整数逻辑。神经元使用一个简单的integrate–and–fire模型，当神经元激发一个简单的1比特spike时，将输入spike与神经元的突触权重相结合，直到达到阈值。Muir表示，总的来说，这个设计是复杂性和计算效率之间的平衡。

SynSense的电子神经元基于integrate–and–fire模型

SynSense的数字芯片是为处理基于事件的CNN而设计的，每一层都由不同的内核处理。内核异步独立运行；整个处理pipeline是事件驱动的。

Muir说：“我们的Speck模块实时运行，低延迟。我们可以在低于5mW功耗下管理20Hz以上的有效推理速率。这比在标准RGB视频流上使用传统的低功耗计算要快得多。”

虽然SynSense和宝马最初将在智能座舱中探索神经形态的使用案例，但它也有可能应用于其他汽车应用领域。

Muir说：“首先，我们将探索非安全关键用例，我们正在计划未来版本的Speck具有更高的分辨率，以及改善我们的DynapCNN视觉处理器，将与高分辨率传感器连接。我们计划这些未来技术将支持先进的汽车应用，如自动驾驶、紧急制动等。”

SynSense和Inivation Speck模块，是一种基于事件摄像头的模块，包含传感器和处理器

BrainChip Akida

奔驰的EQXX概念车曾在年初的CES上首次亮相，采用BrainChip的Akida神经形态处理器进行车内关键词识别。这款车被誉为“奔驰有史以来最高效的车型”，它利用了神经形态技术，比基于深度学习的关键词识别系统功耗更低。对于一辆续航里程620英里（约1000km）的汽车来说，这一点至关重要，这比奔驰的旗舰电动车EQS能多跑167英里。

奔驰当时表示，BrainChip的解决方案在识别唤醒词“Hey Mercedes”时，比传统语音控制的效率高出5到10倍。

奔驰表示，“尽管神经形态计算仍处于初级阶段，但这样的系统将很快在几年内就上市。当在整个车辆中大规模应用时，它们有可能从根本上减少运行最新AI技术所需的功耗。”

BrainChip的CMO Jerome Nadel说：“奔驰关注的是电池管理和传输等大问题，但每一毫瓦都是重要的，当你考虑能效时，即使是最基本的推理，比如发现关键词，也很重要。”

Nadel说，到2022年，一辆普通汽车可能会有多达70个不同的传感器。对于座舱的应用，这些传感器可以实现面部检测、视线评估、情绪分类等功能。

他说：“从系统架构的角度来看，我们可以采用1:1的方式，有一个传感器将进行一定程度的预处理，然后数据将被转发。AI会在传感器附近进行推理……它会向前传递推理元数据，而不是来自传感器的全部数据阵列。”

这一想法是为了将发送到AI加速器的数据包的大小和复杂性降到最低，同时降低延迟和最大限度地减少功耗。Nadel表示，每辆车可能会配备70个Akida芯片或采用Akida技术的传感器，每一个都将是“低成本部件，根本不会注意到他们”。他指出，需要注意所有这些传感器的BOM。

BrainChip预计在车辆上的每个传感器旁边都可以搭载它的神经形态处理器

Nadel表示，展望未来，神经形态处理技术也将应用于ADAS和自动驾驶系统。这有可能减少对其他类型的功耗较大的AI加速器的需求。

他说：“如果每个传感器都可以在一个或两个节点配置Akida，它将做充分的推理，传递的数据将减少一个数量级，因为这将是推理元数据……将影响到你需要的服务器的功率。”

BrainChip的Akida芯片加速了SNN（spike neural networks）和CNN（通过转换到SNN）。它不是为任何特定的用例或传感器量身定制的，所以它可以与人脸识别或人员检测的视觉传感搭配，或其他音频应用，如扬声器ID。BrainChip还展示了Akida的嗅觉和味觉传感器，尽管很难想象这些传感器将如何应用于汽车领域（也许可以通过嗅觉和味觉来检测空气污染或燃料质量）。

Akida被设置为处理SNN或已转化为SNN的深度学习CNN。与原生spike网络不同，转换后的CNN保留了一些spike量级的信息，因此可能需要2位或4位的计算。然而，这种方法允许利用CNN的属性，包括它们从大型数据集提取特征的能力。这两种类型的网络都可以使用STDP在边缘进行更新。在奔驰的例子中，这可能意味着在部署后重新训练网络，以发现更多或不同的关键词。

据Autocar报道，奔驰证实了EQXX概念车的“许多创新”，包括“特定的部件和技术”，将用于量产车型。目前还没有关于奔驰的新车型是否会采用人工大脑的消息。

活动推荐：

ICVS中国智能汽车及自动驾驶博览会，暨同期：中国智能汽车产业链展

2022年9月26-29日

江苏·苏州国际博览中心

30,000m²展览面积

100场会议演讲

500家参展企业

30,000专业观众

点击进入ICVS智能汽车产业联盟主页—>进入菜单栏展会报名页面，即可免费领取参观门票，现阶段报名还将获取更多报告福利。