如何嵌入式AI在2020年及以后发展

已创建：June 25, 2020
已更新：July 1, 2024

AI、机器学习、物联网、边缘计算……在嵌入式硬件和软件社区中的热词列表很长，但这些词汇因为在开发者之外变得更加普遍而脱颖而出。过去大约10年里，通用嵌入式计算的进步令人印象深刻，已经达到了我可以将我公司的区块链节点放在我口袋里的地步。通用计算确实已经走了很长的路，改变了现代生活。

那么嵌入式AI呢？如果你看看嵌入式AI计算平台的进步，它确实落后于通用嵌入式计算。在最近过去，嵌入式AI并不是真正的嵌入式，并且严重依赖于云计算。一类新的ASIC即将改变嵌入式AI的动态，硬件设计师应该准备好围绕这些新组件构建系统。以下是嵌入式AI世界即将出现的内容，以及新的嵌入式系统如何利用这些变化。

从云到边缘

嵌入式AI的梦想是在边缘以专用硬件进行高效能计算。这些设备上的AI模型需要能够在设备级别或在云中进行训练，然后需要将训练好的模型传回边缘。回顾最近过去以及AI景观的演变，我们已经看到了从云到边缘的计算能力缓慢卸载。

这在很大程度上得益于更便宜、更强大的嵌入式计算平台。像树莓派或BeagleBone这样的板子足够强大，可以在设备级别使用预训练模型提供数值预测或简单分类（例如，图像、文本或音频）。然而，在这些平台上进行设备级别的训练需要大量的时间，因此训练最好在云中进行。新的AI特定硬件平台正试图填补这一空白，并已成功加速计算并启用更高级的任务。一个例子是结合对象检测、面部识别和视频数据的图像分类，这使得在安全和汽车等领域的应用成为可能。

嵌入式AI从云到边缘的进展。

谷歌和英伟达最近在发布专门用于嵌入式AI应用的硬件平台方面有些许竞争。谷歌的TensorFlow处理单元（TPU）作为Coral硬件平台的一部分发布；这个平台专门用于在设备上运行TensorFlow模型。这使它更接近一个真正的特定应用嵌入式AI平台。

NVIDIA的Jetson平台虽然仍然类似于通用计算平台，因为它使用GPU，但固件专为设备上的AI计算而优化。目前，NVIDIA提供了四种专为AI设计的选项，可用于嵌入式应用。这些NVIDIA产品仍然消耗相对较大的功率并产生极端的热量，因为它们是基于传统GPU架构构建的，这限制了它们在较小的IoT产品中的用途。

嵌入式AI瓶颈：关注专为AI设计的IC

嵌入式AI的瓶颈不是处理瓶颈，而是尺寸和热量瓶颈。通用处理能力是存在的，GPU/TPU产品已被降级为通用嵌入式AI。想想亚马逊的Alexa；你不需要一个特定应用的处理器来执行嵌入式AI任务，因为设备需要执行许多其他功能。此外，它从墙壁插座获得持续的电力，并设计为持续连接到互联网。这类嵌入式系统要执行的任务范围足够广泛，不需要专用的IC。

在高度特定的应用和功能中的新型IoT产品需要新东西：一个专为AI设计的IC。当我提到“专为AI设计的IC”时，我不是指GPU或TPU。相反，我指的是具有专用硬件架构的IC，用于以较低的功耗运行特定类型的AI模型，且几乎没有或没有外设。

无晶圆厂IC初创公司正在加大力度填补这一空白，提供可以在其他产品中实施的新IP，或提供高度特定应用的嵌入式AI能力的独立IC。我正在合作的一家公司即将发布这样的产品，以针对5G-IoT、机器人、工业4.0以及其他预计将由嵌入式AI主导的领域。

如果你正在构建新的IoT产品、机器人、汽车产品或其他需要嵌入式AI能力的系统，请注意具有以下一些特性的新型专为AI设计的IC：

设备上的训练：这方面的嵌入式AI仍然依赖于云计算能力，但最好的专为AI设计的IC将允许设备上的训练，例如，在监督学习应用中。
高速接口：显然，任何专为AI设计的IC都需要与板上的其他组件接口，并且它将使用一些高速接口。I2C和SPI是理想的接口，尽管我预计其他高速接口将被用来连接计算机外设。
针对特定AI模型的优化：AI/ML模型涉及重复的矩阵计算和优化步骤，硬件架构将被设计为执行不同AI/ML模型中涉及的算法。低功耗：将AI计算的功耗降低到亚毫瓦级别对于持续的设备上训练、分类和预测在数据密集型AI应用中至关重要。一个优化的架构可以帮助设计师克服热量瓶颈，这也允许新产品的整体尺寸被减小。