单板计算机 (SBC) 在过去二十年间发生了翻天覆地的变化。此类产品过去往往仅配备 8 位 CPU 和少量 RAM,而现在已经变为四核、处理数据飞快又能像一包口香糖一样小的机器。既然边缘计算正在变得越来越热门,那么 SBC 可怎样从中受益?在本文中,我们将着眼于为何 AI 正在远离数据中心,以及 SBC 正在怎样变得更加适合人工智能 (AI)。
AI 的优缺点
由于优势众多,因此在产品中使用 AI 的情况日益增多。这种新型解决方案有助于为客户创造可定制的产品,同时还能为所有客户改善产品。
例如,热门的平台 Google 助理可学习和定制它对单独个人的回答,随后可开发该平台以定制对一整组个人的回答。而这又有助于改善所有客户的体验。
将 AI 融入产品可能颇为困难。AI 最常用的实现方法是基于云的 AI。由于基于云的 AI 系统在数据中心运行其主 AI 算法,因此这种方法要求较高。要求客户设备与数据中心收发信息虽然可行,但存在很多固有的问题,难以健全地整合 AI 系统。
隐私顾虑已成为 AI 一个敏感而主要的问题。敏感信息被发送到未经授权的个人有可能进入的未知地点。我们设想一下 Amazon 在消费者中广受欢迎的基于 Alexa 的产品。Amazon 的 Alexa 具有多项 AI 功能,用户向它提问即可得到回答。仔细想想,Alexa 就像是一部电话,它将用户的问题发送到数据中心供 AI 处理,而不是在设备本地进行处理。由于担心 Alexa 可能会录下并存储对话,而用户对此并不知情或同意,导致大量有权访问 AI 数据或系统的 Amazon 员工可得到这些对话,因此产生了隐私顾虑。
下一个问题是延迟。使用远程数据中心的产品需要发送数据,等待这些数据得到处理,然后获得结果。由于没有任何 Internet 连接可以立即连接,因此将有一小段延迟,而延迟长短可能因流量而异。此外,随着 Internet 用户的数量增多,系统延迟也将提高。这可能会导致产品无响应。
与延迟相关的另一问题是 Internet 访问本身。依靠远程数据中心的常开设备需要连续不断的 Internet 连接。网站提供商和 DNS 服务器暂时发生小问题而可能导致无法访问网站的情况并不罕见。如果确实发生这种情况,那么任何依靠数据中心的产品都不会完全可靠。数据连接不可靠或受限的地点不适合使用依赖 Internet 的设备。
进入边缘计算
边缘计算是一个吸取两方面优点的概念。这种解决方案可减轻隐私顾虑、降低对 Internet 访问的依赖性并提供不依靠数据中心的设备上 AI 算法。简而言之,边缘计算在网络边缘的本地处理数据,其中将边缘视为在它下方没有 Internet 设备的最终设备。这种方法解决了基于云的 AI 系统通常所产生的多种问题和顾虑。
边缘计算将 AI 执行从数据中心转移到设备。虽然一般不在本地执行机器学习(因为这是一项复杂而成本高昂的任务),但可在本地执行作为机器学习过程的结果所产生的神经网络。只需使用神经网络的任务包括手写、手势识别和物体识别。
边缘计算解决的另一问题是延迟。一旦有数据可用,即处理 AI 神经网络,而这样可大大缩短执行时间。边缘计算不是等待设备建立 Internet 连接,发送数据,等待数据中心处理这些数据,然后将结果发回设备用于输入,而是在本地运行整个这一过程,减少对 Internet 的需要,结果就是降低了延迟。由于不使用数据中心处理信息,而这样做经常会存储数据以供后续学习之用,因此使用边缘计算还将可能是隐私的信息保留在设备本地。
但是,虽然边缘计算听起来很不错,但它有一个重大的不利条件:运行 AI 神经网络可能极其复杂和困难!虽然可让 Arduino 等 微控制器 运行神经网络,但它们运行真实网络的速度极低 — 实际上低到与之相比,使用基于云的 AI 系统看上去几乎立等可取。
对于设计人员幸运的是,多家总部设在硅谷的公司已开始生产旨在高效运行神经网络和 AI 算法的 AI 协处理器。由于这些协处理器,主处理器得以腾出时间执行其他任务。
因此,当谈到单板计算机时,对于边缘计算存在哪些选择?
解决方案 1:Google Coral 系列
Google Coral 系列产品 因包括 TensorFlow 协处理器,所以非常适合边缘计算。此款协处理器专为移动和嵌入式应用而设计。通过它,可执行 TensorFlow Lite AI 算法。TensorFlow Lite 是 TensorFlow 的“缩减”版本,为在小型设备上执行 AI 提供一个超出尚可水准的折衷方案。
该开发板是一款 Arm A-53 四核 SBC,其中包括 TensorFlow 协处理器,并集成了 GC7000 Lite 图形 GPU、1 GB LPDDR4 RAM、8 GB eMMC 闪存和用于连接 Internet 的 Wi-Fi SoC。该开发板具有 HDMI 输出、USB 输入和 GPIO,对于在 AI 环境(包括物体识别和语音识别、尤其是在 Internet 访问受限的地点)中进行边缘计算是一个绝佳的解决方案。
在某些情况下,无法改变基本硬件。在这些情况下,以附加装置的形式添加协处理器更容易一些;而这正是 USB 加速器发挥作用之处。Coral USB 加速器是一款 USB 从设备,它为任何所连接的计算机提供 TensorFlow 协处理器 — 无需重新设计 PCB。这两款 Coral 产品的优势在于容易扩展,因为可从主板上卸下开发板处理器单元并将其插入定型产品,同时 USB 加速器具有安装孔,并且占板面积非常小(65 × 30 毫米)。
解决方案 2:Nvidia Jetson Nano
需要在保持低功耗的同时并行运行多个神经网络的 AI 场景将从 Nvidia Jetson Nano 受益匪浅。此款单板计算机可为物体检测和语音处理等应用同时运行多个神经网络,而耗电功率仅为 5 瓦。
此款基于 Arm A57 的 SBC 包括 4 GB LPDDR4 RAM、microSD 卡存储、4K 视频编码、4K 60 fps 视频解码、多个 USB 3.0 端口、GPIO 和其他外围端口。Nvidia Jetson Nano 的 AI 核心可在 472 GFLOPS 的高速下执行,同时 Jetson 产品既可作为开发套件,也可作为模块(开发套件用于开发阶段,而模块在产品中用于最终用途的应用)。
开发套件的小尺寸(100 × 80 × 29 毫米)使其非常适合空间有限的地点,而 Nvidia Jetson Nano 的低功耗还使其非常适合需要 AI 功能但缺少 Internet 和电力的偏远地点。
解决方案 3:Intel 计算棒
Intel 计算棒可以说是目前在售的最小 SBC 之一。它有哪些主要优势?它能将任何 HDMI 显示器变为计算机。
从实物尺寸上说,Intel 计算棒并不比一包普通的口香糖更大(最长 4.5 英寸),然而它里面包含一个 Intel Atom 或 Intel Core M 处理器,最大 4 GB RAM 和 64 GB 存储。
尽管它的尺寸小巧,但 Intel 计算棒仍集成了多种连接形式,包括 Wi-Fi、蓝牙和三个 USB 端口。虽然 Intel 计算棒不含 AI 协处理器,但它性能强大的核心有潜力使其成为边缘计算的候选设备,而这样有可能将 AI 任务带到任何 HDMI 显示器。这使得 Intel 计算棒非常适合需要装入空间有限的位置的交互式终端和家居设备。
解决方案 4:树莓派 4
出于多种原因,使最新款 树莓派 计算机树莓派 4 成为边缘计算应用的潜在候选设备。首先,树莓派 4 的核心基于四核 A72 ARMv8-A,后者的时钟频率高达 1.5 GHz — 比以前任何一代产品都快得多。其次,树莓派 4 含有 4 GB RAM,而包括 Wi-Fi、蓝牙和 GPIO 在内的多种连接使它可与多种硬件交互。Broadcom Video Core VI 使树莓派可控制最大 4K 的多个屏幕,而它相对较小的尺寸(88 × 58 毫米)使它可装入空间有限的位置。
虽然所有这些特性都让树莓派 4 成为潜在的边缘计算候选设备,但它不含 AI 协处理器,因此所有 AI 算法都必须在 CPU 上运行。树莓派 4 可与 Coral USB 加速器相配合以向树莓派 4 提供 TensorFlow 协处理器。这一组合的结果通过双屏功能、用于物体识别的摄像头端口和用于连接硬件的 GPIO,可产生一个用于创建 AI 应用程序的强大平台。
参阅相关产品
展望
虽然并非所有 SBC 都配有 AI 协处理器,但将此类设备(尤其是在嵌入式系统中)加入到您的设计可能会大有裨益。即使不含 AI 协处理器的那些设备仍可依靠 Coral USB 加速器等外部处理器。无论何种方式,嵌入式设备中的 AI 都将成为下一个年代的常态,届时,即使是最简单的设备也将拥有最低限度的智能。