释放车载边缘计算的潜力AI

0:00 汽车创新导论

欢迎收听《Driving Innovation 》的最新一期节目。本播客致力于探讨汽车软件创新与AI 的交汇点，以及它们如何推动未来出行的发展。

今天，我们将深入探讨软件定义车辆技术与解决方案如何通过边缘计算（AI ）将车辆从静态机器转变为智能、自适应的平台。这一主题已在我们的最新白皮书《释放车载边缘计算潜力》（AI ）中详细阐述，您可从我们的网站下载该白皮书。

0:31 基于云的挑战AI

我们将深入分析为何基于云的AI 还远远不够，是什么因素制约了整车制造商的发展，以及软件定义车辆（SDV）如何实现车载实时智能——从预测性维护到能源优化，乃至更广阔的应用领域。

无论您是正在制定公司数字化发展路线图的企业领导者，还是在幕后推动变革的技术专家，本文都适合您。让我们开始吧。

1:04 嘉宾介绍

今天与我一起讨论车载边缘计算AI 的是Sonatus 的产品经理史蒂夫·斯托达德。史蒂夫，欢迎来到本期播客。谢谢你，桑杰。那么，我们开始吧。

目前，汽车行业围绕边缘AI 的热议是什么？

是的。我认为目前有几大趋势正在交汇。其中之一就是自主技术——过去十年左右的时间里，这一领域在这里不断发展，如今终于开始真正结出硕果。因此，这方面引起了广泛关注。

此外，这些传统的大语言模型（LLM）正迅速发展，并呈现出融合之势。尽管它们主要基于云端运行，但这确实让AI 备受关注，也引发了客户浓厚的兴趣，甚至对在当前车辆中搭载AI 抱有实际期待。其中一个问题是，基于云端的AI 存在一定局限性，因为将数据从车辆传输到云端会产生数据成本，而且始终存在潜在的连接问题。

更不用说还有关于PII数据的担忧——基本上就是个人身份信息，以及客户专有信息可能发生的数据泄露问题。

欧盟的《通用数据保护条例》（GDPR）以及其他基于地区制定的法规，都要求在个人数据控制方面保持更高的敏感度，这些因素都促使人们更倾向于在车载设备上运行AI 模型，而非在云端运行。

2:24 从云端向边缘迁移AI

我知道AI 最近特别火。

当今汽车行业正在发生哪些变化，使得边缘AI 变得更加可行，而这些变化在一些较为传统的旧式车辆架构中或许此前并不存在？

是的，确实如此。软件定义汽车（SDV）这一趋势无疑是其中一个重要因素。当然，当车辆更多地通过软件进行控制，且可以调整某些变量时，这便为AI 车型开辟了许多此前可能不曾存在的功能。

此外，其中许多机器学习模型已经日趋成熟。因此，传统的机器学习为推荐模型以及当今云端应用的各类技术铺平了道路，而这些技术现在正开始针对车载有限的硬件资源进行更优化的调整。 与此同时，在车载硬件的研发方面，正呈现出向高性能计算（HPC）和更适合AI 神经计算及GPU的计算能力发展的趋势，尤其如我之前提到的，随着自动驾驶技术的兴起，人们对可集成到车辆中的此类芯片的关注度显著提升。

因此，如今车辆中具备相应能力的ECU种类更加丰富，实际上能够运行此类模型。显然，SDV技术为将边缘AI 引入车辆铺平了道路。

让我们对此再深入探讨一下。

3:52 原始设备制造商（OEM）在采用边缘AI 技术方面面临的障碍

迄今为止，是什么因素阻碍了OEM厂商的发展？

其中一个重要方面将是车载网络拓扑结构。传统上，车辆的实际架构和信号传输方式往往较为僵化且静态。随着我们向软件定义车辆（SDV）转型，这种灵活性自然会带来更多相关功能。

另一个问题是实际的数据访问。因此，在将AI 模型部署到车辆中时，需要考虑的一个问题是：如何在恰当的时机将作为模型输入所需的正确数据发送给该模型。

这正是新技术开始实现的功能之一。此外，市面上还有许多基于云的、类似 MLOps 的工具。这些工具非常适合在云端部署模型，但这属于较为传统的机器学习实现方式。 而用于将模型部署到嵌入式设备（如车辆）上的可用资源和工具则相对较少。我认为，与普通物联网设备相比，车辆在敏感性要求方面略高一些，特别是在数据控制、访问权限等方面。

4:58 专为汽车行业设计的AI 工具

没错。显然，运行AI 模型需要兼具灵活性和精准性。你刚才提到了更针对汽车领域的AIML运算工具链，让我们对此再深入探讨一下。能否详细说明一下，为什么目前市面上现有的所有工具可能都不适合汽车环境？

是的，确实如此。这确实是个棘手的问题，因为能够获取来自车辆数据的人员，其训练和部署模型的流程通常包括收集所有数据，然后基于这些数据构建模型，而这项工作通常由数据科学家或机器学习工程师来完成。

最终，要将模型集成到车辆中，必须确保将其连接到正确的数据源并优化模型——通常需要进行降维处理，实施稀疏化等技术，然后确定在车辆中的具体部署位置，最后通过审批流程确认“该模型已通过验证”。 “我确信它不会对车内其他流程造成任何影响，因此可以继续进行实际部署。”因此，我们发现机器学习工具链确实需要涵盖所有这些关键环节。否则，它就只是一个障碍，你将无法付诸实施。

对。是啊。这可不是像在大型服务器上部署AI 那样简单。而且，这还是一种既要完成许多其他任务的设备或平台。最主要的是，你知道的，把乘客和货物从A点运送到B点，确保他们的安全，还要让他们感到愉快和开心。

所以，涉及的环节确实很多。确实如此。

还有许多其他必须考虑的关键事项。

6:37AI 模型面临的基础设施挑战

我想再深入探讨一下基础设施。我们之前提到，车辆必须执行许多不同的任务，其中不乏任务关键型任务。这是一个受限的环境，存在诸多限制。

OEM厂商可以采取哪些架构设计方案，既能适应AI 车型的使用环境，又能满足车辆作为交通工具和移动工具的主要功能？

因此，当整车制造商向软件定义车辆（SDV）转型时，车内网络通常会从类似CAN的低速架构转变为基于以太网的架构。 传统上，人们更倾向于采用以太网骨干网。此外，我们还能看到从基于分布式ECU的分布式网络，到基于域的架构，甚至到基于区域的架构等各种形式。在所有这些情况下，通常都会面临“将模型与数据匹配”还是“将数据与模型匹配”的问题。

因此，在这些情况下，您需要采用合适的解决方案，将模型实际部署到边缘ECU节点甚至MCU上，以便在数据可用的位置运行。反之，如果您打算将模型部署到网关等设备中，则需要某种代理程序，从边缘ECU获取数据并将其传输到该网关。以上就是其中几个关键要点。 总体而言，我们也认为面向服务的架构更适合部署此类模型，并能提供在车辆中运行这些模型并实现该功能所需的灵活性。

此外，还需要在容器化环境中运行这些模型。从安全性和任务关键型应用的角度来看，我们必须确保部署的任何模型都能始终保障车辆安全，且不会消耗过多资源，以免影响任务关键型功能的正常执行。

是的。所以你确实需要一个灵活的平台，能够将模型部署在通用ECU上，而不依赖特定的高端GPU等设备。

因为这些电子控制单元（ECU）还得承担其他任务，比如管理动力总成、管理车载娱乐系统。确实如此。真有意思。所以，必须同时应对许多不同的挑战。

因此，我明白在将AI 边缘计算技术引入车辆时，确实需要一种更加量身定制的解决方案。

确实。正因如此，优化才显得尤为重要。对吧？资源是有限的，因此你需要确保模型尽可能优化，同时又不牺牲模型性能所需的准确性。很好。

因此，这显然是一个机遇，但也伴随着挑战。

9:23 ADAS 之外的应用场景

正如您所解释的，SDV 技术可以为引入更多边缘计算AI 的应用场景铺平道路。顺便说一句，我们其实还没真正讨论过应用场景。我知道大家常谈论 ADAS 和自动驾驶，而其中很大一部分依赖于AI 。还有哪些其他应用场景是边缘计算AI 所支持的？那么，OEM 厂商究竟为什么要关注这一点呢？

是的，绝对是这样。所以，我们认为，许多最有趣的应用场景其实完全超出了ADAS的范畴，因为那条路已经被走得很熟了。许多人在这一领域都做出了大量出色的工作。

但通过利用车辆中现有的部分传统硅芯片和传统硬件，我们认为可以运行一些更具创新性的模型，以实现个性化功能和某些特定功能。因此，我可以举几个用例作为示例。从安全角度来看，轮胎磨损和轮胎管理无疑是重要的应用场景。这既涉及一些基于物理原理的传统模型，也包括从其他来源获取数据。

因此，针对某些驾驶行为，甚至可以对轮胎磨损分析模型或水滑模型进行个性化调整，以确保车辆在道路上具有足够的抓地力。向用户或车内其他系统发出早期预警，以便调整牵引力控制系统等设置。另一个应用领域是个性化。例如，用户如何与ADAS系统进行交互。这样一来，随着时间的推移，就可以逐步启用新功能，例如。

我的车辆中可能配备了能够支持新模型的硬件，但我没有时间，或者当时该功能尚未推出。在我实际将车辆投入量产时，我对此并不知情。这些平台能够将新模型部署到车辆上，并提供更丰富的个性化功能。因此，这可能会带来某种个性化的干扰。

因此，根据用户的不同，我可能会根据在当前时刻之前是否曾被更频繁地分心，来调整特定分心提示音的频率或播放方式。此外还有其他一些情况。目前正在出台一些相关规定。

欧盟关于前大灯自动调平以及此类相关事项的某些法规将要求具备此类功能。在满足特定法规字面要求的同时，您还可以在此基础上添加更多功能。例如，现在您已经能够添加一项新功能，使前大灯即使在行驶过程中也能进行动态调节。

我们开始看到，你知道的，ChatGPT或其他基于大型语言模型（LLM）的模型也开始应用到汽车中。除了问ChatGPT最近的咖啡店在哪里并导航前往之外，这类基于LLM的模型还有其他应用空间吗？是的。

是的，绝对如此。这无疑正是推动该领域热潮的主要动力。因此，目前存在各种各样的大型语言模型（LLM）及其应用场景。其中包括传统的聊天助手，我认为很多人都在尝试使用它们，虽然成功程度和热情程度各不相同，但这确实是事实。

这些通常会涉及车载信息娱乐系统（IVI）。因此，根据大语言模型（LLM）的具体应用场景，您可能希望将其部署在车辆中的另一块电子控制单元（ECU）上。我们观察到LLM的另一个应用场景，我们认为特别有吸引力，那就是网络安全领域。 很多时候，入侵检测模型针对潜在入侵设有非常具体且数量众多的规则，这不仅需要将大量数据传输回云端，还会产生大量误报。

在大型语言模型（LLM）方面，我们发现一些模型供应商不仅能够显著减少这些误报，还能覆盖更广泛的威胁路径——也就是所谓的威胁载体——并且能够将这些内容简化为这些模型。当然，一个值得关注的问题是：究竟什么才算作大型语言模型？它能否在车辆上运行？而这正是许多优化技术发挥作用的地方。

当然，小型语言模型（SLM）正不断涌现。这里所说的SLM即小型语言模型。

是的，正是如此。至于具体该将界限划在哪里，我认为这还是个待解决的问题。

但归根结底，随着计算能力的持续提升——尤其是车载电子控制单元（ECU）中基于GPU的神经计算能力不断提升，再加上模型压缩技术，以及将传统基础大型语言模型（LLM）的功能压缩为越来越小的工具，我认为未来几年我们将见证一种融合趋势，届时车载工具的功能将变得更加强大。

13:54Sonatus在车载边缘计算中的作用AI

很好。让我们来谈谈Sonatus 以及Sonatus在这场变革中所扮演的角色。我知道，我们是SDV技术和解决方案领域的领导者。这与您刚才提到的内容有何关联？

是的。因此，Sonatus 拥有多款不同产品，大致可归入这些不同类别。对我们而言，这一切其实都始于我们的“Foundation”产品，该产品专注于车辆中的电子工程（EE）架构。它主要负责控制网络流量，并尽可能动态调整网络的各个方面，从而针对特定的使用场景或车辆配置的需求进行优化。

此外，我们还有一款名为“Collector”的产品，它基本上能让客户根据需要，在需要的时候从车辆中采集数据。因此，与其非要“要么全部获取，要么一无所获”，我可以在需要时精准获取所需数据，而无需在其他时间获取。 这些功能对于在车辆中部署AI 至关重要，同时也为下一步奠定了基础——即客户希望在车辆中采取具体行动时。为此，我们推出了Automator产品，它支持配置规则：当车辆中满足特定触发条件时，系统将执行某种操作，或向车内其他部件发送信号以供使用。

而且，随着AI 模型被部署到车辆本身，用于在不同位置之间进行通信的潜在输出或车辆信号的范围现在可以大大扩展。因此，您实际上可以将车辆中AI 模型的输出视为车辆内生成的信号，在其他地方使用它，或者将其发回云端以供其他用途。这几乎就像一个真正的代理。对吧？

它将虚拟或数字世界与物理世界连接起来。没错。绝对是这样。而且，你知道的，借助云端运行的AI ，当然，在此基础上，你还可以运行一些更智能的功能。

因此，像这些大型语言模型（LLMs）这样的系统，在行为方式和思维方式上都更接近人类。现在，我们开始将其能力应用到诊断车辆内发生的情况，并采取更智能的行动。是的。这就是我们所看到的未来发展方向。

当然。此外，我们还有“Updater”，这是我们自主开发的OTA系统。它在车辆整个生命周期内对车载系统的更新中发挥着重要作用。

当然。绝不能忽视这一点，像Updater这样的OTA解决方案对于将该模型部署到车辆中运行，以及提供容器化环境以保护其他所有正在进行的操作，确实至关重要。

16:22 结论与未来展望

史蒂夫，这真是一次内容丰富的讨论。我非常享受这次交谈。再次感谢你做客本期播客。

谢谢你，桑杰。非常感谢。

好吧，事情就是这样。

我们期待着这样一个未来：车辆不仅是出行创新的平台，更是支持AI 的创新平台。敬请关注后续节目，我们将更深入地探讨SDV技术与AI 的交汇点，以及这将如何真正改变未来的出行方式。