釋放車載邊緣 AI 的潛力

0:00 汽車創新導論

歡迎收聽《Driving Innovation 》的最新一集，這檔播客節目探討汽車軟體創新與AI 的交匯點，以及它們如何推動未來移動出行的發展。

今天，我們將深入探討軟體定義車輛（Software-Defined Vehicle）的技術與解決方案，如何透過車載邊緣運算（AI ）將車輛從靜態機器轉變為智能且具適應性的平台。這正是我們最新白皮書《釋放車載邊緣運算的潛力》（Unlocking the Potential of In-Vehicle EdgeAI ）所探討的主題，您可從我們的網站下載該白皮書。

0:31 雲端運算的挑戰AI

我們將深入剖析為何基於雲端的AI 尚不足夠、是什麼因素阻礙了OEM的進展，以及SDV如何實現車載即時智慧化——從預測性維護到能源優化，乃至更廣泛的應用。

無論您是正在規劃公司數位發展藍圖的企業領導者，還是負責推動幕後變革的技術專家，這篇文章都適合您。讓我們開始吧。

1:04 來賓介紹

今天與我一同探討車載邊緣運算AI 的，是Sonatus 的產品經理史蒂夫・斯托達德（Steve Stoddard）。史蒂夫，歡迎來到本集播客。謝謝你，桑傑。那麼，我們開始吧。

當今汽車產業中，關於邊緣AI 的熱議是什麼？

是的。我認為目前有幾項趨勢正逐漸匯聚。其中之一就是自動化技術——這項技術在過去十多年來持續發展，如今終於開始真正開花結果。因此，這方面引起了相當大的轟動。

此外，這些傳統的大型語言模型（LLM）正以極快的速度擴展，並形成一股匯聚之勢。雖然它們主要基於雲端運作，但這確實讓「AI 」廣受關注，並引發客戶的濃厚興趣，甚至期待能在當今的車輛中搭載「AI 」。其中一個問題在於，基於雲端的「AI 」存在某種限制，這是因為將數據從車輛傳送至雲端會產生相關的數據傳輸成本；此外，連線問題也始終可能發生。

更不用說還有關於 PII 數據的隱憂——基本上就是個人可識別資訊，或是客戶專有資訊可能外洩的問題。

歐盟的《一般資料保護條例》（GDPR）以及其他以地區為基礎的法規，要求在個人資料管控方面必須更加謹慎，這些因素都促使業界傾向於在車輛內運行AI 模型，而非在雲端運行。

2:24 從雲端轉向邊緣AI

我知道最近「AI 」正蔚為風潮。

當今汽車產業正發生哪些變化，使得邊緣AI 的實現變得比以往更為可行？這在某些較為傳統的既有車輛架構中，過去或許並不存在？

沒錯。絕對是。軟體定義車輛（SDV）這類趨勢，無疑是其中一個重要因素。當然，當系統更多地透過軟體來控制，並能調整某些變數時，這便為AI 車型開啟了許多過去可能不曾存在的功能。

此外，這類機器學習模型中有相當多已日趨成熟。因此，傳統的機器學習某種程度上為推薦模型等技術鋪平了道路，這些技術如今已被廣泛應用於雲端領域，而現在也開始針對車載設備中資源有限的硬體進行更佳的優化，以便在該環境下運行。 與此同時，車載硬體的開發趨勢正逐漸朝向高效能運算（HPC）及更適合AI 神經運算與GPU的運算能力發展，尤其如我先前所述，隨著自動駕駛技術的興起，這類可整合至車載系統的半導體晶片正受到越來越多的關注。

因此，如今車內具備多種功能且性能強大的電子控制單元（ECU），實際上都能運行這類模型。顯然，SDV 技術為將邊緣AI 引入車輛鋪平了道路。

讓我們再深入探討一下這個問題。

3:52 原始設備製造商（OEM）在採用邊緣AI 時面臨的障礙

至今為止，是什麼因素一直阻礙著原始設備製造商（OEM）的發展？

其中一項重要因素將是車載網路拓撲。傳統上，車輛的實際架構與訊號傳輸方式較為僵化且靜態。隨著我們邁向軟體定義車輛（SDV），這種靈活性自然會帶來更多相關功能。

另一個問題在於實際的資料存取。因此，在將AI 模型部署至車輛時，必須考慮的一點是：如何在適當的時機，將作為模型輸入所需的正確資料傳送給該模型。

而這正是新興技術確實開始能實現的其中一項功能。此外，市面上也有許多基於雲端以及類似 MLOps 的工具。這些工具非常適合在雲端部署模型，但這屬於較傳統的機器學習做法。 至於將模型部署到嵌入式裝置（例如車輛）的相關資源和工具則相對較少。我認為，相較於一般的物聯網裝置，車輛在敏感性要求方面可能稍高一些，特別是在資料控制、存取權限等方面。

4:58 專為汽車產業設計的AI 工具

沒錯。因此，運行AI 模型顯然需要兼具靈活性與精準度。關於您提到的、更針對汽車領域設計的AIML運算工具鏈，讓我們再深入探討一下。能否請您詳細說明，為何市面上現有的所有工具可能都不適合用於汽車環境？

是的，絕對是。這確實是個棘手的問題，因為那些能夠取得來自車輛數據的人，通常在訓練和部署模型的過程中，會先彙整所有數據，再以此建構模型，而這類工作通常由資料科學家或機器學習工程師負責。

最後，若要將其導入車輛，必須確保其連接到正確的資料來源，並對模型進行優化——通常包括縮小模型規模、實施稀疏化等技術，接著指定要在車輛中的哪個位置部署該模型，最後還需經過核准流程，確認「我認可這個模型」。 我確信這不會對車內任何其他流程造成影響，因此可以繼續實際部署它。因此我們發現，機器學習工具鏈確實必須涵蓋所有這些關鍵面向。否則，它只會成為一道障礙，導致你無法執行。

沒錯。是啊。這可不是像在大型伺服器上部署AI 那樣簡單。而且，這還是一台必須執行許多其他任務的裝置或平台。最主要的是，你知道的，將乘客和貨物從 A 點運送到 B 點，確保他們的安全，並讓他們感到愉悅和開心。

所以，其中涉及的環節相當多。這點沒錯。

還有許多其他必須考量的關鍵事項。

6:37AI 模型面臨的基礎設施挑戰

我想再深入探討一下基礎架構。我們之前談過，車輛必須執行許多不同的任務，而且這些都是任務關鍵型的任務。這是一個受限的環境，存在許多限制。

原始設備製造商（OEM）可以採取哪些架構上的選擇，既能適應AI 車型的運作環境，同時又能達成車輛的主要任務——即運輸與移動？

因此，當原始設備製造商（OEM）轉型至軟體定義車輛（SDV）時，其中一項變化往往是車內網路架構從類似 CAN 的低速架構，轉變為以乙太網路為基礎的架構。 傳統上，我們會看到更多以乙太網為骨幹的架構。此外，我們也觀察到各種架構，從配備分散式電子控制單元（ECU）的分散式網路，到領域導向架構，甚至區域化架構。在所有這些情況下，通常都會面臨「將模型帶到資料」或「將資料帶到模型」的挑戰。

因此，在這些情況下，您需要具備合適的解決方案，能夠將該模型實際部署至邊緣 ECU 節點，甚至部署至 MCU，以便在資料可用的位置執行。反之，如果您打算將模型部署至例如閘道器中，則需要某種代理程式，用以從邊緣 ECU 擷取資料並傳送至該閘道器。以上便是幾項關鍵要點。 總體而言，我們也認為服務導向架構（SOA）更適合部署這類模型，並能提供在車輛中運行這些模型並實現其功能所需的靈活性。

此外，還必須在容器化環境中運行這些模型。回歸到安全性與任務關鍵性的角度來看，我們必須確保任何部署的模型都能始終保障車輛安全，且不會消耗過多資源，以免影響任務關鍵功能的執行。

沒錯。所以你確實需要一個靈活的平台，能夠將模型部署在通用型 ECU 上，而不必依賴特定的高階 GPU 等等。

因為這些電子控制單元（ECU）還必須執行其他任務，例如管理動力系統、管理資訊娛樂系統。沒錯。真是很有趣。所以必須同時應對許多不同的挑戰。

因此，我明白要將邊緣AI 整合到車輛中，確實需要一套更為量身訂製的解決方案。

沒錯。而正因如此，就這一點而言，優化就顯得格外重要。對吧？由於資源有限，因此你必須確保模型盡可能優化，同時又不犧牲模型效能所需的準確度。很好。

因此，這顯然是一個機會，但也伴隨著挑戰。

9:23 超越 ADAS 的應用案例

正如您所解釋的，SDV 技術能夠為引入更多邊緣AI 應用場景鋪平道路。順帶一提，我們其實還沒有真正討論過應用場景。我知道大家常談論 ADAS 和自動駕駛，而其中很大一部分都依賴於AI 。還有哪些其他應用場景是透過邊緣AI 實現的呢？此外，OEM 廠商究竟為什麼應該重視這一點呢？

沒錯。絕對是這樣。所以我們認為，許多最有趣的應用案例其實完全不在 ADAS 的範疇內，因為那是一條已被廣泛探索的路徑。許多人在這個領域已經做了大量出色的工作。

不過，透過運用車輛中現有的部分傳統矽晶片及傳統硬體，我們認為可以執行更富創意的模型，用以處理個人化設定及特定類型的功能。因此，我可以舉幾個應用案例。從安全角度來看，輪胎磨損與輪胎管理無疑是重要的考量。這方面除了會運用一些傳統的物理模型外，也會整合來自其他來源的數據。

因此，針對某些駕駛行為，甚至可以客製化這些輪胎磨損分析模型或水滑現象模型，以確保車輛在道路上擁有足夠的抓地力。同時向使用者或車內其他系統發出預警，以便調整循跡控制系統等設定。另一個應用領域在於個人化。例如，使用者實際與先進駕駛輔助系統（ADAS）互動的方式。如此一來，便能隨著時間推移逐步啟用新功能，例如。

我的車輛中或許已具備某些能支援新模型的硬體，但我當時要麼沒時間，要麼該功能尚未問世。直到實際將車輛投入量產之際，我才得知這項功能。這些平台能讓車輛部署新模型，並提供更豐富的個人化功能。因此，這或許會造成某種個人化的干擾。

因此，根據使用者的不同，我可能會想根據在當下之前是否曾更頻繁地分心，來調整特定分心提示音的頻率或播放方式。此外還有其他幾項考量。目前也有一些相關法規即將頒布。

歐盟針對頭燈自動水平調節及類似功能所制定的某些法規，將要求具備這類功能。在符合特定法規字面要求的同時，您還可以在此基礎上增添更多功能。例如，現在您已具備新增一項功能的能力，該功能甚至能在行車過程中動態調整頭燈。

我們開始看到，你知道的，ChatGPT 或其他基於大型語言模型（LLM）的模型也逐漸應用於車輛中。除了問 ChatGPT 最近的咖啡店在哪裡，然後導航前往之外，這類基於大型語言模型的模型還有什麼其他應用空間嗎？嗯，有。

沒錯，絕對是這樣。這無疑正是推動該領域熱潮的主要動力。因此，目前有各式各樣的大型語言模型（LLM）及其應用場景。其中包括傳統的聊天助理，我認為許多人都在嘗試使用這些工具，成果與熱忱程度自然各有不同。

這些系統通常會與車載資訊娛樂系統（IVI）進行交互。因此，根據大型語言模型（LLM）的具體應用情境，您可能希望在車輛中的另一台電子控制單元（ECU）上運行它。我們觀察到 LLM 的另一種應用情境，且認為特別具有吸引力，就是網路安全領域。 許多時候，入侵偵測模型針對潛在入侵設有非常細緻且數量眾多的規則，這不僅需要將大量資料傳回雲端，還會產生許多誤報。

在大型語言模型（LLM）的應用上，我們發現有些模型供應商不僅能大幅降低這些誤報，還能涵蓋更廣泛的威脅路徑——基本上就是威脅載體——並能將其簡化為這些模型。當然，其中一個顧慮是：究竟什麼才算大型語言模型？它能否在車載環境中運行？而這正是許多優化專業知識發揮作用之處。

當然，目前仍有小型語言模型（SLM）不斷問世。這裡所指的 SLM 即是「小型語言模型」。

是的，正是如此。至於該將界線劃在哪裡，我認為這仍是一個待解的問題。

但歸根結底，隨著運算能力持續提升——尤其是車載電子控制單元（ECU）中基於 GPU 的神經運算能力不斷增強，加上模型壓縮技術的發展，以及將傳統基礎大型語言模型（LLM）的能力壓縮成越來越小的工具，我認為在未來幾年內，我們將會看到一種趨同現象：車載工具的功能將變得更加強大。

13:54Sonatus在車載邊緣運算中的角色AI

太好了。讓我們來談談Sonatus 以及Sonatus在這項演進中所扮演的角色。我知道，我們是 SDV 技術與解決方案的領導者。這與您剛才提到的內容有何關聯呢？

是的。因此，Sonatus 擁有多款產品，大致可歸類於這些不同類別。對我們而言，一切其實都始於我們的「Foundation」產品，該產品專注於車輛內的電子工程（EE）架構。它基本上負責控制網路流量，並在理想情況下動態調整網路的各項設定，以針對特定使用情境或車輛配置的需求進行優化。

此外，我們還有「Collector」這款產品，基本上能讓客戶在需要的時候，按需從車輛中蒐集數據。因此，與其非得「全要或全不要」，我可以在需要時精準取得所需的數據，而不會在其他時間取得不必要的資訊。 這些功能確實是將「AI 」部署於車內，以及後續階段（即客戶希望在車內採取行動時）的關鍵。因此，我們推出了「Automator」產品，它允許進行配置：當車內滿足特定觸發條件時，系統便會執行某種動作，或向車內其他部位發送訊號以供使用。

而這正是隨著AI 模型被部署到車輛本身，現在可用來與各處進行通訊的潛在輸出或車輛訊號範圍，得以大幅擴展。因此，您實際上可以將車輛中AI 模型的輸出，視同為車輛內生成的訊號，並在其他地方加以利用，或將其傳回雲端以供其他用途。這幾乎就像一個真正的代理程式，對吧？

這正是將虛擬或數位世界與實體世界連結起來。沒錯。絕對是這樣。而且，你知道的，透過雲端上的AI ，當然，在此基礎上，你還能運行更多智慧功能。

因此，像這些大型語言模型（LLMs）這類系統，在行為模式和思考方式上都更接近人類。現在，我們開始將這項能力應用於診斷車輛內發生的狀況，並採取更智慧的行動。沒錯。這就是我們預見的發展方向。

沒問題。當然，我們還有「Updater」，這是我們自家的 OTA 系統。因此，它在車輛整個生命週期中，對於各車型的更新都扮演著重要角色。

絕對是。絕不能輕忽這一點，像 Updater 這樣的 OTA 解決方案確實至關重要，不僅能將該模型部署到車輛中所需運行的位置，還能提供容器化環境來保護其他所有正在進行的運作。

16:22 結論與未來展望

史蒂夫，這真是一場內容豐富的討論。我非常享受這次的對話。再次感謝你抽空參與這集播客。

謝謝你，桑傑。非常感謝。

好吧，就是這樣了。

AI 我們期待一個這樣的未來：車輛不僅是移動創新（mobility innovation）的平台，更是由「AI 」驅動的創新平台。敬請持續關注後續系列節目，我們將更深入探討軟體定義車輛（SDV）技術與「 」的交匯點，以及這將如何真正改變未來移動出行的樣貌。