Sfruttare appieno il potenziale dell’edge computing a bordo dei veicoli AI

0:00 Introduzione all'innovazione nel settore automobilistico

Benvenuti a un’altra puntata di “ Driving Innovation ”, il podcast che esplora il punto di incontro tra l’innovazione nel campo del software automobilistico e l’ AI , e come questo stia plasmando il futuro della mobilità.

Oggi approfondiremo come le tecnologie e le soluzioni per veicoli definiti dal software possano consentire all’ AI e edge di trasformare i veicoli da macchine statiche a piattaforme intelligenti e adattive, un argomento che trattiamo nel nostro ultimo white paper, “Unlocking the Potential of In-Vehicle Edge AI ”, che potete scaricare dal nostro sito web.

0:31 Le sfide del cloud AI

Analizzeremo perché l’ AI e basata sul cloud non è sufficiente, quali sono gli ostacoli che frenano gli OEM e in che modo i veicoli a guida autonoma (SDV) consentono di sfruttare l’intelligenza in tempo reale a bordo dei veicoli, dalla manutenzione predittiva all’ottimizzazione energetica e oltre.

Che tu sia un dirigente aziendale impegnato a definire la strategia digitale della tua azienda o un tecnico che guida i cambiamenti dietro le quinte, questo articolo fa proprio al caso tuo. Cominciamo.

1:04 Presentazione dell'ospite

Oggi è con me Steve Stoddard, product manager qui presso Sonatus, per parlare dell’edge AI a bordo dei veicoli. Steve, benvenuto al podcast. Grazie, Sanjay. Bene, cominciamo.

Qual è oggi l’interesse che circonda l’ AI e edge nel settore automobilistico?

Sì. Credo che al momento ci siano diverse tendenze che stanno in qualche modo convergendo. Una di queste è l’autonomia, che qui si è sviluppata nel corso degli ultimi dieci anni circa e che finalmente sta iniziando a dare i suoi frutti. E quindi se ne parla molto.

Ma c’è anche la convergenza di questi modelli LLM tradizionali che si stanno espandendo molto rapidamente. E sebbene siano per lo più basati sul cloud, questo sta davvero portando molta attenzione all’ AI , suscitando un grande interesse da parte dei clienti e, di fatto, creando aspettative riguardo alla presenza di un’ AI a nelle loro auto già oggi. Uno dei problemi è che l’ AI a basata sul cloud presenta una sorta di limite a causa dei costi associati all’invio dei dati dal veicolo al cloud. E ci sono sempre potenziali problemi di connettività.

Per non parlare poi delle preoccupazioni relative ai dati PII, ovvero le informazioni di identificazione personale, o delle possibili fughe di dati relativi alle informazioni riservate dei clienti.

Fattori quali il GDPR nell’UE e altre normative regionali che richiedono una maggiore attenzione nella gestione dei dati personali contribuiscono a far preferire l’esecuzione dei modelli di intelligenza artificiale ( AI ) direttamente a bordo del veicolo piuttosto che nel cloud.

2:24 Il passaggio dal cloud all'edge AI

So che " AI " va molto di moda in questo periodo.

Cosa sta accadendo oggi nel settore automobilistico che rende l'AI e edge più fattibile rispetto a quanto forse non fosse possibile in passato in alcune delle architetture automobilistiche tradizionali?

Sì, senza dubbio. I veicoli definiti dal software, ovvero la tendenza degli SDV, rappresentano sicuramente un fattore importante in questo senso. Ovviamente, quando i processi sono gestiti in modo più controllato tramite software, che consente di modificare determinate variabili, si aprono numerose possibilità per i modelli di “ AI ” che forse prima non esistevano.

Inoltre, molti di questi modelli di ML si sono ormai consolidati. Il ML tradizionale ha quindi in un certo senso aperto la strada a soluzioni come i modelli di raccomandazione e altre tecnologie oggi utilizzate nel cloud, che ora stanno iniziando a essere ottimizzate per funzionare su hardware limitato, come quello presente nei veicoli. Allo stesso tempo, per quanto riguarda l’hardware in fase di sviluppo per i veicoli, si registra una tendenza sempre più marcata verso i sistemi HPC (High-Performance Computing) e capacità di calcolo che potrebbero essere più adatte all’elaborazione neur AI e e alle GPU, soprattutto con l’affermarsi dell’autonomia, come ho già menzionato. C’è un’attenzione sempre maggiore verso questi tipi di circuiti integrati che possono essere implementati nei veicoli.

Di conseguenza, oggi nei veicoli è disponibile una gamma molto più ampia di centraline in grado di gestire effettivamente questo tipo di modelli. È quindi evidente che le tecnologie SDV aprono la strada all’introduzione dell’ AI e edge nei veicoli.

Approfondiamo un po’ questo argomento.

3:52 Ostacoli per gli OEM nell'adozione dell'AI e edge

Cosa ha frenato finora gli OEM?

Uno degli aspetti più importanti sarà la topologia di rete all’interno del veicolo. L’architettura effettiva del veicolo e i segnali, infatti, sono stati tradizionalmente piuttosto rigidi e statici. Con il passaggio ai veicoli a guida autonoma (SDV), ovviamente, questa flessibilità introduce molte più possibilità in tal senso.

Un altro problema è l'accesso effettivo ai dati. Quindi, uno degli aspetti da considerare quando si implementano modelli di " AI " nel veicolo è come inviare al modello, al momento giusto, i dati corretti necessari come input.

E questa è una delle cose che le nuove tecnologie stanno sicuramente iniziando a rendere possibile. Inoltre, ci sono molti strumenti basati sul cloud e di tipo MLOps. Ottimi per distribuire modelli nel cloud, ma questo è il modo più tradizionale di fare ML. Le risorse disponibili sono più limitate, così come gli strumenti per l’implementazione dei modelli in dispositivi embedded come i veicoli. E ritengo che i veicoli presentino requisiti di sicurezza leggermente più rigorosi rispetto, ad esempio, ai dispositivi IoT generici, in particolare per quanto riguarda il controllo dell’accesso ai dati e aspetti simili.

4:58 Strumenti " AI " specifici per il settore automobilistico

Giusto. Quindi flessibilità e precisione sono, ovviamente, fondamentali per l’esecuzione di modelli di intelligenza artificiale ( AI ). Hai accennato a una catena di strumenti AIML più specifica per il settore automobilistico. Approfondiamo un po’ questo aspetto. Puoi spiegarci meglio perché tutti gli strumenti attualmente disponibili sul mercato potrebbero non essere adatti a un ambiente automobilistico?

Sì, assolutamente. È una questione complessa, perché chi ha accesso ai dati provenienti dai veicoli: in genere, il processo di addestramento e implementazione di un modello prevede la raccolta di tutti i dati e la creazione del modello sulla base di questi, e solitamente se ne occupano i data scientist o gli ingegneri di machine learning.

E poi, in definitiva, per integrarlo in un veicolo, bisogna assicurarsi di collegarlo alle giuste fonti di dati e ottimizzare il modello, in genere ridimensionandolo, implementando alcune tecniche come la sparsificazione, quindi stabilendo dove si desidera implementarlo nel veicolo e, infine, completando il processo di approvazione per confermare: “Questo modello va bene”. So che non interferirà con nessun altro processo del veicolo e posso procedere con la sua effettiva implementazione. Ritiamo quindi che le catene di strumenti di ML debbano davvero soddisfare tutti questi aspetti chiave. Altrimenti, rappresentano solo un ostacolo. Non si sarà in grado di procedere.

Giusto. Sì. Non è come installare “ AI ” su un grande server. E poi si tratta di un dispositivo o di una piattaforma che deve svolgere molte altre funzioni. Innanzitutto, come sai, trasportare persone e merci dal punto A al punto B, garantendo la loro sicurezza e, diciamo, intrattenendoli e rendendoli felici.

Insomma, ci sono un sacco di variabili. Senza dubbio.

Ci sono molti altri aspetti fondamentali da tenere in considerazione.

6:37 Sfide infrastrutturali per i modelli " AI "

Vorrei approfondire un po’ di più la questione delle infrastrutture. Abbiamo parlato di come il veicolo debba svolgere molte attività diverse, attività fondamentali per la missione. Si tratta di un ambiente soggetto a vincoli. Ci sono molte limitazioni.

Quali scelte progettuali possono adottare gli OEM per adattare l'ambiente ai modelli " AI ", pur continuando a soddisfare la missione primaria del veicolo, ovvero il trasporto e la mobilità?

Quindi, uno degli aspetti che caratterizza la transizione degli OEM verso i veicoli a guida autonoma (SDV) è spesso il passaggio da architetture di rete a bassa velocità, come il CAN, all’interno del veicolo, a soluzioni basate su Ethernet. Tradizionalmente, si tende a preferire una dorsale Ethernet. Si osservano poi diverse configurazioni: dalle reti più distribuite con centraline distribuite (ECU) alle architetture orientate ai domini, fino alle architetture a zone. In tutti questi casi, si presenta generalmente il problema di dover portare il modello ai dati oppure i dati al modello.

E quindi, in questi casi, è necessario disporre delle soluzioni giuste che consentano di implementare effettivamente quel modello in quel nodo ECU periferico o persino in un’MCU, affinché venga eseguito proprio dove sono disponibili i dati. Oppure, al contrario, se si intende inserire il modello, ad esempio, in un gateway, è necessario disporre di una sorta di agente che acquisisca i dati dall’ECU periferica e li trasferisca a quel gateway. Questi sono quindi alcuni degli aspetti fondamentali. In generale, riteniamo inoltre che un’architettura orientata ai servizi sia più adatta all’implementazione di questo tipo di modelli e offra la flessibilità necessaria per eseguirli a bordo del veicolo e sfruttarne le potenzialità.

Ma anche la necessità di eseguirli in un ambiente containerizzato. Tornando a quel punto di vista incentrato sulla sicurezza e sulle funzioni mission-critical, vogliamo assicurarci che qualsiasi modello implementato garantisca sempre la sicurezza del veicolo e non consumi troppe risorse, che altrimenti impedirebbero l’esecuzione di tali funzioni mission-critical.

Sì. Quindi serve davvero una piattaforma flessibile che permetta di implementare i modelli in ECU generiche, senza dover fare affidamento su GPU specifiche di fascia alta e così via.

Visto che quelle centraline devono svolgere anche altre funzioni, come la gestione del gruppo motopropulsore e dei sistemi di infotainment. Assolutamente. È davvero interessante. Quindi ci sono molte sfide diverse che bisogna affrontare contemporaneamente.

Quindi capisco che sia necessaria una soluzione molto più su misura per integrare l'AI e edge nei veicoli.

Assolutamente. Ed è proprio qui, a questo punto, che l’ottimizzazione diventa così importante. Giusto? Le risorse sono limitate e quindi bisogna assicurarsi che i modelli siano il più possibile ottimizzati senza rinunciare alla precisione necessaria per le prestazioni del modello. Ottimo.

È quindi evidente che si tratti di un’opportunità, ma ci sono anche delle sfide.

9:23 Casi d'uso oltre l'ADAS

E, come hai spiegato, le tecnologie SDV possono aprire la strada a un maggior numero di casi d’uso dell’ AI e edge. A proposito, non abbiamo ancora parlato dei casi d’uso. So che si parla di ADAS e di guida autonoma, e gran parte di ciò dipende dall’ AI e. Quali sono alcuni degli altri casi d’uso resi possibili dall’ AI e edge? E poi, perché gli OEM dovrebbero davvero interessarsene?

Sì, assolutamente. Quindi molti dei casi d’uso che riteniamo più interessanti esulano in realtà completamente dall’ADAS, perché si tratta di un percorso già ampiamente battuto. Molte persone hanno svolto un ottimo lavoro in quell’ambito.

Ma utilizzando parte del silicio più tradizionale, ovvero l’hardware tradizionale già presente nel veicolo, riteniamo che sia possibile eseguire modelli più interessanti in grado di gestire la personalizzazione e determinati tipi di funzionalità. Posso quindi fornire alcuni esempi di casi d’uso. Certamente l’usura degli pneumatici e la loro gestione possono entrare in gioco dal punto di vista della sicurezza. Esistono quindi alcuni modelli tradizionali basati sulla fisica, oltre all’utilizzo di dati provenienti da altre fonti.

Quindi, in base a determinati comportamenti di guida, è possibile personalizzare questi modelli di analisi dell’usura degli pneumatici o anche i modelli relativi all’aquaplaning, assicurandosi di avere un’aderenza sufficiente sulla strada. Fornendo un preavviso sia all’utente che ad altri sistemi del veicolo per modificare il controllo della trazione o aspetti simili. Un altro ambito è quello della personalizzazione. Ad esempio, il modo in cui un utente potrebbe effettivamente interagire con un sistema ADAS. Ciò può consentire, ad esempio, l’attivazione di nuove funzionalità nel corso del tempo.

Potrei avere a bordo del veicolo una certa dotazione hardware in grado di supportare un nuovo modello, ma non ho tempo oppure tale modello non esisteva ancora. Non ne ero a conoscenza nel momento in cui ho effettivamente avviato la produzione del veicolo. Queste piattaforme consentono di implementare nuovi modelli sul veicolo e offrono un livello di personalizzazione ancora maggiore. Quindi, in questo caso, potrebbe esserci una distrazione legata alla personalizzazione.

Quindi, a seconda di chi sia l’utente, potrei voler modificare la frequenza o il modo in cui viene riprodotto un determinato segnale acustico di distrazione, a seconda che io sia stato distratto più o meno immediatamente prima del momento attuale. Ce ne sono anche altri. Stanno per entrare in vigore alcune normative.

Alcune normative dell’UE relative alla regolazione automatica dei fari e ad altri aspetti simili richiederanno questo tipo di funzionalità. È possibile aggiungere ulteriori funzionalità oltre a quelle necessarie per soddisfare alla lettera una determinata normativa. Ad esempio, ora è possibile aggiungere una nuova funzione in grado di regolare dinamicamente i fari anche durante la guida.

Stiamo iniziando a vedere, sai, che ChatGPT o altri tipi di modelli basati su LLM stiano facendo il loro ingresso anche nei veicoli. C’è spazio per l’introduzione di questo tipo di modelli basati su LLM, sai, al di là, sai, di chiedere a ChatGPT dove si trova il bar più vicino, sai, e di farsi guidare fino a lì? Sì.

Sì, assolutamente. Ed è proprio questo che sta alimentando gran parte dell'entusiasmo in questo settore, senza dubbio. Esistono quindi diversi modelli di linguaggio di grandi dimensioni (LLM) e vari casi d'uso per ciascuno di essi. Ci sono i tradizionali assistenti di chat, che credo molti stiano provando, con vari livelli di successo ed entusiasmo, ovviamente.

Spesso questi si integrano con l’IVI. Pertanto, a seconda del caso d’uso specifico di un LLM, potrebbe essere opportuno eseguirlo su una centralina diversa all’interno del veicolo. Un altro caso d’uso degli LLM che abbiamo osservato e che riteniamo particolarmente interessante riguarda il settore della sicurezza informatica. Molto spesso i modelli di rilevamento delle intrusioni presentano regole molto specifiche e numerose per le potenziali intrusioni e richiedono il trasferimento di grandi quantità di dati al cloud, oltre a generare molti falsi positivi.

Con gli LLM, stiamo scoprendo che alcuni fornitori di modelli sono in grado di ridurre in modo significativo quei falsi positivi, oltre a coprire una gamma molto più ampia di percorsi di minaccia – in sostanza, i vettori di minaccia – e di semplificarli in questi modelli. Una preoccupazione, ovviamente, è: cosa costituisce un LLM e può funzionare a bordo del veicolo? Ed è proprio qui che entra in gioco gran parte di quel know-how in materia di ottimizzazione.

Naturalmente, vengono continuamente lanciati nuovi SLM. Gli SLM sono modelli linguistici di piccole dimensioni.

Sì, esatto. Dove tracciare esattamente quel confine, credo sia una questione ancora aperta.

Ma, in fin dei conti, con il continuo aumento della potenza di calcolo e, in particolare, delle capacità di elaborazione neurale di tipo GPU nelle centraline elettroniche dei veicoli, nonché con la compressione dei modelli e la riduzione o la compressione delle capacità di quei modelli di linguaggio di base tradizionali in strumenti sempre più piccoli, credo che nei prossimi due anni assisteremo a una convergenza che renderà questi strumenti a bordo dei veicoli molto più potenti.

13:54 Il ruolo di " Sonatus" nell'edge computing a bordo dei veicoli AI

Ottimo. Parliamo del ruolo di Sonatus e Sonatusin questa evoluzione. So che siamo leader nel settore delle tecnologie e delle soluzioni SDV. In che modo questo si ricollega a quanto hai detto prima?

Sì. Quindi Sonatus offre una serie di prodotti diversi che rientrano in queste diverse categorie. Per noi, tutto parte dal nostro prodotto Foundation, incentrato sull’architettura EE del veicolo. Si occupa fondamentalmente di controllare il traffico di rete e, idealmente, di modificare dinamicamente alcuni aspetti della rete al fine di ottimizzarla in base al caso d’uso specifico o alle esigenze della configurazione del veicolo.

C'è poi il nostro prodotto Collector, che in sostanza permette ai clienti di raccogliere dati dal veicolo quando e come serve. Quindi, invece di dover ottenere tutto o niente, posso ottenere esattamente ciò che voglio quando ne ho bisogno e in nessun altro momento. E questi aspetti sono davvero fondamentali per poter implementare l’ AI o nel veicolo insieme al passo successivo, ovvero quando un cliente desidera intervenire attivamente all’interno del veicolo. Abbiamo quindi il prodotto Automator, che consente di configurare il sistema in modo che, quando nel veicolo si verificano determinate condizioni di attivazione, venga eseguito un’azione specifica o venga inviato un segnale in un altro punto del veicolo per l’utilizzo.

E questa è una di quelle cose per cui, con l’avvento dei modelli “ AI ” implementati direttamente nel veicolo stesso, ora lo spettro delle possibili uscite o dei segnali del veicolo che si potrebbero utilizzare per comunicare da un punto all’altro può espandersi notevolmente. Quindi è effettivamente possibile utilizzare le uscite di un modello “ AI ” nel veicolo come se fossero un segnale generato all’interno del veicolo stesso e utilizzarle altrove o inviarle nuovamente al cloud per altri scopi. Quasi come un vero e proprio agente. Giusto?

Si tratta di collegare il virtuale o il digitale al mondo fisico. Senza dubbio. Assolutamente. E poi, con, sai, l’ AI e nel cloud, ovviamente, oltre a tutto questo, è possibile implementare funzionalità più avanzate.

Quindi, sistemi come questi LLM si comportano e ragionano in modo un po’ più simile a quello umano. Ora si inizia ad aggiungere loro la capacità di diagnosticare ciò che sta accadendo all’interno del veicolo e di intraprendere azioni più intelligenti. Sì. È proprio in questa direzione che vediamo evolversi la situazione.

Certo. E poi, ovviamente, abbiamo Updater, che è il nostro sistema OTA. Questo svolge un ruolo importante, come sai, nell’aggiornamento dei modelli durante l’intero ciclo di vita del veicolo.

Assolutamente sì. Non vanno certo trascurate: le soluzioni OTA come Updater sono davvero fondamentali per portare quel modello dove deve essere eseguito all’interno del veicolo, oltre che per offrire quell’ambiente containerizzato necessario a proteggere tutte le altre operazioni in corso.

16:22 Conclusioni e prospettive future

Beh, è stata una discussione davvero istruttiva, Steve. Mi è piaciuta molto la nostra chiacchierata. Grazie ancora per aver partecipato al podcast.

Grazie, Sanjay. Lo apprezzo molto.

Beh, ecco qua.

Non vediamo l’ora di vivere un futuro in cui i veicoli non saranno solo piattaforme per l’innovazione nella mobilità, ma anche per l’innovazione basata sull’ AI. Restate sintonizzati per altri episodi in cui approfondiremo ulteriormente l’intersezione tra le tecnologie SDV e l’ AI e come ciò trasformerà davvero il futuro della mobilità.