Un livello di sicurezza del 99,9% è sufficiente per i robotaxi?

0:00 Introduzione: la promessa dei veicoli autonomi

Oggi in The Garage , esamineremo la guida autonoma in un modo nuovo. Tutti sono entusiasti di vedere quanti progressi hanno fatto i veicoli autonomi negli ultimi anni con Waymo e Zoox e molte altre aziende ora disponibili commercialmente. Molte persone in città come qui a San Jose, nella Bay Area dove viviamo, possono chiamare un robotaxi sul loro telefono e questo arriva senza conducente e li porta a fare un giro. Ed è stato incredibilmente emozionante e di successo da vedere. Io, personalmente, nella mia carriera ho lavorato sui robotaxi circa cinque anni fa quando non erano ancora del tutto pronti ed è stata un'esperienza molto frustrante per me. Quindi vedere quanti progressi hanno fatto è davvero stimolante vedere come sta andando questa tecnologia e un uso incredibile di AI .

Detto questo, con l'aumento del numero di robotaxi, la complessità di realizzare robotaxi che funzionino bene e che siano economicamente sostenibili su larga scala, fino a raggiungere migliaia e migliaia di veicoli, rappresenta una sfida ancora maggiore. E chi meglio di un vero esperto che studia questo settore da trent'anni può parlarne? Il nostro ospite di oggi è il professor Phil Koopman, da poco in pensione, della Carnegie Mellon University, che ha dedicato trent'anni allo studio dei robotaxi e di altri aspetti dell'ingegneria della sicurezza e ci parlerà dei vantaggi e delle sfide legate alla realizzazione di robotaxi realmente sostenibili su larga scala.

Andiamo.

Sono John Heinlein, Chief Marketing Officer di Sonatus Siamo molto lieti di avere Phil Koopman qui con noi oggi. Phil, benvenuto a The Garage .

Grazie per avermi invitato. Sono felice di essere qui.

Entrambi abbiamo un forte legame con la Carnegie Mellon. Io ho studiato lì come studente universitario. Tu sei stato professore per molto tempo. E credo che le nostre strade si siano incrociate quando io ero uno studente e tu uno studente di dottorato. Inizia raccontandoci il tuo percorso.

Certo. Il mio percorso di studi è iniziato con una laurea triennale in ingegneria informatica presso il RPI.

Dopodiché, ho prestato servizio in Marina perché sono stati così gentili da pagarmi gli studi universitari. Funzionava così a quei tempi. Poi ho lavorato bene, sono andato alla Carnegie Mellon University, ho conseguito un dottorato, ed è lì che ci siamo incontrati. Ero assistente didattico in un corso di progettazione hardware, sulle CPU a bit-slice per chi sa di cosa si tratta. È stato un corso divertente. Dopo la laurea, ho lavorato per Harris Semiconductor come progettista di CPU. Ho trascorso un periodo alla United Technologies presso il Central Research Center, ho acquisito molta esperienza nel settore dei sistemi embedded e infine sono tornato alla Carnegie Mellon come professore, ho insegnato lì per quasi trent'anni e sono andato in pensione di recente.

Beh, congratulazioni per la tua incredibile carriera e per il tuo curriculum davvero prestigioso. Ma ne parleremo più avanti. Prima, però, raccontaci una curiosità su di te.

Certo. La cosa divertente è che durante la Guerra Fredda, nella Marina, comandavo sottomarini. Ho una medaglia al valore, ma non posso dirti come l'ho ottenuta.

È una storia incredibile. Adoro i film sui sottomarini, Das Boot e Caccia a Ottobre Rosso. Sono storie fantastiche, quindi ti invidio per la tua esperienza.

Beh, "Caccia a Ottobre Rosso" è un film eccezionalmente bello. È molto fedele al tipo di cose che facevo all'epoca.

3:15 Fondamenti di ingegneria della sicurezza

Molto interessante. Quindi, parlaci della tua carriera alla CMU e in particolare dell'ingegneria della sicurezza. Era una delle tue specializzazioni principali. Mi chiedo se potresti spiegare al nostro pubblico cos'è l'ingegneria della sicurezza e in che modo si differenzia, per così dire, dall'ingegneria classica, ovvero dalla semplice costruzione di qualcosa. Come la integra?

Certo. Mi occupo specificamente di sicurezza delle auto a guida autonoma da trent'anni e ho fatto molti altri tipi di ingegneria della sicurezza per... ho perso il conto di 200 revisioni di progetti di sistemi embedded, e ho perso il conto circa 15 anni fa. E alcuni di questi erano semplicemente "non funziona", ma molti riguardavano la sicurezza in diversi ambiti. Quindi ho visto molti standard di sicurezza, molta sicurezza.

E se proprio dobbiamo ridurre il concetto di sicurezza all'essenziale, in sostanza si riduce al fatto che, quando si costruisce un sistema e lo si testa, agli ingegneri viene insegnato ad assicurarsi che funzioni. E sono bravissimi a gestire i casi ideali, ma forse non quelli problematici. L'ingegneria della sicurezza non riguarda il come far funzionare qualcosa, ma cosa succede quando qualcosa va storto.

Nello specifico, quello che ti viene insegnato è creare un elenco di pericoli, cose che possono causare problemi. Molto spesso si tratta di lesioni personali, ma potrebbe anche trattarsi di gravi danni alle attrezzature. Potrebbero essere tante cose diverse. L'importante è che succeda qualcosa di brutto.

Si fa un elenco di tutte le cose che possono andare storte e si elabora un piano per assicurarsi che non accadano o, se accadono, che il danno venga in qualche modo mitigato. Quindi l'ingegneria della sicurezza consiste nell'elencare i pericoli, capire come mitigare il rischio derivante da tali pericoli e assicurarsi che i requisiti di sicurezza vengano inclusi nei requisiti di ingegneria, il che significa che ora bisogna progettare il comportamento di sicurezza in modo intenzionale e testare che i dispositivi di sicurezza funzionino effettivamente. Un esempio molto semplice: su un treno ci sono i freni ad aria compressa.

Se qualcosa va storto, c'è una bombola di aria compressa, basta premere un pulsante e il treno frena bruscamente. E a cosa serve? Beh, ci sono un sacco di problemi che possono capitare su un treno, ma la maggior parte si risolve frenando bruscamente. Quindi questo è il piano.

È interessante descriverlo in questo modo e penso che tu abbia ragione. Come ingegnere, vuoi far funzionare qualcosa, ma devi anche considerare tutti i possibili scenari di guasto. E credo che ci sia un concetto chiamato "fail safe" e "fail dangerous" (fallimento sicuro) di cui si parla spesso. Immagino che il tuo obiettivo sia innanzitutto evitare che il guasto si verifichi. Ma se dovesse accadere, fare in modo che il guasto avvenga in modo controllato, senza compromettere la sicurezza. È una descrizione corretta?

5:37 Fallimento sicuro e fallimento operativo

Sì. Beh, fino a poco tempo fa era così. Nei sistemi classici, se si disattiva l'alimentazione, è sicuro. Se si ha un processo chimico e si riesce a riportarlo a temperatura ambiente invece che a vapore surriscaldato, è molto più sicuro.

Quindi, l'obiettivo è evitare il problema. Si vuole trovare un modo per risolvere una situazione pericolosa, riportandola in sicurezza, e di solito questo significa dissipare l'energia. Immaginate un'auto: la fermate. Il problema è che in alcune situazioni ridurre l'energia a zero non è sufficiente.

Quindi, immaginate un aereo con un incendio al motore a 35.000 piedi di altitudine. Spegnere tutti i motori è la mossa sbagliata, giusto? Ed è per questo che esiste il sistema di sicurezza, che di solito si chiama "fail-safe" (arresto in caso di guasto).

Basta spegnere tutto, disattivare tutto e si è al sicuro. E questo funziona in molti posti. Ma in alcuni casi, se è coinvolto un movimento ad alta velocità, è necessario continuare a lavorare abbastanza a lungo da permettere lo spegnimento. E c'è un motivo per cui gli aerei di linea hanno due motori e due o più sistemi di controllo del volo: quando uno si guasta, non basta arrestarsi, ma bisogna rimanere operativi abbastanza a lungo da potersi mettere in una posizione sicura.

E questo vale anche per le auto. Se stai viaggiando a 60 miglia orarie in autostrada e lo sterzo, beh, lo sterzo ha un problema. Si bloccherà.

Non funziona.

È necessario che lo sterzo funzioni abbastanza a lungo da riuscire a spegnere l'auto.

È vero. E non puoi nemmeno fermarti del tutto, perché altrimenti un'altra macchina dietro di te ti tampona.

Quindi devi in ​​qualche modo farlo con grazia…

Devi uscire dalla strada. Devi uscire dalla corsia di marcia. Voglio dire, potrebbe esserci un caso molto raro in cui non c'è niente che tu possa fare. Se il motore si stacca dall'auto, c'è un limite a ciò che puoi fare. Ma nella quasi totalità dei casi, hai bisogno di abbastanza potenza per uscire dalla corsia di marcia. Quindi devi passare dalla modalità operativa normale a una modalità operativa di recupero con meno capacità e un tempo di missione molto breve, ma quel backup deve essere presente. Quindi devi avere dei backup, altrimenti non funziona.

È fantastico. Stiamo conseguendo una laurea in ingegneria della sicurezza qui nel podcast di oggi.

Credo che tu abbia menzionato di lavorare nel campo della guida autonoma da trent'anni e, ovviamente, in questo periodo ci sono stati enormi progressi, da una semplice idea nella mente di qualcuno alla possibilità di fermare un robotaxi proprio fuori dal mio ufficio. Quindi, iniziamo parlando degli aspetti più positivi che abbiamo visto e poi passeremo a quelli più pragmatici. Stiamo assistendo alla nascita di robotaxi concreti, come quelli di Waymo, Zoox e altri, che è possibile noleggiare. Certamente ci sono anche soluzioni in Cina, di cui forse non si conosce la situazione, che sono già in fase di implementazione pratica in alcune città e in ambiti operativi limitati. Sicuramente ne parleremo.

Quindi, nel periodo in cui hai svolto questo lavoro, devono esserci stati progressi incredibili.

Beh, sono passati trent'anni, ma ci sono stati grandi progressi. Quindi è importante dire di sì. Assolutamente. Puoi chiamare un robotaxi. Ho fatto dei giri sui robotaxi. È una tecnologia incredibile.

E il punto è che, in materia di sicurezza, il 99,9% è un buon inizio. Non è il traguardo finale. Giusto?

E ci sembra di essere al 99% perché, santo cielo, si può andare alla grande con i robotaxi, ma ci sono voluti trent'anni. Quindi trent'anni fa, trentuno anni fa, la Carnegie Mellon aveva un'auto che andava da Washington DC a San Diego con il 98% delle mani del conducente tolte dal volante, e ci è voluto tutto questo tempo per ottenere quell'ultimo 1,999%, qualunque cosa sia. Chiaro?

Ma è stato un grande progresso perché è un risultato straordinario. In realtà non c'è nessuno lì dentro a guidarlo. Non c'è, sai, nessun uomo dietro le quinte la maggior parte delle volte che queste macchine sono in movimento. È fantastico.

E sembra che ci siamo quasi, ma penso che quello di cui parleremo oggi è che quando avremo 100 robotaxi in circolazione, sarà un risultato straordinario.

9:26 Le sfide legate all'espansione delle flotte di robotaxi

Ma passare da 100 robotaxi a 100.000 robotaxi è tutta un'altra storia. E quello che mi piace dire è: fatto al 99%, resta ancora il 99% da fare.

Voglio dire, è un altro modo per dirlo, perché come sai, come hai accennato, quando pensi, sai, è famoso nel mondo degli affari parlare di cinque nove, cioè 99,999 o sappiamo quanti nove vuoi. Il punto è che dipende davvero da qual è il numeratore. Giusto? Se ci sono 100 robotaxi in circolazione, il 99,9% è probabilmente abbastanza buono. Quando ce ne sono mille, quando ce ne sono 10.000, diventa una situazione in cui si raggiungono alcuni di quei nove più piccoli.

Divisione semplice.

Prego, prego.

Certo. Una semplice divisione. Giusto per illustrare il concetto. Un evento che si verifica una volta all'anno per 100 robotaxi, si verifica due volte a settimana per 10.000 robotaxi.

E questo non significa che ci sia qualcosa di male nei robotaxi, ma una volta all'anno, probabilmente non te ne accorgeresti nemmeno, ma quando succede due volte a settimana, la cosa si fa sentire. E non è che i robotaxi siano peggiorati. È una questione di numeri. Più ce ne sono, più bisogna prestare attenzione a quei fenomeni che prima erano così rari da non avere importanza.

Quindi la tecnologia per gestire 100 robotaxi è davvero impressionante, ed è qui. È ora. La prossima sfida è cosa fare con gli eventi rari che prima erano così rari da non essere un problema, perché ora diventeranno un problema serio su larga scala. Questa è la sfida.

Bene, questo è un argomento entusiasmante. Abbiamo avuto ospiti nel corso degli anni che ne hanno parlato qui su The Garage Parliamo di questo problema da una prospettiva diversa.

Un dirigente di Mobileye all'inizio di questa stagione e altri hanno parlato di quello che stanno facendo. Ma tu porti una prospettiva davvero preziosa e unica. Quindi parliamo di alcune delle sfide che riscontri nella produzione e nell'implementazione su larga scala dei robotaxi.

11:12 Tassonomia dei tipi di guasto

Bene, ho quattro contenitori e immagino che probabilmente li percorreremo tutti, ma prima lasciatemi dare un'anteprima. Il primo problema riguarda i guasti di massa. Quando c'è un robotaxi, se si ferma in mezzo alla strada, è un solo robotaxi. Se ci sono 100 robotaxi che si fermano tutti in mezzo alla stessa strada, allora il problema è diverso.

Quindi, sia i robot che i software tendono a guastarsi in circostanze simili. Se tutti i robotaxi hanno lo stesso software, beh, è ​​quello che fanno i computer. Tendono a guastarsi contemporaneamente. Quindi bisogna avere un piano per questo.

Il punto successivo è che la sicurezza non si riduce solo agli incidenti.

Quindi l'industria ha parlato molto della riduzione del tasso di incidenti e ha fatto grandi progressi in questo senso. Ma quello che abbiamo imparato, con l'aumento del numero di robotaxi da 10 a 100 a 100, è che ci sono altri aspetti importanti per la sicurezza che stanno emergendo. All'inizio non avrei detto di preoccuparmi di cose del genere, ma si è scoperto che contano, quindi dobbiamo imparare da questo. Il terzo punto è che i casi limite, gli eventi rari, si sono rivelati una grande sfida. Direi più di quanto chiunque pensasse, ma sapevo che sarebbero stati una sfida. E l'industria ha un piano per questo, ma ciò comporta nuove sfide. E l'ultimo punto è la responsabilità.

Man mano che il settore si espande, è necessario disporre di un piano di responsabilizzazione più efficace di quello attuale. E la colpa non è del settore dei robotaxi. Il problema è che il nostro sistema legale non è ancora pronto a gestire una situazione del genere.

Grazie per questa tassonomia e per l'ottima anteprima di dove stiamo andando. Penso che copra davvero molti aspetti diversi, offrendo una visione d'insieme da diverse prospettive.

12:41 #1 Guasti correlati

Cominciamo quindi dal primo punto, ovvero i guasti di massa che hai menzionato, o quando un guasto tende a essere correlato ad altri guasti. Parlaci di questo, qual è la sfida e cosa dovremmo fare al riguardo?

Beh, quando si parla di guidatori umani, i guidatori umani commettono errori di continuo. Le auto si rompono. Succedono un sacco di cose. Ma è raro che 100 o 1000 auto abbiano tutte lo stesso problema nello stesso momento, perché ogni guidatore umano è diverso da ogni auto.

Certo. Ci sono cose che bloccano o intasano il traffico. Se c'è un blackout, si crea il caos per tutti gli automobilisti. Ma se ogni robotaxi ha lo stesso sistema di controllo, e questo rappresenta una parte significativa del traffico cittadino, allora se qualcosa va storto, si crea un problema che coinvolge tutta la città.

E non venitemi a dire che i computer, i computer in rete su larga scala, non si guastano mai. Sapete, CrowdStrike è solo l'ultimo esempio lampante. Gli imprevisti capitano.

C'è stato un problema in Cina, credo a Wuhan, dove tutti i robotaxi di una singola compagnia si sono fermati contemporaneamente a causa di un problema di comunicazione. E così le persone sono rimaste bloccate su strade sopraelevate, e abbiamo visto tutti i video di robotaxi americani bloccati in occasione di eventi di massa, come grandi feste o simili, dove c'è molta congestione, o durante un blackout. Sapete, questo è il tipo di cose che succedono. Ora, questo non significa che non si possa usare la tecnologia. Significa che bisogna rendersi conto che è inevitabile. Sapete, mettiamo tutti i nostri software come servizio sullo stesso server nella stessa città e serviamo il mondo da questa pessima idea. Giusto?

Ebbene, indovinate un po'? Robotaxis avrà lo stesso tipo di vulnerabilità. Bisogna avere un piano.

Hai accennato al caso in cui una parte significativa del traffico provenga da un'unica azienda. Ovviamente, questa non è una situazione che si verifica oggi. Tuttavia, molte persone, forse gli ottimisti riguardo ai robotaxi, ritengono che in futuro potrebbero renderli obsoleti o comunque ridurre significativamente il numero di veicoli. Quindi, sembra che questo rappresenti un problema concreto da considerare in caso di consolidamento da parte di una determinata azienda. Non stiamo parlando di sicurezza informatica. Questo è probabilmente un argomento a parte che potremmo approfondire in un altro momento. Un tema molto più ampio.

Esatto. Se si parla di attacchi hacker di massa a una flotta di robotaxi, si può immaginare di paralizzare un'intera città. Quindi, certamente, si tratta di un problema teorico. Ma il tuo punto era che anche questo potrebbe accadere senza l'intervento di un malintenzionato, semplicemente a causa di un guasto correlato.

Esatto. E ci sono conseguenze che vanno oltre il semplice blocco dei robotaxi. Se, Dio non voglia, ci fosse un terremoto e tutti i robotaxi rimanessero intrappolati, so che le auto umane hanno problemi in caso di terremoto, ma i guidatori umani sono piuttosto bravi a spostare la propria auto per lasciare passare i veicoli di emergenza. E abbiamo visto molti robotaxi in difficoltà proprio in queste situazioni.

E se si tratta di uno o due robot, se la cavano. Ma se centinaia di robotaxi sono bloccati e impediscono il passaggio a tutti i veicoli di emergenza in una situazione di disastro come quella, allora può essere un problema. Ora, è un grosso problema rispetto ai conducenti umani? Domanda interessante.

Ma sono proprio questo tipo di domande che dobbiamo porci. Se si vuole estendere questa tecnologia a una frazione sostanziale delle auto, bisogna pensare alla gestione delle emergenze. Bisogna pensare, beh, ok. Quindi c'è e immagino che dovremmo affrontare questo argomento ora, quello dell'assistenza remota.

Ma se hai 50 assistenti remoti e 200 auto si bloccano tutte nello stesso momento, sai, qual è il tuo piano? Hai bisogno di un piano.

Giusto. Sì. In modo simile, intendo, parleremo più avanti nel punto tre dei casi limite. Ma immaginiamo, sai, un terremoto. Immaginiamo un terribile terremoto in cui molte strade si crepano. All'improvviso, si potrebbe verificare una situazione in cui molti dei casi limite si verificano letteralmente all'istante, in cui le strade sono perfette e ora sono crepate e i robotaxi vedono degli ostacoli.

E non serve nemmeno un terremoto. Basta un blackout per mandare in tilt tutti i semafori.

E si può dire che anche se il 90% delle auto rispetta il semaforo, quel 10% si accumula piuttosto velocemente, e che questo è effettivamente qualcosa che è successo. O un'evacuazione per uragano o chissà? Se c'è una situazione per cui non sono stati addestrati, falliranno tutti contemporaneamente se si tratta di un problema ambientale. Ora, questo può essere migliorato, quindi la domanda non è dire "beh, non c'è niente che si possa fare". La domanda è: stiamo guardando avanti? Stiamo aspettando che queste cose accadano prima di reagire, o le stiamo anticipando? E quello che dobbiamo fare, man mano che cresciamo, è anticipare i problemi.

Okay. D'accordo. Quindi questo è il primo argomento. È davvero molto interessante e spaventoso. Il secondo argomento riguardava i conducenti umani e gli approcci di failover.

17:23 #2 Casi limite ad alta gravità e assistenti remoti umani

Giusto. Quindi la sfida tecnica per i robotaxi fin dal primo giorno è stata quella dei casi limite. Eventi rari, beh, teoricamente eventi rari, la situazione si complica un po'. Ma se pensiamo a qualcosa come un blackout, i blackout sono rari. Non accadono così spesso. Dipende da dove si vive.

Ma solo perché è raro, se ha conseguenze gravi, non significa che si possa ignorarlo se si tiene alla sicurezza. E ci sono cose come i pedoni che attraversano la strada in mezzo a un isolato. Non succede sempre. Dipende dalla città in cui si vive.

So che alcuni ascoltatori staranno pensando: "Un momento, lui non vive nella mia città". Ma... gente che attraversa la strada o scolari che scendono dall'auto dei genitori e attraversano l'isolato per andare a scuola. Beh, a seconda di dove vi troviate, potreste non aver mai visto una cosa del genere oppure potreste vederla tutti i giorni.

Quindi, raro è un concetto relativo. Ecco perché la questione si complica. Dici: "Beh, non succede spesso". Beh, non importa se non succede spesso.

Se è grave e capita a te, devi affrontarlo. Giusto? Il problema con l'apprendimento automatico è che è bravo in quello per cui è stato addestrato, e tende ad essere molto fragile e a mancare di, come dire, buon senso. L'apprendimento automatico non ha buon senso.

Quindi, se si trova in una situazione per la quale non è stato addestrato, tende ad essere troppo sicuro di sé. Non si rende nemmeno conto di non sapere. Fa qualcosa che noi definiremmo semplicemente stupido. E se si tratta di una situazione di elevata gravità, questo diventerà un problema.

Quindi, i casi limite riguardano come gestire le situazioni su cui l'apprendimento automatico non è stato addestrato. E non importa se si pensa che siano rari o meno. Se non lo sa, non lo sa. Non serve a nulla dire: "Beh, l'ho già visto".

Beh, se non è stato addestrato, non è stato addestrato. E quindi gli eventi gravi in ​​materia di sicurezza sono molto rari. Gente, anche se si escludono gli ubriachi, si tratta di circa un decesso ogni 100.000.000 di miglia. 100.000.000 di miglia sono tantissime miglia.

Le persone sono incredibilmente brave a guidare, soprattutto se non sono sotto l'effetto di alcol o droghe. È molto, molto meglio di così.

Quindi si può dire che, in realtà, solo le cose rare contano. La gente dirà: "Beh, è ​​raro, quindi non ha importanza". Come se non fosse così. I decessi sono estremamente rari.

Quindi, in effetti, sono le cose rare a controllare la sicurezza. Quindi, nell'ingegneria normale, ho premuto il pulsante. Ha funzionato? Sì.

Okay. Bene. L'ingegneria della sicurezza, so che è raro, ma è ad alto rischio. E se si sommano tutti gli eventi nel tempo, il rischio è troppo elevato.

Dobbiamo adottare misure per mitigarne gli effetti, in modo che anche gli eventi rari non causino perdite ingenti.

Giusto. Quindi hai parlato di strategie per affrontare questi eventi rari.

Quali sono alcune strategie per affrontarli?

Beh, una volta sembrava una cosa senza speranza perché è come dare la caccia ai Pokémon, solo che ce ne sono un numero infinito. Non puoi collezionarli tutti perché il mondo è pieno di follia. È semplicemente pieno. E il detto che si usava nell'industria era: beh, ne cattureremo abbastanza da essere disposti a sopportare qualche stranezza occasionale.

Se siamo 100 volte più sicuri di un guidatore umano e succede qualcosa di brutto, le persone, per un fattore di 100 persone, semplicemente... beh, sai, succedono cose brutte. Non c'è niente che tu possa fare. Ma non sono neanche lontanamente 100 volte più sicuri in termini di tasso di mortalità. Non lo sappiamo con certezza, ma non c'è modo che siano 100 volte più sicuri.

E in realtà non ci sono mai arrivati. Quindi, in pratica, l'industria ha dichiarato la sconfitta sui casi limite.

Non abbiamo la capacità di far gestire alle IA tutte le situazioni strane e ad alta gravità. Semplicemente non ne siamo capaci. Quindi qual è il loro piano? Ma sono in viaggio. Come ci sono riusciti? Il modo in cui ci sono riusciti è stato: sai cosa? Quando il robot taxi si troverà in difficoltà, chiamerà casa e un essere umano in carne e ossa lo aiuterà.

E questo è un modo ingegnoso per gestire i casi limite. Quindi ora non devi essere addestrato su come gestire tutto. Devi solo essere addestrato abbastanza bene da sapere: "Non ho idea di cosa stia succedendo. Vado a chiamare casa".

Quindi, in molti degli episodi che si verificano, c'è ancora margine di miglioramento nel capire quando è il caso di telefonare a casa.

Ma quando telefonano a casa, allora c'è un operatore umano che dice: "Oh, sì".

So che non riesci a vedere il semaforo a causa del riverbero della strada o del vento, fidati, amico, è verde. Chiaro?

E la sicurezza è che deve essere verde quando dicono che è verde perché il robotaxi, sai, il robotaxi ha tutti questi input di sensori, ma è l'essere umano remoto che in un certo senso esprime il voto decisivo e molte volte determina cosa succede dopo.

Molto interessante. Credo che per un certo periodo ci sia stato un piccolo segreto inconfessabile nel settore, ovvero che molte di queste aziende non ammettessero di avere autisti di backup umani. Ma penso che la maggior parte di loro stia riconoscendo di farlo in alcune situazioni. Certo, probabilmente si tratta di casi rari, ma sono presenti per quelle situazioni eccezionali.

In realtà succede di continuo. Ma non è un male, perché fissarsi sulla purezza dell'autonomia è fuori luogo. Non mi interessa se è completamente autonomo o meno. Anzi, sono contento che ci siano persone ad aiutarlo quando non sa cosa fare, perché l'alternativa è spaventosa.

Giusto? È una questione di rapporto tra il numero di persone e il numero di veicoli. Quindi, se si hanno 100 veicoli per persona, è conveniente. In realtà, se si hanno dieci veicoli per persona, oltre questo limite, i rendimenti diventano decrescenti.

Giusto? Il numeratore è piccolo. Il divisore è alto.

Giusto.

Sapete, con un rapporto di 10 a 1 o di 20 a 1, la differenza non è poi così grande. Quindi, finché ci sono molte auto per persona, l'aspetto economico, che è ciò che conta qui, torna. La domanda successiva è: i sistemi di assistenza remota sono davvero sicuri? Finalmente l'industria ha ammesso di averli, e penso che vada bene così.

Non credo sia un aspetto negativo. Credo sia realistico. Non c'è alcun problema. Ciò che l'industria non ha ancora ammesso apertamente è che queste persone prendono decisioni cruciali per la sicurezza, e dobbiamo essere consapevoli del fatto che ricoprono un ruolo di fondamentale importanza per la sicurezza.

Il settore sta ancora lavorando per affrontare questo problema. Ma quando si hanno 10 o 20 assistenti remoti, si possono assumere i migliori, la crème de la crème, e forse non ci saranno molti problemi. Forse non è un grosso problema. Ma se si hanno un milione di robotaxi, probabilmente si avranno molti call center con assistenza remota e bisognerà gestire la sicurezza in quel contesto.

Questa è dunque una delle sfide di scalabilità ancora da affrontare.

Va bene.

23:31 #3 Complessità combinatoria nei casi limite

C'è il numero due, zero quattro, e penso che sia un argomento davvero interessante. Credo che il terzo sia quello dei casi limite, e ne abbiamo parlato un po' nella sezione precedente. Qualche mese fa abbiamo avuto un ospite di Mobileye e stavamo parlando di uno dei vantaggi che hanno, essendo uno dei più grandi database di guida al mondo, ovvero la possibilità di accumulare casi limite e inserirne altri nel modello di formazione per i loro clienti e così via.

E sicuramente vantaggioso. Ma come dicevamo prima, credo che la difficoltà di questo approccio, prendi la palla e sviluppala da qui, sia che si concentra solo sui problemi che conosci. E il punto è che ci sono molti problemi che non conosci, e l'incognita, che credo sia la sfida più grande, è proprio questa. Ho ragione?

Sì. È il problema infinito dei Pokémon di cui parlavo prima. Ma c'è una sfumatura importante da considerare. Tradizionalmente, le persone pensano ai casi limite come a cose tipo: "Oh, guarda, c'è una zebra in mezzo alla strada, e non so cosa sia una zebra". Pensano a oggetti strani o eventi strani, e di sicuro quelli sono casi limite.

Ma intuitivamente, forse riuscirete a individuarle quasi tutte. La parte più sottile e insidiosa è che esistono combinazioni di elementi noti che costituiscono anche un caso limite se non siete stati addestrati a gestirle. In particolare, potreste trovarvi in ​​una situazione che combina elementi noti in un modo che ha un significato diverso da quello a cui siete abituati. Vi faccio un esempio semplicissimo. Se avete un segnale di stop (vi avverto, è una domanda a trabocchetto). Se avete un segnale di stop su un palo, cosa fate?

Tu ti fermi.

Giusto? Fermati. Okay.

Poi vai. Giusto?

Giusto.

Tranne per la domanda a trabocchetto. Se si tratta di un segnale di stop su un palo tenuto da un operaio edile, ci si ferma e si dice "stop".

Ben fatto. Ben fatto.

Un'altra domanda a trabocchetto, ma non ho ancora finito. Un'altra domanda a trabocchetto. Un segnale di stop su un palo, tenuto in mano da qualcuno e non proprio davanti al suo viso, ma vicino alla sua gamba, lo ignori perché si tratta di un vigile scolastico che non fa sul serio riguardo al tuo stop.

E ognuno di voi lo sa intuitivamente. Tutti lo sanno intuitivamente. Ma i segnali di stop sono davvero complicati. E se si tratta di un segnale di stop imbullonato a un autobus, fermarsi o meno dipende dal fatto che sia esteso o ripiegato.

Perché in un caso ti fermi e dici "stop", nell'altro lo ignori. Quindi il punto è che i casi limite vanno oltre il semplice segnale di stop. Quando ti addestrano sui segnali di stop, dici di saperli interpretare, ma perché il tuo robotaxi guida autobus per biciclette? Beh, a quanto pare i segnali di stop non sono così semplici, e ho preso l'esempio che tutti conoscono. Ma c'è di più.

Giusto.

È un esempio davvero interessante. Sapete, l'anno scorso stavo guidando e un'auto ha deciso di svoltare completamente a sinistra, invadendo la corsia opposta... e non si è abituati a vedere una cosa del genere, perché si trova proprio dove non dovrebbe essere. Quindi cosa si fa? Beh, mi sono tolto di mezzo, ecco cosa ho fatto. Ma il punto è che non si è abituati al fatto che gli altri infrangano le regole. Quindi non solo bisogna rispettare le regole per sé stessi, ma bisogna anche immaginare altri automobilisti che fanno qualcosa di estremamente folle.

E in tempo reale, bisogna usare il buon senso. Quindi farò un esempio a cui non avevo mai pensato fino a poco tempo fa. Sto guidando e un camion dei pompieri si ferma davanti a me, e i pompieri stanno scendendo. Aprono la portiera e c'è un segnale di stop dipinto all'interno della portiera.

Quindi e io penso, so cosa vogliono. Non vogliono essere investiti mentre scendono dal camion, quindi credo che mi fermerò e dirò di fermarsi finché la porta non si chiude, ecco cosa farò. Giusto? Quindi questo e ma le persone sono fantastiche.

Voglio dire, scommetto che avresti fatto la stessa cosa. Avresti capito dal contesto che dev'essere più corretto. Che significa questo. È sul manuale del conducente.

Non sono mai stato addestrato su questo. Noi abbiamo e e AI è terribilmente pessimo. È bravo a interpolare tra punti noti. Questo è ciò che fa.

Quando dicono di tenere un diario, significa che abbiamo dei punti di formazione e facciamo qualcosa nel mezzo. Ma se quel qualcosa nel mezzo ha un significato diverso da tutti i suoi vicini, c'è un problema. E se è un modo di cui non abbiamo idea, c'è un problema.

È così interessante. E potremmo probabilmente fare un'intera conversazione solo su questo perché ovviamente si parla molto di questo AI proprio adesso nelle notizie, sai, e siamo o non siamo nell'AGI e così via. E la realtà è che questi casi limite, c'è ancora molta strada da fare prima di dormire sonni tranquilli per scopi generali AI .

Assolutamente. Ma invece di farci risucchiare in quella pozza di catrame, perché non parliamo del fatto che la sicurezza non si riduce solo agli incidenti? Che ne dici?

Penso sia fantastico. Facciamolo e così concluderemo. È stata una conversazione incredibile.

28:05 #4 La sicurezza non si riduce solo agli incidenti

Okay. Quindi il prossimo punto è che la sicurezza non si riduce solo agli incidenti. Questa è stata una sorpresa per me. Non era proprio la prima cosa a cui pensavo. Quando abbiamo iniziato, la narrazione era che avrebbe salvato vite umane, che ci sarebbero stati meno incidenti, e questo è importante.

Ma una volta raggiunto un livello di sicurezza paragonabile, diciamo che i robotaxi di oggi siano alla pari con i conducenti umani, forse un po' meglio, forse uguali. La verità è che per quanto riguarda gli incidenti mortali, non abbiamo i dati per sapere con certezza come andrà a finire. Diciamo solo che questo è il risultato finale. Non c'è motivo di credere che non accadrà con la dovuta attenzione.

La sicurezza non si limita a questo.

E per quanto riguarda la sicurezza, ad esempio, se ti fermi e blocchi un camion dei pompieri o un'ambulanza con una persona che sta avendo un infarto e l'ambulanza non riesce a passare, quello non è un incidente, ma non puoi dire che non ha nulla a che fare con la sicurezza.

Oppure stai passando accanto a degli scuolabus. Lo scuolabus ha un segnale di stop esteso, quindi sai che devi fermarti e rimanere fermo, e la tua auto ti sfreccia accanto. Il tuo robotaxi ti sfreccia accanto. Non hai investito nessun bambino quella volta, ma c'è un motivo per cui dovresti fermarti, perché è un ambiente caotico in cui nessun guidatore è abbastanza bravo da poter andare a tutta velocità e fermarsi se compare un bambino.

Non hai il tempo di reazione necessario. Giusto? Quindi ti fermi per la sicurezza del bambino. Non puoi dire: "Beh, questa volta non ho investito nessun bambino, quindi va bene".

Voglio dire, non funziona. Giusto? Se non ti fermi, è un problema di sicurezza. Quindi ci sono una serie di cose che abbiamo scoperto in materia di sicurezza che fanno arrabbiare molto le persone comuni, e non hanno nulla a che fare con gli incidenti per miglio, che è la metrica che piace all'industria.

Quindi, man mano che il settore si espande, vedremo un aumento di questo tipo di incidenti che interessano le parti interessate, in particolare le amministrazioni comunali, i genitori e altri soggetti simili, che riguardano la sicurezza e non hanno nulla a che vedere con il numero di incidenti per miglio percorso. Pertanto, con la crescita del settore dei robotaxi, sarà necessario affrontare questo problema. C'era poi un altro punto che volevo assolutamente includere: la responsabilità per i danni causati.

29:59 #5 Lacune in materia di responsabilità legale e di rendicontazione

Quindi, al momento, se sei un conducente umano e infrangi la legge, ricevi una multa e potresti perdere la patente.

Se ferisci qualcuno infrangendo la legge, puoi essere citato in giudizio per omicidio colposo, questo tipo di illecito civile, negligenza o responsabilità extracontrattuale.

In molti stati, i robotaxi... beh, in nessuno stato un robotaxi può essere citato in giudizio per negligenza. Si tratta di responsabilità del produttore, che è completamente diversa. Ma in molti stati, la persona responsabile delle multe per infrazioni al codice della strada non è il produttore. È il proprietario del veicolo o il conducente del veicolo.

Quindi, se invece di comprare un appartamento da affittare una flotta di 10 robotaxi, questi vengono noleggiati e i robotaxi prendono delle multe, per quanto ne so, la multa viene addebitata sulla patente personale, e non si ha alcun controllo sul conducente. Insomma, succedono un sacco di cose strane, e la colpa è dell'industria dei robotaxi, che fa pressioni per ottenere leggi statali che incolpano tutti tranne se stessa.

Sì. E con solo pochi robotaxi che gestiscono la propria flotta e possono semplicemente pagare le multe con i contanti in alcuni stati, in alcuni stati non possono nemmeno riceverle, ma non è un grosso problema. Ma se si vuole arrivare a un milione di robotaxi, bisogna avere un piano per quello che succederà. Non saranno perfetti. Ci saranno incidenti. Questo non li rende cattivi, ma serve responsabilità e un modo sensato per risolvere gli incidenti e che incentivi la sicurezza in futuro, invece di quello che abbiamo ora, che è solo un disastro.

Sai, unire davvero questi due punti. Penso che siano punti molto interessanti. Voglio dire, il primo punto che hai sollevato è che gli incidenti non sono l'unica causa di fallimento. E in effetti, sai, l'industria dice che sono molto più sicuri dei tassi di incidenti umani. E come dici tu, non lo sappiamo con certezza, ma potrebbe essere vero. Eppure, ci sono ancora cose pericolose che accadono per pura fortuna.

Ecco, più o meno dove ci troviamo ora.

Ecco a che punto siamo arrivati. L'industria sostiene che questi veicoli siano più sicuri in caso di incidente. Possiamo discuterne, ma anche ammettendo che sia vero, cosa dire del non fermarsi per gli scuolabus?

Lo so. Esattamente. E mi è tornato in mente che alla CMU ho seguito un corso chiamato Ingegneria e politiche pubbliche, che è stato uno dei corsi più illuminanti che abbia mai frequentato. E stavano parlando dello Space Shuttle Challenger, per chi se lo ricorda.

Il punto che hanno sottolineato durante la lezione era che, in realtà, la NASA a quel tempo stava giocando alla roulette russa. E il detto tratto dal rapporto sul disastro dello Space Shuttle Challenger era: "Quando si gioca alla roulette russa, il fatto che il primo colpo sia andato a buon fine è di ben poca consolazione per il successivo". Già. Quindi, il fatto è che queste cose pericolose accadono e, pur non causando problemi, significa che prima o poi arriverà un colpo decisivo.

Mi piace dire che "la fortuna non è un fattore determinante".

Ecco. Il secondo punto che hai sollevato riguarda la responsabilità. Non c'è dubbio che si tratti di un argomento di cui ho sentito parlare molte volte: esiste una lacuna ben nota, ma non ancora affrontata, in materia di responsabilità. Perché se questi servizi devono espandersi, credo che sia necessaria una riforma del modo in cui vengono gestiti. Il modello attuale non è scalabile. Bisogna trovare un modo per renderlo praticabile, perché l'approccio attuale non lo è affatto. Ci vorrà volontà politica e, purtroppo, anche qualche situazione negativa, perché le persone si rendano conto di ciò che hai evidenziato. Credo che dovremmo risolvere questo problema perché i robotaxi sono un bene pubblico e possono e saranno vantaggiosi, ma non siamo ancora arrivati ​​a una soluzione definitiva.

Vorrei affrontare il problema in anticipo, in modo che non ci siano molte persone sfortunate che si ritrovano poi a dover sopportare il peso maggiore della riforma del sistema. Preferirei che venisse attuata senza dover passare attraverso questo iter.

Sono pienamente d'accordo e spero che la politica si evolva in questa direzione. Ascolta, è stata una conversazione incredibile, Phil. Ho imparato moltissimo. Spero che i nostri ospiti abbiano apprezzato questo mini-corso di ingegneria della sicurezza e sui robotaxi. Guarda, c'è ancora molto di cui essere felici, visti gli incredibili progressi, e per te, che ti occupi di questo da trent'anni e vedi quanto siamo cresciuti, dev'essere davvero emozionante. Ma ci hai dimostrato che c'è ancora molto da fare.

Penso che il futuro possa essere molto promettente. Ci sono alcune sfide da affrontare per la crescita su larga scala, e il modo per avere successo è che il settore le riconosca e le affronti. È così che tutti ne traggono vantaggio. Quindi grazie per l'invito. Lo apprezzo molto.

Grazie mille per esservi uniti a noi. Se vi piace quello che vedete, mettete mi piace e iscrivetevi per vedere altri episodi come questo da The Garage e non vediamo l'ora di rivedervi presto in un altro episodio.