Un taux de sécurité de 99,9 % est-il suffisant pour les robotaxis ?

0:00 Introduction : la promesse des véhicules autonomes

Aujourd'hui à The Garage Nous allons aborder la conduite autonome sous un nouvel angle. L'enthousiasme est palpable face aux progrès réalisés ces dernières années par les véhicules autonomes, notamment grâce à Waymo, Zoox et de nombreuses autres entreprises qui proposent désormais leurs services sur le marché. Dans des villes comme San José, dans la baie de San Francisco où nous habitons, beaucoup peuvent commander un robotaxi via leur téléphone : il arrive sans conducteur et les emmène faire un tour. C'est un véritable succès, et c'est passionnant à constater. Personnellement, j'ai travaillé sur les robotaxis il y a environ cinq ans, à une époque où la technologie n'était pas encore au point, et ce fut une expérience très frustrante. Voir les progrès accomplis aujourd'hui est donc une source d'inspiration et témoigne de l'incroyable potentiel de cette technologie. AI .

Cela dit, à mesure que le nombre de robotaxis augmente, la complexité de leur conception et de leur mise à l'échelle à des milliers de véhicules représente un défi majeur. Qui de mieux placé pour en parler qu'un véritable expert qui étudie ce domaine depuis trente ans ? Notre invité aujourd'hui est le professeur Phil Koopman, récemment retraité de l'Université Carnegie Mellon, qui a consacré trente ans à l'étude des robotaxis et d'autres aspects de l'ingénierie de la sécurité. Il nous présentera les avantages et les défis liés à la mise à l'échelle viable des robotaxis.

Allons-y.

Je suis John Heinlein, directeur marketing chez Sonatus Nous sommes ravis d'accueillir Phil Koopman parmi nous aujourd'hui. Phil, bienvenue à The Garage .

Merci de m'avoir invité. Je suis ravi d'être ici.

Nous avons tous deux un lien fort avec Carnegie Mellon. J'y ai fait mes études de premier cycle. Vous y avez été professeur pendant longtemps. Je crois que nos chemins se sont croisés lorsque j'étais étudiant et vous en doctorat. Pourriez-vous commencer par nous parler de votre parcours ?

Bien sûr. Pour ma part, j'ai commencé par une licence en génie informatique à RPI.

Après cela, j'ai servi dans la Marine, car ils ont eu la gentillesse de financer mes études de premier cycle. C'était comme ça à l'époque. J'ai ensuite bien travaillé, puis je suis entré à l'Université Carnegie Mellon, où j'ai obtenu un doctorat. C'est là que nous nous sommes rencontrés. J'étais assistant d'enseignement pour un cours de conception matérielle, plus précisément sur les processeurs à découpage de bits, pour ceux qui savent de quoi il s'agit. C'était un cours passionnant. Après avoir obtenu mon diplôme, j'ai travaillé chez Harris Semiconductor comme concepteur de processeurs. J'ai ensuite passé du temps chez United Technologies, au Centre de recherche central, où j'ai acquis une solide expérience dans le domaine des systèmes embarqués, avant de retourner à Carnegie Mellon comme professeur. J'y ai enseigné pendant près de trente ans et je viens de prendre ma retraite.

Eh bien, félicitations pour cette carrière incroyable et votre parcours remarquable. Nous y reviendrons. Mais avant cela, racontez-nous une anecdote amusante à votre sujet.

Bien sûr. L'anecdote amusante, c'est que j'ai piloté des sous-marins dans la marine pendant la guerre froide. J'ai une médaille pour acte de bravoure, mais je ne saurais vous dire comment je l'ai obtenue.

C'est une histoire incroyable. J'adore les films de sous-marins, comme Das Boot et À la poursuite d'Octobre rouge. Ce sont des histoires tellement captivantes, je vous envie votre expérience.

Eh bien, À la poursuite d'Octobre rouge est un excellent film. Il décrit très fidèlement ce que je faisais à l'époque.

3:15 Principes fondamentaux de l'ingénierie de la sécurité

Très intéressant. Parlez-nous de votre parcours à CMU, et plus particulièrement de votre spécialisation en ingénierie de la sécurité. C'était l'une de vos principales activités. Pourriez-vous expliquer à notre public ce qu'est l'ingénierie de la sécurité et en quoi elle diffère de l'ingénierie classique, qui consiste simplement à construire des objets ? Comment la complète-t-elle ?

Bien sûr. Je travaille spécifiquement sur la sécurité des véhicules autonomes depuis trente ans, et j'ai également réalisé de nombreux autres types d'ingénierie de la sécurité. J'ai effectué plus de 200 revues de conception de systèmes embarqués, et une quinzaine il y a encore. Certaines de ces revues ont simplement révélé des dysfonctionnements, mais beaucoup concernaient la sécurité dans des domaines très variés. J'ai donc vu passer un grand nombre de normes et de mesures de sécurité.

En résumé, la sécurité se résume à ceci : lors de la conception et des tests d'un système, les ingénieurs sont formés pour s'assurer de son bon fonctionnement. Ils maîtrisent parfaitement les scénarios idéaux, mais sont moins à l'aise avec les scénarios problématiques. Or, l'ingénierie de la sécurité ne consiste pas à faire fonctionner un système, mais à anticiper les conséquences d'un dysfonctionnement.

Plus précisément, on vous apprend à dresser une liste des dangers, des éléments susceptibles de causer des problèmes. Souvent, il s'agit de blessures corporelles, mais cela peut aussi entraîner des dégâts matériels importants. Les risques sont nombreux. Il est certain qu'un incident fâcheux se produira.

On dresse la liste de tous les problèmes potentiels et on établit un plan pour les éviter ou, le cas échéant, en atténuer les conséquences. L'ingénierie de la sécurité consiste donc à recenser les dangers, à déterminer comment réduire les risques associés et à intégrer ces exigences de sécurité aux spécifications techniques. Cela implique de concevoir intentionnellement les dispositifs de sécurité et de vérifier leur efficacité. Un exemple simple : un train est équipé de freins à air.

Si tout tourne mal, il y a une bonbonne d'air comprimé ; on appuie sur le bouton et ça freine d'urgence. Et à quoi ça sert ? Eh bien, il y a plein de choses qui peuvent arriver en train, mais la plupart se règlent en freinant brusquement. Voilà le plan.

C'est intéressant de le décrire ainsi et je pense que vous avez raison. En tant qu'ingénieur, on veut que quelque chose fonctionne, mais il faut aussi envisager tous les scénarios de défaillance. Il existe un concept appelé « sécurité intégrée » et « défaillance dangereuse », dont on parle souvent. Je suppose que votre objectif est d'abord d'éviter toute défaillance. Mais si elle survient, il faut qu'elle se produise de manière à ne pas compromettre la sécurité. Est-ce une bonne façon de le décrire ?

5:37 Sécurité intégrée et défaillance opérationnelle

Oui. Enfin, c'était comme ça jusqu'à récemment. Dans les systèmes classiques, si on les met hors tension, ils sont sûrs. Dans un processus chimique, si on peut le ralentir à température ambiante au lieu de vapeur surchauffée, c'est beaucoup plus sûr.

Donc, vous voulez éviter le problème. Vous voulez avoir un moyen, en cas de situation dangereuse, de la désamorcer progressivement pour la rendre sûre, généralement en dissipant l'énergie. Vous avez une voiture, vous l'arrêtez. Mais le hic, c'est que dans certaines situations, dissiper complètement l'énergie ne suffit pas.

Imaginez un avion en feu à 10 670 mètres d'altitude. Couper tous les moteurs serait une erreur, n'est-ce pas ? C'est pourquoi on utilise le système de sécurité intégré, qui signifie généralement arrêt automatique en cas de défaillance.

Il suffit de tout couper, de débrancher tout, et vous êtes en sécurité. Cette méthode fonctionne dans de nombreux cas. Cependant, dans certains endroits, notamment en présence de mouvements à grande vitesse, il est nécessaire de poursuivre l'opération suffisamment longtemps pour ralentir le système. Ce n'est pas un hasard si les avions de ligne sont équipés de deux moteurs et de plusieurs systèmes de commandes de vol : en cas de panne, il faut non seulement interrompre le vol, mais maintenir les opérations suffisamment longtemps pour permettre une mise en sécurité.

Et cela vaut aussi pour les voitures. Si vous roulez à 95 km/h sur l'autoroute et que votre direction… eh bien, la direction pose problème. Le véhicule se bloquera.

Ça ne marche pas.

Il faut que la direction fonctionne suffisamment longtemps pour pouvoir arrêter la voiture.

C'est vrai. Et on ne peut même pas s'arrêter net, sinon une autre voiture derrière vous va vous percuter de plein fouet.

Vous devez donc, d'une manière ou d'une autre, faire preuve de grâce…

Il faut absolument que vous quittiez la route. Il faut absolument que vous vous dégageiez de la voie de circulation. Bien sûr, il peut arriver, très rarement, que vous soyez impuissant. Si, par exemple, le moteur venait à se détacher, vos possibilités seraient très limitées. Mais dans la quasi-totalité des cas, il vous faut suffisamment de puissance pour vous dégager de la voie de circulation. Vous devez donc passer du mode de fonctionnement normal à un mode de dépannage, avec des capacités réduites et une durée d'intervention très courte, mais ce système de secours est indispensable. Il vous faut absolument des solutions de secours, sinon ça ne fonctionne pas.

C'est fantastique ! On obtient un diplôme d'ingénieur en sécurité ici, dans ce podcast, aujourd'hui.

Je crois que vous avez mentionné travailler sur la conduite autonome depuis trente ans, et il est évident que des progrès considérables ont été réalisés durant cette période, passant d'une simple idée à la possibilité de héler un robotaxi juste devant mon bureau. Commençons donc par évoquer les aspects positifs que nous avons constatés, puis nous aborderons les aspects plus pragmatiques. Nous voyons maintenant des robotaxis opérationnels, comme ceux de Waymo, Zoox et quelques autres, que l'on peut réserver. Il existe également des solutions en Chine, dont le déploiement concret est connu dans certaines villes et zones d'exploitation limitées. Nous en reparlerons certainement.

Il doit donc y avoir eu des progrès incroyables depuis que vous faites cela.

Eh bien, trente ans ont passé, mais des progrès considérables ont été réalisés. Il est donc important de dire oui. Absolument. Vous pouvez héler un robotaxis. J'en ai déjà pris. C'est une technologie incroyable.

Et en matière de sécurité, 99,9 % c'est un bon début. Ce n'est pas la ligne d'arrivée. N'est-ce pas ?

Et on a l'impression d'y être presque (à 99 %), parce que franchement, on peut aller très loin avec les robotaxis, mais ça a quand même pris trente ans. Il y a trente et un ans, Carnegie Mellon avait une voiture qui faisait le trajet Washington DC - San Diego avec les mains libres à 98 %, et il a fallu tout ce temps pour atteindre les 1,999 % restants. Compris ?

Mais c'est un progrès considérable, car c'est une réalisation remarquable. On voit bien qu'il n'y a personne aux commandes. Il n'y a personne derrière le rideau, surtout quand ces machines fonctionnent. C'est formidable.

Et on a l'impression d'y être presque, mais je pense que ce dont nous allons parler aujourd'hui, c'est que lorsqu'il y aura 100 robotaxis en circulation, ce sera incroyable.

9:26 Les défis liés à l'expansion des flottes de robotaxis

Mais passer de 100 robotaxis à 100 000 robotaxis, c'est une toute autre histoire. Et comme j'aime à le dire, 99 % du travail est fait, il reste encore 99 % à accomplir.

C'est une autre façon de dire les choses, car comme vous l'avez mentionné, il est courant dans le monde des affaires de parler de « cinq neuf », soit 99,999, ou tout autre pourcentage de 9. En réalité, tout dépend du numérateur. S'il y a 100 robotaxis en circulation, 99,9 %, c'est probablement très bien. Mais avec mille ou dix mille, on risque d'atteindre des pourcentages inférieurs à 9.

Division simple.

Allez-y. Je vous en prie.

Bien sûr. Une simple division. Pour illustrer mon propos : un événement annuel sur 100 robotaxis se produit deux fois par semaine sur 10 000 robotaxis.

Cela ne veut pas dire que les robotaxis sont problématiques, mais une fois par an, on ne s'en aperçoit probablement même pas. Par contre, quand cela arrive deux fois par semaine, ça change tout. Ce n'est pas que les robotaxis soient devenus plus problématiques, c'est juste une question de statistiques. Plus il y en a, plus il faut prêter attention à des choses qui étaient si rares qu'elles n'avaient pas d'importance.

La technologie permettant de faire fonctionner 100 robotaxis est donc véritablement impressionnante, et elle est déjà là. Le prochain défi consiste à gérer les événements rares qui, autrefois si rares qu'ils n'avaient pas d'importance, vont désormais devenir un problème majeur à grande échelle. Voilà le véritable enjeu.

Eh bien, c'est un sujet passionnant. Nous avons reçu des invités à ce sujet ici même, au fil des ans. The Garage Aborder ce problème sous un angle différent.

Un cadre supérieur de Mobileye et d'autres personnes ont évoqué leurs activités en début de saison. Mais vous apportez une perspective vraiment précieuse et unique. Alors, parlons des défis que vous observez dans la production et le déploiement à grande échelle des robotaxis.

11:12 Taxonomie des types de défaillance

Bon, j'ai quatre bacs, et je suppose qu'on va les parcourir tous les quatre, mais laissez-moi vous donner un aperçu. Le premier problème, ce sont les pannes en masse. Quand un robotaxi s'arrête au milieu de la rue, c'est un robotaxi. Mais si 100 robotaxis s'arrêtent tous au milieu de la même rue, là, c'est une autre histoire.

Les logiciels ont tendance à tomber en panne dans des circonstances similaires. Si tous les robotaxis utilisent le même logiciel, c'est le propre des ordinateurs : ils ont tendance à tomber en panne simultanément. Il faut donc prévoir ce genre de problème.

Le point suivant est qu'il n'y a pas que les accidents en matière de sécurité.

L'industrie s'est donc beaucoup investie dans la réduction du nombre d'accidents et a réalisé d'importants progrès en la matière. Cependant, avec l'augmentation du nombre de robotaxis (de 10 à 100 puis à 1 000), nous avons constaté que d'autres facteurs de sécurité émergent. Au début, je ne m'en serais pas inquiété, mais il s'avère qu'ils sont importants et nous devons en tirer des leçons. Troisièmement, les cas particuliers, les événements rares, se sont révélés être un défi majeur, plus important que prévu. Je savais néanmoins que ce serait un défi. L'industrie a un plan pour y faire face, mais cela soulève de nouvelles difficultés. Enfin, la question de la responsabilité est cruciale.

À mesure que le secteur se développe, il est indispensable d'avoir un système de responsabilisation plus rigoureux que celui en vigueur actuellement. Ce n'est pas la faute de l'industrie des robotaxis, mais plutôt du fait que notre système juridique n'est pas encore prêt à gérer la situation.

Merci pour cette taxonomie et cet aperçu pertinent de notre orientation. Je pense qu'elle couvre un large éventail de points de vue.

12:41 #1 Défaillances corrélées

Commençons donc par le premier point, que vous avez évoqué : les défaillances en série, ou lorsqu’une défaillance survient, cela a tendance à entraîner d’autres défaillances. Expliquez-nous cela, quels sont les défis à relever et comment y remédier ?

Eh bien, quand on parle de conducteurs humains, ils font des erreurs constamment. Les voitures tombent en panne. Toutes sortes d'imprévus surviennent. Mais il est rare que 100 ou 1000 voitures aient toutes le même problème en même temps, car chaque conducteur est différent d'une voiture à l'autre.

Bien sûr. Il y a des choses qui bloquent ou engorgent la circulation. Une panne de courant, par exemple, va créer un véritable chaos pour tous les conducteurs. Mais si le même système de conduite est utilisé par tous les robotaxis, et que cela représente une part importante du trafic urbain, alors en cas de problème, la ville sera touchée à l'échelle de la ville.

Et ne me dites pas que les ordinateurs, et notamment les réseaux informatiques à grande échelle, ne connaissent jamais de problèmes. CrowdStrike n'est que le dernier exemple en date. Les incidents arrivent.

Il y a eu un problème en Chine, je crois à Wuhan, où tous les taxis autonomes d'une même compagnie sont tombés en panne simultanément à cause d'un problème de communication. Des gens se sont retrouvés bloqués sur des voies surélevées. On a tous vu des vidéos de taxis autonomes américains pris au piège lors de grands rassemblements, comme des fêtes ou autres événements provoquant d'importants embouteillages, ou encore lors de pannes de courant. Ce genre de choses arrive. Cela ne signifie pas pour autant qu'il faut renoncer à cette technologie. Cela signifie simplement qu'il faut accepter que ce soit inévitable. Imaginez, par exemple, héberger tous nos logiciels en tant que service sur un seul serveur, dans la même ville, et proposer nos services au monde entier ! C'est une idée saugrenue. N'est-ce pas ?

Eh bien, devinez quoi ? Robotaxis aura les mêmes faiblesses. Il faut prévoir le coup.

Vous avez évoqué le cas où une part importante du trafic proviendrait d'une seule entreprise. De toute évidence, ce n'est pas le cas aujourd'hui. Mais beaucoup, notamment les optimistes quant au potentiel des robotaxis, pensent qu'ils pourraient, à terme, rendre obsolètes, ou du moins réduire considérablement le nombre de véhicules. Il semble donc que la consolidation du marché par une entreprise pose un réel problème pratique. Nous n'abordons pas ici la cybersécurité ; c'est un tout autre sujet que nous pourrions traiter ultérieurement.

Oui. Imaginez un piratage massif d'une flotte de robotaxis, paralysant une ville entière. C'est donc un problème théorique, bien sûr. Mais vous souleviez que même cela pourrait arriver sans intervention malveillante, à cause d'une simple défaillance corrélée.

C'est exact. Et les conséquences ne se limitent pas aux robotaxis immobilisés. Imaginez un tremblement de terre : si tous les robotaxis se retrouvent coincés, je sais que les voitures classiques ont des difficultés en cas de séisme, mais les conducteurs humains sont généralement capables de dégager leur véhicule pour laisser passer les véhicules d'urgence. Or, nous avons constaté de nombreuses difficultés rencontrées par les robotaxis dans ce cas de figure.

Et s'il s'agit de quelques unités seulement, elles se débrouillent. Mais si des centaines de robotaxis sont immobilisées et bloquent tous les véhicules d'urgence lors d'une catastrophe, cela peut poser problème. Est-ce un problème majeur comparé aux conducteurs humains ? Question intéressante.

Mais ce sont précisément les questions qu'il nous faut poser. Si l'on veut généraliser ce système à une part importante du parc automobile, il faut penser à la gestion des catastrophes. Il faut y réfléchir, enfin… Bon, d'accord. Et je pense qu'on devrait aborder ensuite la question de l'assistance à distance.

Mais si vous avez 50 assistants à distance et que 200 voitures tombent toutes en panne en même temps, vous savez, quel est votre plan ? Il vous faut un plan.

D'accord. Oui. De la même manière, nous aborderons plus tard, au point trois, les cas particuliers. Imaginons un tremblement de terre. Imaginons un séisme terrible qui fissure de nombreuses routes. Soudain, on pourrait se retrouver face à une situation où de nombreux cas particuliers se produisent instantanément : les routes, initialement en bon état, deviennent soudainement fissurées et les robotaxis détectent des obstacles.

Et même pas besoin d'un tremblement de terre. Une simple panne de courant suffit à mettre hors service tous les feux de circulation.

Même si 90 % des voitures respectent les feux de circulation, ces 10 % d'erreurs s'accumulent rapidement, et ce genre de situation est bien réel. Qu'en est-il des évacuations en cas d'ouragan ou d'autres incidents ? Face à une situation imprévue, notamment environnementale, les équipes risquent toutes d'être débordées. Bien sûr, des améliorations sont possibles, il ne s'agit donc pas de se dire « on ne peut rien faire », mais plutôt de savoir si nous anticipons. Attendons-nous que ces problèmes surviennent avant de réagir, ou prenons-nous les devants ? Et pour développer nos capacités, nous devons impérativement anticiper.

D'accord. Très bien. Voilà pour le premier sujet. C'est vraiment très intéressant et inquiétant. Deuxième sujet : vous parliez des conducteurs humains et des mécanismes de basculement.

17:23 #2 Cas limites à haute gravité et assistants humains à distance

D'accord. Le défi technique des robotaxis, depuis leurs débuts, réside dans la gestion des cas particuliers. Les événements rares, enfin, théoriquement rares, peuvent s'avérer délicats. Prenons l'exemple d'une panne de courant : les pannes de courant sont rares. Elles n'arrivent pas si souvent. Cela dépend de l'endroit où l'on habite.

Ce n'est pas parce que c'est rare, mais si les conséquences sont graves, il ne faut pas l'ignorer si la sécurité vous importe. Pensez par exemple aux piétons qui traversent en plein milieu d'une rue. Ce n'est pas systématique ; cela dépend de la ville où vous habitez.

Je sais que certains auditeurs se disent : « Attendez une minute ! Il n'habite pas dans ma ville ! » Mais… des gens qui traversent la rue, des écoliers qui descendent de la voiture de leurs parents et traversent pour aller à l'école… Eh bien, selon l'endroit où vous vous trouvez, vous n'avez peut-être jamais vu ça, ou vous le voyez peut-être tous les jours.

La rareté est donc relative. C'est là que ça se complique. On pourrait dire : « Ça n'arrive pas souvent. » Mais peu importe que ce soit rare.

Si le problème est grave et qu'il vous arrive, vous devez y faire face. N'est-ce pas ? Le hic avec l'apprentissage automatique, c'est qu'il excelle dans ce pour quoi il a été entraîné, mais qu'il a tendance à être très fragile et à manquer de ce que j'appellerais, faute de mieux, du bon sens. L'apprentissage automatique est dépourvu de bon sens.

Si un robot se retrouve confronté à une situation pour laquelle il n'a pas été entraîné, il a tendance à faire preuve d'excès de confiance. Il ne se rend même pas compte de son ignorance et commet une erreur que nous qualifierions de stupide. Et si cette situation est critique, cela risque de poser problème.

Les cas particuliers concernent donc la gestion des situations pour lesquelles l'apprentissage automatique n'a pas été entraîné. Que vous les considériez rares ou non n'a aucune importance. Si le système ne sait pas, il ne sait pas. Dire « j'ai déjà vu ça » ne sert à rien.

Eh bien, si le véhicule n'a pas été formé, il n'a pas été formé. C'est pourquoi les accidents graves sont très rares. Même en excluant les conducteurs ivres, on compte environ un décès pour 160 millions de kilomètres. 160 millions de kilomètres, c'est énorme.

Les gens conduisent étonnamment bien, surtout s'ils ne sont pas sous l'influence de l'alcool ou de drogues. C'est bien mieux que ça.

On pourrait donc dire que, finalement, seuls les événements rares comptent. Certains diront : « C’est rare, donc ça n’a pas d’importance. » Mais non. Les décès sont extrêmement rares.

En fait, ce sont les choses rares qui garantissent la sécurité. En ingénierie classique, c'est simple : j'ai appuyé sur le bouton. Ça a marché ? Oui.

D'accord. Super. L'ingénierie de la sécurité, je sais que c'est rare, mais c'est un domaine à haut risque. Et si on additionne tous les incidents au fil du temps, le risque est trop élevé.

Nous devons atténuer ce risque afin que même les événements rares ne provoquent pas de pertes importantes.

Exactement. Vous avez donc parlé de stratégies pour contrer ces événements rares.

Quelles sont les stratégies pour y faire face ?

Avant, ça paraissait un peu désespéré, parce que c'est comme chasser des Pokémons, sauf qu'il y en a une infinité. Impossible de tous les collectionner, le monde est un véritable labyrinthe de bizarreries. Il est tout simplement saturé. Et le discours habituel du secteur, c'était : « On en attrapera suffisamment pour pouvoir supporter quelques bizarreries de temps en temps. »

Si notre système est 100 fois plus sûr qu'un conducteur humain et qu'un accident survient, le risque d'accidents sera, pour 100 personnes, inévitable. On n'y peut rien. Mais en termes de taux de mortalité, notre système est loin d'être 100 fois plus sûr. On ne peut pas l'affirmer avec certitude, mais il est impossible qu'il le soit.

Et ils n'y sont jamais parvenus. L'industrie a donc en quelque sorte jeté l'éponge sur les cas particuliers.

Nous n'avons pas la capacité de faire gérer aux IA toutes les situations complexes et urgentes. C'est tout simplement impossible. Alors, quel est leur plan ? Ils sont déjà en service. Comment ont-ils fait ? Ils se sont dit : « Quand le taxi robot aura un problème, il appellera sa base et un humain viendra lui prêter main-forte. »

Et c'est une façon ingénieuse de gérer les cas particuliers. Du coup, plus besoin d'être formé à tout gérer. Il suffit d'être suffisamment compétent pour se dire : « Je n'y comprends rien. Je vais appeler à la maison. »

Donc, beaucoup d'incidents que vous constatez montrent qu'il y a encore des progrès à faire pour savoir quand appeler à la maison.

Mais lorsqu'ils appellent chez eux, ils ont un opérateur humain qui leur répond : « Ah oui ? »

Je sais que tu ne vois pas le feu à cause des reflets de la route ou du vent, crois-moi, il est vert. D'accord ?

Et en matière de sécurité, il vaut mieux que ce soit vraiment vert quand ils disent que c'est vert, parce que le robotaxis, vous savez, le robotaxis a toutes ces entrées de capteurs, mais ce sont les humains à distance qui prennent la décision et qui, bien souvent, déterminent ce qui se passe ensuite.

Très intéressant. Il y avait donc, je crois, un petit secret bien gardé du secteur pendant un certain temps : beaucoup de ces entreprises n’admettaient pas qu’elles faisaient appel à des chauffeurs de remplacement. Mais je pense que la plupart reconnaissent aujourd’hui qu’elles le font dans certaines situations. Certes, cela reste rare, mais elles sont là pour ces cas exceptionnels.

En fait, ça arrive tout le temps. Mais ce n'est pas grave, car s'attarder sur la pureté de l'autonomie n'est pas pertinent. Je me fiche qu'il soit totalement autonome. D'ailleurs, je suis content qu'il y ait des gens pour l'aider quand il ne sait pas, car l'alternative est effrayante.

N'est-ce pas ? C'est une question de ratio entre le nombre de personnes et le nombre de véhicules. Avec 100 véhicules par personne, c'est rentable. En fait, à partir de dix véhicules par personne, le gain est de moins en moins significatif.

N'est-ce pas ? Le numérateur est petit. Le diviseur est grand.

D'accord.

Vous savez, à 10 contre 1, à 20 contre 1, la différence n'est pas si importante. Donc, tant qu'il y a beaucoup de voitures par personne, l'aspect économique, qui est le plus important ici, reste positif. La question suivante est donc : les systèmes d'assistance à distance sont-ils vraiment sûrs ? L'industrie a enfin admis en proposer, et je trouve cela très bien.

Je ne pense pas que ce soit un point négatif. Je pense que c'est réaliste. Il n'y a pas de problème. Ce que l'industrie n'a pas encore admis, c'est que ces personnes prennent des décisions cruciales pour la sécurité, et nous devons être conscients qu'elles occupent un poste à haute responsabilité en matière de sécurité.

Le secteur s'efforce encore de trouver des solutions à ce problème. Avec 10 ou 20 assistants à distance, on peut recruter les meilleurs, la crème de la crème, et les problèmes seront peut-être minimes. Ce ne sera peut-être pas un souci majeur. Mais avec un million de robotaxis, on aura probablement de nombreux centres d'appels avec assistance à distance, et il faudra alors gérer la sécurité.

Voilà donc le défi restant à relever en matière de passage à l'échelle.

D'accord.

23:31 #3 Complexité combinatoire dans les cas limites

Il y a le numéro deux zéro quatre, et je pense que c'est un sujet vraiment intéressant. Le troisième concerne les cas particuliers, que nous avons brièvement abordés dans la section précédente. Il y a quelques mois, nous avons reçu un invité de Mobileye, et nous avons discuté de l'un des avantages dont ils bénéficient : ils possèdent l'une des plus grandes bases de données de conduite au monde. C'est leur capacité à accumuler les cas particuliers et à en intégrer davantage dans le modèle de formation de leurs clients, et ainsi de suite.

Et c'est assurément bénéfique. Mais comme nous en discutions tout à l'heure, le problème avec cette approche, c'est qu'elle ne traite que des problèmes connus. Or, il existe de nombreux problèmes inconnus, et ces inconnues inconnues représentent, je crois, le plus grand défi. Ai-je raison ?

Oui. C'est le problème des Pokémons infinis dont je parlais précédemment. Mais il y a une nuance importante à souligner. Traditionnellement, on imagine les cas limites comme : « Tiens, il y a un zèbre au milieu de la route, et je ne sais pas ce que c'est. » On pense à des objets ou des événements improbables, et ce sont effectivement des cas limites.

Mais intuitivement, vous pouvez probablement en repérer la plupart. La partie plus subtile et délicate réside dans les combinaisons d'éléments connus qui constituent un cas particulier si vous n'y êtes pas préparé. En particulier, il peut arriver qu'une situation combine des éléments connus d'une manière qui ait une signification différente de celle à laquelle vous êtes habitué. Je vais vous donner un exemple très simple. Si vous avez un panneau stop, attention, question piège ! Si vous avez un panneau stop sur un poteau, que faites-vous ?

Tu t'arrêtes.

N'est-ce pas ? Tu t'arrêtes. D'accord.

Alors tu y vas. N'est-ce pas ?

D'accord.

Sauf question piège. S'il s'agit d'un panneau stop sur un poteau tenu par un ouvrier du bâtiment, vous vous arrêtez et vous dites « stop ».

Bravo ! Bravo !

Encore une question piège, mais ce n'est pas fini. Encore une question piège. Un panneau stop est fixé sur un poteau, tenu à la main par quelqu'un, pas devant son visage, mais au niveau de sa jambe. Vous l'ignorez parce que c'est un agent de traversée scolaire qui ne vous demande pas sérieusement de vous arrêter.

Et vous le savez tous intuitivement. Tout le monde le sait intuitivement. Mais les panneaux d'arrêt sont vraiment compliqués. Et s'il s'agit d'un panneau d'arrêt fixé sur un bus, s'arrêter dépend de sa position : déployé ou replié.

Parce que d'un côté, vous vous arrêtez et dites stop, et de l'autre, vous l'ignorez. Bref, les cas particuliers ne se limitent pas aux panneaux stop. Quand on est formé à les respecter, on dit qu'on les respecte, mais pourquoi notre robotaxi emprunte-t-il des bus à vélos ? En fait, les panneaux stop ne sont pas si simples, et j'ai pris l'exemple que tout le monde connaît. Mais il y a plus que ça.

D'accord.

C'est un exemple frappant. Figurez-vous que l'année dernière, alors que je conduisais, une voiture a brusquement tourné à gauche, en plein milieu de la circulation… C'est tellement inhabituel ! On n'est même pas habitué à voir ça, parce qu'elle se trouve là où elle n'a rien à faire. Alors, que faire ? Eh bien, je me suis écarté au plus vite. Mais le problème, c'est qu'on n'est pas habitué à ce que les autres enfreignent le code de la route. Il ne suffit donc pas de respecter le code soi-même, il faut aussi imaginer que les autres conducteurs font des choses encore plus folles.

Et en temps réel, il faut faire preuve de bon sens. Je vais donc vous donner un exemple auquel je n'avais jamais pensé jusqu'à récemment. Je roule tranquillement quand un camion de pompiers s'arrête devant moi et que les pompiers en descendent. Ils ouvrent la portière et là, il y a un panneau stop peint à l'intérieur.

Alors je me dis, je sais ce qu'ils veulent. Ils ne veulent pas se faire renverser en descendant du camion, alors je pense que je vais m'arrêter et leur dire de s'arrêter jusqu'à ce que la porte se ferme. C'est ça ? Et puis, les gens sont super.

Je parie que vous auriez fait pareil. Vous auriez compris, grâce au contexte, que c'était plus juste. Voilà ce que ça veut dire. C'est dans le manuel du conducteur.

Je n'ai jamais été formé à cela. Nous avons et et AI C'est catastrophique. Par contre, c'est bon pour l'interpolation entre des points connus. C'est tout.

Quand on parle de journalisation, cela signifie que nous avons des points de formation et que nous faisons quelque chose entre les deux. Mais si ce « quelque chose » a une signification différente de celle de tous ses voisins, il y a un problème. Et si c'est quelque chose dont nous n'avons aucune idée, il y a un problème.

C'est tellement intéressant. Et on pourrait probablement avoir une conversation entière rien que sur ce sujet, car il y a évidemment beaucoup de discussions à ce propos. AI En ce moment, on en parle beaucoup dans l'actualité, notamment de la question de savoir si nous sommes déjà dans le domaine de l'intelligence artificielle générale (IAG), etc. La réalité, c'est que pour ces cas particuliers, il reste encore beaucoup de chemin à parcourir avant de pouvoir considérer l'IAG comme pleinement généralisable. AI .

Absolument. Mais plutôt que de nous enliser dans ce débat stérile, pourquoi ne pas parler du fait que la sécurité ne se résume pas aux accidents ? Qu'en pensez-vous ?

Je trouve ça génial. Faisons-le, et ce sera notre conclusion. Cette conversation a été formidable.

28:05 #4 La sécurité ne se résume pas aux accidents

D'accord. Le point suivant est que la sécurité ne se résume pas aux accidents. Cela m'a surpris. Je n'y avais pas vraiment pensé. Au début, notre discours était clair : cela sauverait des vies, réduirait le nombre d'accidents, et c'est essentiel.

Mais une fois que l'on aura atteint un niveau de performance équivalent à celui des conducteurs humains, disons que les taxis autonomes sont aujourd'hui aussi performants, voire un peu meilleurs, ou tout aussi performants. En réalité, concernant les accidents mortels, nous ne disposons pas des données nécessaires pour savoir précisément comment cela va se passer. Partons du principe que c'est là où nous allons aboutir. Rien ne permet de croire que cela ne se produira pas si l'on y prête une attention particulière.

La sécurité, c'est bien plus que ça.

Et en matière de sécurité, il y a plus que cela : par exemple, si vous vous arrêtez et bloquez un camion de pompiers ou une ambulance avec quelqu'un qui fait une crise cardiaque et que l'ambulance ne peut pas passer, ce n'était pas un accident, mais on ne peut pas dire que cela n'a rien à voir avec la sécurité.

Ou bien vous croisez des autobus scolaires. Le panneau d'arrêt est déployé, vous savez donc que vous devez vous arrêter et rester à l'arrêt, et votre voiture passe à toute vitesse. Votre robotaxi passe à toute vitesse. Vous n'avez pas heurté d'enfant cette fois-ci, mais il y a une raison pour laquelle vous êtes censé vous arrêter : c'est un environnement chaotique où aucun conducteur n'est assez compétent pour rouler à pleine vitesse et s'arrêter net à l'apparition d'un enfant.

Vous n'avez pas le temps de réagir. N'est-ce pas ? Alors vous vous arrêtez pour la sécurité de l'enfant. Vous ne pouvez pas dire : « Je n'ai pas heurté d'enfant cette fois-ci, donc tout va bien. »

Je veux dire, ça ne marche pas. N'est-ce pas ? Si on ne s'arrête pas, c'est un problème de sécurité. On a constaté un tas de choses concernant la sécurité qui agacent beaucoup les gens, et ça n'a rien à voir avec le nombre d'accidents par kilomètre, l'indicateur que privilégie l'industrie.

À mesure que le service se développe, nous allons constater une augmentation de ce type d'incidents importants pour les parties prenantes, notamment les municipalités et les parents, qui touchent à la sécurité et n'ont rien à voir avec le nombre d'accidents par kilomètre. Le secteur des robotaxis devra donc faire face à cette problématique à mesure qu'il se développe. J'aimerais également aborder un autre point : la responsabilité en cas de préjudice.

29:59 #5 Lacunes en matière de responsabilité juridique

Donc, actuellement, si vous êtes un conducteur humain et que vous enfreignez la loi, vous recevez une amende et vous risquez de perdre votre permis.

Si vous blessez quelqu'un en enfreignant la loi, vous pouvez être poursuivi pour homicide involontaire, ce genre de délit civil, poursuites pour négligence.

Dans de nombreux États, les robotaxis ne peuvent faire l'objet d'aucune poursuite pour négligence. Il s'agit de responsabilité du fait des produits, ce qui est complètement différent. Cependant, dans beaucoup d'États, la personne responsable des contraventions n'est pas le fabricant, mais le propriétaire ou le conducteur du véhicule.

Donc, si vous achetez une flotte de 10 robotaxis au lieu d'un appartement à louer, et que les conducteurs de ces robotaxis reçoivent des contraventions, il me semble que cela s'inscrit sur votre permis de conduire personnel, sans que vous puissiez contrôler le conducteur. Il y a donc beaucoup de choses louches qui se passent, et c'est le propre du lobbying de l'industrie des robotaxis pour obtenir des lois étatiques qui rejettent la faute sur tout le monde sauf sur elle.

Oui. Et avec seulement quelques robotaxis, qui gèrent leur propre flotte et peuvent payer les amendes avec leur propre argent, dans certains États où ils ne peuvent même pas être verbalisés, ce n'est pas vraiment un problème. Mais si l'on veut déployer un million de robotaxis, il faudra prévoir les imprévus. Ils ne seront pas parfaits. Il y aura des accidents. Cela ne les rend pas mauvais pour autant, mais il faut une responsabilisation et un système de résolution des accidents qui soit logique et qui encourage la sécurité à l'avenir, au lieu du système actuel, qui est un vrai désastre.

Vous savez, il s'agit vraiment de fusionner ces deux points. Je trouve ces points très intéressants. Le premier point que vous avez soulevé concernait le fait que les accidents ne sont pas la seule cause d'échec. Et en effet, l'industrie affirme que les systèmes automatisés sont bien plus sûrs que les systèmes automatisés ne le sont pour les accidents impliquant des humains. Comme vous le dites, nous n'en sommes pas certains, mais il est possible que ce soit vrai. Pourtant, il arrive encore que des situations dangereuses se produisent, et que, par un heureux hasard, les personnes concernées s'en sortent.

C'est à peu près là où nous en sommes actuellement.

Voilà où nous en sommes. L'industrie affirme que ces véhicules sont plus sûrs en cas d'accident. On peut en discuter, mais même si on admet que c'est vrai, qu'en est-il du fait de ne pas s'arrêter pour les autobus scolaires ?

Je sais. Exactement. Et ça me rappelle qu'à CMU, j'ai suivi un cours intitulé « Ingénierie et politiques publiques », qui a été l'un des plus révélateurs que j'aie jamais suivis. Et ils parlaient de la navette spatiale Challenger, pour ceux qui s'en souviennent.

Le point soulevé pendant le cours était que la NASA jouait alors à la roulette russe. Le rapport sur la catastrophe de la navette spatiale Challenger disait : « À la roulette russe, le fait que le premier tir soit réussi n'est d'aucune consolation pour le suivant. » En effet, le fait que ces situations dangereuses se produisent sans causer de problèmes immédiats signifie qu'un drame finira par se produire.

J'aime à dire que « la chance ne se généralise pas ».

Voilà. Ensuite, votre deuxième point concernait la responsabilité. Il ne fait aucun doute que c'est un sujet de discussion récurrent : il existe un manque évident, mais non comblé, concernant la question de la responsabilité. Si ce service doit se développer à grande échelle, une réforme du système s'impose. Le modèle actuel n'est pas viable à grande échelle. Il faudra trouver une solution pour le rendre viable, car l'approche actuelle est clairement inadaptée. Cela nécessitera une volonté politique et, malheureusement, probablement des événements regrettables, pour que les gens prennent conscience de ce que vous avez souligné. Je pense que nous devons résoudre ce problème, car les taxis-robots sont un bien public et peuvent être bénéfiques, et le seront. Cependant, nous n'avons pas encore trouvé la solution à ce problème.

Je préfère anticiper le problème afin d'éviter que les personnes les plus défavorisées n'aient à supporter tout le poids de la réforme du système. Je préférerais que la réforme soit mise en œuvre sans avoir à passer par ce processus.

Je suis entièrement d'accord et j'espère que la politique évoluera dans ce sens. Phil, cette conversation a été passionnante. J'ai appris énormément de choses. J'espère que nos invités ont apprécié ce mini-cours d'ingénierie de la sécurité et sur les robotaxis. Il y a encore de quoi se réjouir des progrès incroyables accomplis, et pour vous, après trente ans d'expérience, voir le chemin parcouru doit être formidable. Mais vous nous avez montré qu'il reste encore beaucoup à faire.

Je pense que l'avenir est prometteur. Le passage à l'échelle supérieure comporte certes des défis, et la clé du succès réside dans la reconnaissance et la résolution de ces défis par le secteur. C'est ainsi que tout le monde y gagne. Merci de m'avoir invité. J'apprécie vraiment cet honneur.

Merci beaucoup de nous avoir rejoints. Si vous appréciez ce que vous voyez, n'hésitez pas à liker et à vous abonner pour découvrir d'autres épisodes similaires. The Garage et nous espérons vous revoir très bientôt dans un autre épisode.