Sind 99,9 % Sicherheit ausreichend für Robotaxis?

0:00 Einleitung: Das Versprechen autonomer Fahrzeuge

Heute in The Garage Wir werden das autonome Fahren aus einer neuen Perspektive betrachten. Alle sind begeistert von den Fortschritten, die autonome Fahrzeuge in den letzten Jahren mit Waymo, Zoox und vielen anderen Unternehmen, die mittlerweile kommerziell erhältlich sind, gemacht haben. Viele Menschen in Städten wie hier in San Jose, im Großraum San Francisco, wo wir leben, können per Smartphone ein Robotaxi bestellen, das dann fahrerlos vorfährt und sie mitnimmt. Diese Entwicklung ist unglaublich spannend und erfolgreich. Ich selbst habe vor etwa fünf Jahren in meiner Karriere an Robotaxis gearbeitet, als diese noch nicht ausgereift waren, und das war eine sehr frustrierende Erfahrung. Daher ist es wirklich inspirierend zu sehen, welche Fortschritte diese Technologie erzielt hat und wie sie sich weiterentwickelt und wie sie genutzt wird. AI Die

Allerdings wird die Entwicklung von Robotaxis mit steigender Anzahl an Fahrzeugen immer komplexer und die damit verbundene Skalierung auf Tausende von Fahrzeugen zu einer größeren Herausforderung. Wer könnte uns darüber besser Auskunft geben als ein Experte, der sich seit dreißig Jahren mit diesem Thema beschäftigt? Unser heutiger Gast ist Professor Phil Koopman von der Carnegie Mellon University, der kürzlich in den Ruhestand getreten ist. Er hat dreißig Jahre lang Robotaxis und andere Aspekte der Sicherheitstechnik erforscht und wird uns die Vorteile und Herausforderungen für eine erfolgreiche Skalierung von Robotaxis erläutern.

Los geht’s.

Ich bin John Heinlein, Chief Marketing Officer bei Sonatus Wir freuen uns sehr, Phil Koopman heute bei uns zu haben. Phil, herzlich willkommen! The Garage Die

Danke für die Einladung. Ich freue mich, hier zu sein.

Wir beide haben also eine enge Verbindung zu Carnegie Mellon. Ich habe dort meinen Bachelor gemacht. Sie waren lange Zeit Professor. Und ich glaube, unsere Wege haben sich gekreuzt, als ich Student und Sie Doktorand waren. Erzählen Sie uns doch zunächst etwas über Ihren Werdegang.

Klar. Mein Hintergrund ist, dass ich mit einem Bachelor-Abschluss in Computertechnik am RPI angefangen habe.

Danach leistete ich meinen Wehrdienst bei der Marine, da diese freundlicherweise mein Bachelorstudium finanzierte. So lief das damals. Anschließend arbeitete ich erfolgreich, ging dann an die Carnegie Mellon University und promovierte dort. Dort trafen wir uns zufällig. Ich war Tutor in einem Kurs für Hardware-Design – Bit-Slice-CPUs, falls das jemandem noch etwas sagt. Es war ein spannender Kurs. Nach meinem Abschluss arbeitete ich als CPU-Designer bei Harris Semiconductor. Ich war auch bei United Technologies im Central Research Center tätig, sammelte dort viel Erfahrung im Bereich eingebetteter Systeme und kehrte schließlich als Professor an die Carnegie Mellon zurück. Dort lehrte ich fast dreißig Jahre lang und bin erst vor Kurzem in den Ruhestand gegangen.

Herzlichen Glückwunsch zu Ihrer beeindruckenden Karriere und Ihrem wirklich herausragenden Werdegang! Aber dazu kommen wir gleich. Zuvor möchten wir aber noch eine interessante Tatsache über Sie erfahren.

Klar. Und das Lustige ist: Ich bin während des Kalten Krieges bei der Marine U-Boote gefahren. Ich habe eine Kampfmedaille, aber ich kann Ihnen nicht sagen, wie ich sie bekommen habe.

Das ist eine unglaubliche Geschichte. Ich liebe U-Boot-Filme, „Das Boot“ und „Jagd auf Roter Oktober“. So tolle Geschichten, ich bin richtig neidisch auf deine Erlebnisse.

Nun ja, „Jagd auf Roter Oktober“ ist ein außergewöhnlich guter Film. Er beschreibt sehr treffend die Art von Dingen, die ich damals gemacht habe.

3:15 Grundlagen der Sicherheitstechnik

Das hat mir sehr viel Spaß gemacht. Erzählen Sie uns doch etwas über Ihre Karriere an der CMU und insbesondere über Sicherheitstechnik. Das war ja einer Ihrer Schwerpunkte. Könnten Sie unserem Publikum vielleicht kurz erklären, was Sicherheitstechnik ist und wie sie sich von der klassischen Ingenieurskunst, also dem reinen Bauen von Objekten, unterscheidet? Und wie ergänzt sie diese?

Klar. Ich beschäftige mich seit dreißig Jahren speziell mit der Sicherheit autonomer Fahrzeuge und habe darüber hinaus unzählige andere Bereiche der Sicherheitsentwicklung abgedeckt – ich habe bestimmt schon 200 Designprüfungen von eingebetteten Systemen durchgeführt, und vor etwa 15 Jahren habe ich aufgehört zu zählen. Manche davon funktionierten einfach nicht, aber viele betrafen die Sicherheit in den unterschiedlichsten Bereichen. Ich habe also viele Sicherheitsstandards und ein breites Spektrum an Sicherheitsthemen kennengelernt.

Wenn man Sicherheit auf den Punkt bringen will, läuft es im Grunde darauf hinaus: Wenn man ein System entwickelt und testet, lernen Ingenieure, dessen Funktionsfähigkeit sicherzustellen. Sie sind sehr gut darin, den Idealfall zu bewältigen, aber vielleicht nicht den Fehlerfall. Sicherheitstechnik befasst sich jedoch nicht damit, wie man die Funktionsfähigkeit gewährleistet, sondern damit, was passiert, wenn etwas schiefgeht.

Konkret lernt man, eine Liste von Gefahren zu erstellen, also von Dingen, die Probleme verursachen können. Oft geht es dabei um Personenschäden, aber es können auch schwere Sachschäden sein. Es kann vieles passieren. Hauptsache, es passiert etwas Schlimmes.

Man erstellt eine Liste aller potenziellen Fehlerquellen und entwickelt einen Plan, um diese entweder zu verhindern oder, falls sie doch auftreten, den Schaden zu minimieren. Sicherheitstechnik bedeutet also, die Gefahren zu erfassen, Risikominderungsmaßnahmen zu entwickeln und sicherzustellen, dass diese Sicherheitsanforderungen in die technischen Anforderungen einfließen. Das heißt, man muss das Sicherheitsverhalten bewusst gestalten und die Wirksamkeit der Sicherheitsvorkehrungen testen. Ein ganz einfaches Beispiel: Ein Zug hat Druckluftbremsen.

Falls alles schiefgeht, gibt es eine Druckluftflasche. Man drückt den Knopf, und die Bremsen werden voll betätigt. Wozu dient das? Nun, im Zug kann so einiges passieren, aber die meisten Probleme lassen sich durch eine Vollbremsung beheben. Das ist also der Plan.

Es ist interessant, das so zu beschreiben, und ich denke, Sie haben Recht. Als Ingenieur möchte man natürlich, dass etwas funktioniert, aber man muss wirklich alle möglichen Fehlerszenarien bedenken. Es gibt da dieses Konzept von „ausfallsicherem“ und „ausfallgefährlichem“ Fehler, über das oft gesprochen wird. Ich nehme an, Ihr Ziel ist es, einen Fehler von vornherein zu vermeiden. Sollte er aber doch auftreten, muss er so ablaufen, dass die Sicherheit nicht gefährdet wird. Ist das eine treffende Beschreibung?

5:37 Ausfallsicher und betriebsbereit

Ja. So war es bis vor Kurzem. Bei klassischen Systemen ist es sicher, wenn man sie stromlos macht. Bei chemischen Prozessen ist es viel sicherer, wenn man die Temperatur so weit herunterfährt, dass sie Raumtemperatur hat, anstatt mit überhitztem Dampf zu arbeiten.

Man möchte also das Problem vermeiden. Man möchte eine Möglichkeit haben, in einer unsicheren Situation die Energie abzubauen, bis sie sicher ist. Normalerweise bedeutet das, die Energie abzubauen. Man hat ein Auto, man bringt es zum Stehen. Der Haken ist jedoch, dass es Situationen gibt, in denen das vollständige Ableiten der Energie nicht ausreicht.

Stellen Sie sich vor, Sie haben ein Flugzeug und ein Triebwerksbrand in 10.700 Metern Höhe. Alle Triebwerke abzuschalten, ist der falsche Weg. Richtig? Deshalb gibt es den Fail-Safe-Modus, der in der Regel einen Fail-Stop bedeutet.

Einfach alles abschalten, alles stromlos machen, und man ist in Sicherheit. Das funktioniert in vielen Fällen. Aber in manchen Situationen, insbesondere bei hohen Geschwindigkeiten, muss man lange genug weiterarbeiten, um die Anlage abzubremsen. Passagierflugzeuge haben nicht umsonst zwei Triebwerke und mindestens zwei Steuerungssysteme: Fällt eines aus, muss der Flugbetrieb nicht nur vollständig unterbrochen, sondern so lange aufrechterhalten werden, bis man sich in einer sicheren Position befindet.

Das gilt auch für Autos. Wenn Sie mit 96 km/h auf der Autobahn fahren und Ihre Lenkung nicht mehr reagiert, dann ist die Lenkung das Problem. Der Motor fällt aus.

Das funktioniert nicht.

Die Lenkung muss lange genug funktionieren, um das Auto abzustellen.

Das stimmt. Und man kann nicht einmal einfach anhalten, weil dann das nächste Auto hinter einem direkt in einen hineinfährt.

Sie müssen also irgendwie elegant vorgehen…

Sie müssen von der Straße runter. Sie müssen die Fahrspur verlassen. Ich meine, es mag einen sehr seltenen Fall geben, in dem Sie nichts tun können. Wenn der Motor aus dem Auto fällt, sind Ihre Möglichkeiten begrenzt. Aber in fast allen Fällen brauchen Sie genug Kraft, um die Fahrspur zu verlassen. Deshalb müssen Sie vom normalen Betriebsmodus in einen Bergungsmodus mit eingeschränkter Leistung und sehr kurzer Einsatzzeit wechseln, aber diese Notfalloption muss vorhanden sein. Sie brauchen also Backups, sonst funktioniert es nicht.

Das ist fantastisch. Wir machen heute hier im Podcast einen Abschluss in Sicherheitstechnik.

Sie erwähnten ja, dass Sie sich seit dreißig Jahren mit autonomem Fahren beschäftigen, und natürlich hat es in dieser Zeit enorme Fortschritte gegeben – von einer ersten Idee bis hin zu dem Moment, in dem man direkt vor meinem Büro ein Robotaxi rufen kann. Beginnen wir also am besten mit den positiven Entwicklungen und sprechen wir anschließend über die praktischen Aspekte. Wir sehen jetzt praktische Robotaxis von Waymo, Zoox und einigen anderen Anbietern, die man mieten kann. Auch in China gibt es Lösungen, die in bestimmten Städten und begrenzten Einsatzgebieten bereits praktisch erprobt sind. Darüber werden wir sicher noch sprechen.

Sie müssen also in der Zeit, in der Sie das schon machen, unglaubliche Fortschritte gemacht haben.

Nun, es sind dreißig Jahre vergangen, aber es hat sich viel getan. Deshalb kann man nur sagen: Ja, absolut. Man kann sich ein Robotaxi rufen. Ich bin selbst schon mit Robotaxis gefahren. Es ist eine faszinierende Technologie.

Und was die Sicherheit angeht, ist 99,9 % ein guter Anfang. Es ist nicht das Ziel. Stimmt's?

Und es fühlt sich an, als wären wir zu 99 % am Ziel, denn meine Güte, man kann zwar echt viel Robotaxi fahren, aber es hat 30 Jahre gedauert. Vor 30, 31 Jahren hatte Carnegie Mellon ein Auto, das die Strecke von Washington D.C. nach San Diego zu 98 % autonom zurücklegte, und es hat all diese Zeit gebraucht, um die letzten 1,999 % zu erreichen, was auch immer das genau ist. Verstanden?

Aber es ist ein großer Fortschritt, denn das ist eine erstaunliche Leistung. Man kann sehen, dass da tatsächlich niemand drin sitzt und das Fahrzeug steuert. Es gibt sozusagen keinen Mann hinter dem Vorhang, wenn diese Fahrzeuge die meiste Zeit fahren. Das ist großartig.

Und es fühlt sich an, als wären wir fast soweit, aber ich denke, worüber wir heute sprechen werden, ist Folgendes: Wenn man erst einmal 100 Robotaxis auf der Straße hat, ist das fantastisch.

9:26 Herausforderungen bei der Skalierung von Robotaxi-Flotten

Aber von 100 auf 100.000 Robotaxis ist das ein himmelweiter Unterschied. Und ich sage immer: 99 % sind geschafft, 99 % stehen noch aus.

Ich meine, es ist eine andere Art, das auszudrücken, denn wie Sie schon erwähnt haben, spricht man in der Geschäftswelt oft von fünf Neunen, also 99,999 oder wie viele Neunen man auch immer braucht. Entscheidend ist der Zähler. Bei 100 Robotaxis auf der Straße sind 99,9 % wahrscheinlich ziemlich gut. Bei tausend oder 10.000 sieht die Sache schon anders aus, da stößt man dann auch auf kleinere Neunen.

Einfache Division.

Nur zu. Bitte.

Klar. Ganz einfache Division. Nur um das zu verdeutlichen: Was bei 100 Robotaxis einmal im Jahr passiert, passiert bei 10.000 Robotaxis zweimal pro Woche.

Das soll nicht heißen, dass ein Robotaxi grundsätzlich schlecht ist. Einmal im Jahr merkt man es vielleicht gar nicht, aber wenn es zweimal die Woche passiert, wird es relevant. Dabei geht es nicht darum, dass das Robotaxi schlechter geworden ist. Es ist einfach eine Frage der Häufigkeit. Je häufiger es vorkommt, desto mehr achtet man auf die Dinge, die vorher so selten waren, dass sie kaum ins Gewicht fielen.

Die Technologie für den Betrieb von 100 Robotaxis ist wirklich beeindruckend und bereits verfügbar. Die nächste Herausforderung besteht darin, mit den seltenen Ereignissen umzugehen, die früher so selten waren, dass sie kaum ins Gewicht fielen, da sie nun in großem Umfang auftreten werden. Das ist die eigentliche Herausforderung.

Das ist in der Tat ein spannendes Thema. Wir hatten über viele Jahre hinweg Gäste, die hier darüber gesprochen haben. The Garage Sprechen wir über dieses Problem aus einer anderen Perspektive.

Ein leitender Angestellter von Mobileye und andere sprachen Anfang der Saison über ihre Arbeit. Sie bringen jedoch eine wirklich wertvolle und einzigartige Perspektive ein. Sprechen wir also über einige der Herausforderungen, die Sie bei der Massenproduktion und dem breiten Einsatz von Robotaxis sehen.

11:12 Taxonomie der Fehlertypen

Also, ich habe vier Mülleimer, und ich denke, wir werden die vier Mülleimer wohl mal durchgehen, aber lasst mich kurz etwas vorausschicken. Das erste Problem sind Massenausfälle. Wenn ein Robotaxi mitten auf der Straße anhält, ist es eben nur ein Robotaxi. Wenn aber 100 Robotaxis alle mitten auf derselben Straße anhalten, dann hat man ein ganz anderes Problem.

Software und auch Roboter neigen dazu, unter ähnlichen Umständen auszufallen. Wenn also alle Robotaxis dieselbe Software verwenden, ist das typisch für Computer: Sie fallen oft gleichzeitig aus. Deshalb muss man einen Plan B haben.

Der nächste Punkt ist, dass Sicherheit mehr umfasst als nur Unfälle.

Die Branche hat sich also intensiv mit der Reduzierung der Unfallraten beschäftigt und dabei große Fortschritte erzielt. Doch mit dem Anstieg der Anzahl von Robotaxis von 10 auf 100 und schließlich auf 1000 haben wir gelernt, dass weitere sicherheitsrelevante Aspekte in den Vordergrund rücken. Anfangs hätte ich mir darüber keine Gedanken gemacht, aber sie sind nun einmal wichtig, und wir müssen daraus lernen. Drittens haben sich Grenzfälle und seltene Ereignisse als größere Herausforderung erwiesen als erwartet, aber ich wusste, dass sie uns vor Herausforderungen stellen würden. Die Branche hat zwar einen Plan dafür, doch das bringt neue Herausforderungen mit sich. Und schließlich geht es um die Verantwortlichkeit.

Mit zunehmender Größe des Unternehmens ist ein besserer Kontrollmechanismus erforderlich als bisher. Das ist nicht die Schuld der Robotaxi-Branche, sondern liegt daran, dass unser Rechtssystem den aktuellen Entwicklungen nicht gewachsen ist.

Vielen Dank für diese Taxonomie und den guten Ausblick auf die zukünftige Entwicklung. Ich denke, das deckt so viele verschiedene Aspekte ab, dass es das Thema wirklich aus verschiedenen Perspektiven beleuchtet.

12:41 #1 Korrelierte Ausfälle

Beginnen wir also mit dem ersten Punkt, den Sie erwähnt haben: Massenausfälle oder die Tatsache, dass ein Ausfall oft mit weiteren Ausfällen korreliert. Können Sie das näher erläutern? Was ist die Herausforderung und was sollten wir dagegen tun?

Nun, wenn man über menschliche Fahrer spricht, machen diese ständig Fehler. Autos gehen kaputt. Es können alle möglichen Dinge passieren. Aber es ist selten, dass 100 oder 1000 Autos gleichzeitig dasselbe Problem haben, denn jeder Mensch ist anders – wie jedes andere Auto auch.

Klar. Es gibt Dinge, die den Verkehr behindern oder blockieren. Ein Stromausfall führt zu Chaos für alle Autofahrer. Wenn aber in allen Robotaxis derselbe Computer gesteuert wird und diese einen erheblichen Teil des Stadtverkehrs ausmachen, dann hat man bei einer Störung ein stadtweites Problem.

Und erzählen Sie mir nicht, dass Computer, insbesondere vernetzte Computer in großem Umfang, nie ausfallen. CrowdStrike ist nur das jüngste Beispiel dafür. So etwas kommt vor.

Es gab da mal ein Problem in China, ich glaube in Wuhan, wo alle Taxi-Robotertaxi einer einzigen Firma gleichzeitig ausfielen, weil es wohl ein Kommunikationsproblem gab. Die Fahrgäste saßen dann auf Hochstraßen fest. Wir haben ja alle die Videos von US-Robotern gesehen, die bei Großveranstaltungen wie Partys oder Stromausfällen stecken geblieben sind. Sowas kommt eben vor. Das heißt aber nicht, dass man die Technologie nicht nutzen kann. Man muss nur akzeptieren, dass solche Probleme unvermeidlich sind. Also, lasst uns doch unsere ganze Software-as-a-Service-Lösung auf demselben Server in derselben Stadt betreiben und die ganze Welt damit bedienen – das ist wirklich keine gute Idee.

Nun, raten Sie mal? Robotaxis wird dieselben Schwachstellen aufweisen. Man muss einen Plan haben.

Sie erwähnten, dass ein erheblicher Teil des Verkehrs von einem einzigen Unternehmen stammen kann. Das ist aktuell natürlich noch nicht der Fall. Viele, insbesondere die Optimisten unter den Robotaxis-Befürwortern, glauben jedoch, dass diese die Anzahl der Autos in Zukunft deutlich reduzieren oder sogar überflüssig machen könnten. Es scheint also ein durchaus relevantes Problem zu sein, das bei einer Konsolidierung durch ein bestimmtes Unternehmen zu berücksichtigen ist. Cybersicherheit ist hier nicht das Thema. Das ist ein ganz anderes Thema, das wir ein anderes Mal behandeln könnten.

Ja. Wenn man von massenhaftem Hacking einer ganzen Flotte von Robotaxis spricht, kann man sich vorstellen, wie das eine Stadt lahmlegen würde. Das ist also durchaus auch ein theoretisches Problem. Aber dein Punkt war ja, dass selbst das ohne böswillige Absicht passieren könnte, einfach aufgrund eines damit zusammenhängenden Fehlers.

Das stimmt. Und es gibt noch weitere Konsequenzen, die über die vielen gestrandeten Robotaxis hinausgehen. Was wäre, wenn es – Gott bewahre – zu einem Erdbeben käme und die Robotaxis darin stecken blieben? Ich weiß, dass Autos mit menschlicher Beteiligung bei Erdbeben Probleme haben, aber menschliche Fahrer sind in der Regel gut darin, ihre Fahrzeuge rechtzeitig vor Einsatzfahrzeugen in Sicherheit zu bringen. Und genau damit hatten die Robotaxis schon oft Schwierigkeiten.

Und wenn es nur ein oder zwei Fahrzeuge sind, kriegen sie das hin. Aber wenn Hunderte von Robotaxis feststecken und in einer Katastrophensituation wie dieser alle Einsatzfahrzeuge blockieren, kann das problematisch werden. Ist das im Vergleich zu menschlichen Fahrern ein großes Problem? Interessante Frage.

Aber genau solche Fragen müssen wir uns stellen. Wenn man das auf einen erheblichen Teil der Fahrzeuge ausweiten will, muss man an Katastrophenschutz denken. Man muss sich überlegen, ob... nun ja. Also, und ich denke, wir sollten als Nächstes das Thema Fernwartung behandeln.

Aber was ist, wenn 50 Fernassistenten und 200 Autos gleichzeitig ausfallen? Was ist dann Ihr Plan? Sie brauchen einen Plan.

Genau. Ja. Ähnlich verhält es sich mit Sonderfällen, über die wir später in Punkt drei sprechen werden. Stellen wir uns zum Beispiel ein Erdbeben vor. Ein schweres Erdbeben, bei dem viele Straßen beschädigt werden. Plötzlich könnten viele Sonderfälle augenblicklich eintreten: Die Straßen sind vorher in gutem Zustand und plötzlich voller Risse, und die Robotaxis stoßen auf Hindernisse.

Und man braucht nicht einmal ein Erdbeben. Ein Stromausfall reicht völlig aus, um alle Ampeln lahmzulegen.

Selbst wenn 90 % der Autos die Ampeln richtig erkennen, summieren sich die restlichen 10 % schnell, und das ist tatsächlich ein reales Problem. Oder eine Hurrikan-Evakuierung, wer weiß? Wenn sie mit einer Situation konfrontiert werden, für die sie nicht trainiert wurden, werden sie alle gleichzeitig versagen, insbesondere wenn es sich um eine Umweltsituation handelt. Das lässt sich verbessern, daher ist die Frage nicht, ob man sagen kann: „Da kann man nichts machen.“ Die Frage ist vielmehr: Denken wir voraus? Warten wir, bis solche Dinge passieren, bevor wir reagieren, oder handeln wir proaktiv? Und was wir beim Ausbau unserer Kapazitäten tun müssen, ist, proaktiv zu handeln.

Okay. Gut. Das war also Thema eins. Das war wirklich super interessant und gleichzeitig beängstigend. Thema zwei: Sie sprachen über menschliche Fahrer und Ausfallsicherungsstrategien.

17:23 #2 Hochkritische Grenzfälle und menschliche Fernassistenten

Genau. Die technische Herausforderung für Robotaxis besteht seit dem ersten Tag in den Sonderfällen. Seltene Ereignisse – theoretisch seltene Ereignisse – machen es etwas knifflig. Aber denken Sie an einen Stromausfall: Stromausfälle sind selten. Sie kommen nicht so oft vor. Es kommt darauf an, wo man wohnt.

Nur weil etwas selten vorkommt, heißt das nicht, dass man es ignorieren kann, wenn einem die Sicherheit am Herzen liegt, insbesondere wenn es schwerwiegende Folgen hat. Es gibt ja auch Fälle, in denen Fußgänger mitten auf einem Häuserblock die Straße entlanglaufen. Das passiert nicht ständig. Es kommt darauf an, in welcher Stadt man lebt.

Ich weiß, einige Hörer denken jetzt: Moment mal. Der wohnt doch gar nicht in meiner Stadt. Aber Leute, die die Straße überqueren, oder Schulkinder, die aus dem Auto ihrer Eltern steigen und zur Schule gehen – je nachdem, wo man wohnt, hat man das vielleicht noch nie gesehen oder man sieht es jeden Tag.

„Selten“ ist also relativ. Deshalb wird es so kompliziert. Man sagt: „Das passiert nicht oft.“ Nun, ob es nicht oft passiert oder nicht, spielt keine Rolle.

Wenn es schwerwiegend ist und dich betrifft, musst du damit umgehen. Stimmt's? Und das Problem beim maschinellen Lernen ist, dass es zwar gut in dem ist, wofür es trainiert wurde, aber dazu neigt, sehr fehleranfällig zu sein und – um es mal so auszudrücken – gesunden Menschenverstand vermissen zu lassen. Maschinelles Lernen hat keinen gesunden Menschenverstand.

Wenn es also in eine Situation gerät, für die es nicht trainiert wurde, neigt es zu Selbstüberschätzung. Es merkt nicht einmal, dass es sich nicht auskennt. Es tut etwas, das wir als einfach nur dumm bezeichnen würden. Und wenn es sich um eine kritische Situation handelt, wird das problematisch.

Die Frage ist also: Wie geht man mit Dingen um, für die das maschinelle Lernen nicht trainiert wurde? Ob man sie für selten hält, spielt keine Rolle. Wenn es sie nicht kennt, kennt es sie eben nicht. Es hilft nicht, zu sagen: „Nun, ich habe das schon mal gesehen.“

Nun ja, wenn es nicht trainiert wurde, wurde es eben nicht trainiert. Daher sind schwere Sicherheitsvorfälle sehr selten. Selbst wenn man die Betrunkenen mit einbezieht, liegt die Zahl der Todesopfer bei etwa einem pro 100 Millionen Meilen. 100 Millionen Meilen sind eine Menge Meilen.

Die Leute fahren erstaunlich gut, vor allem wenn sie nicht beeinträchtigt sind. Es ist aber noch viel besser.

Man könnte also sagen, dass im Grunde nur die seltenen Ereignisse von Bedeutung sind. Manche würden sagen: „Das war selten, also spielte es keine Rolle.“ Aber nein. Todesfälle sind extrem selten.

Und tatsächlich sind es die seltenen Dinge, die die Sicherheit gewährleisten. Im normalen Ingenieurwesen läuft es so ab: Ich drücke den Knopf. Hat es funktioniert? Ja.

Okay. Cool. Sicherheitstechnik ist, ich weiß, das kommt selten vor, aber sie birgt ein hohes Risiko. Und wenn man alle Ereignisse über einen längeren Zeitraum betrachtet, ist das Risiko zu hoch.

Wir müssen dem entgegenwirken, damit selbst seltene Ereignisse nicht zu einem großen Schadensereignis führen.

Genau. Und Sie sprachen also über Strategien, um solche seltenen Ereignisse zu bekämpfen.

Welche Strategien gibt es, um diese Probleme anzugehen?

Früher wirkte es ziemlich hoffnungslos, denn es ist, als würde man Pokémon jagen, nur dass es unendlich viele Pokémon gibt. Man kann sie unmöglich alle sammeln, weil die Welt voller Verrücktheiten ist. Sie ist einfach komplett überfüllt. Und die Branche sagte früher immer: „Wir fangen schon genug, da können wir die gelegentlichen Kuriositäten schon in Kauf nehmen.“

Wenn wir 100-mal sicherer wären als ein menschlicher Fahrer und etwas Schlimmes passiert, dann passieren eben 100-mal so viele Menschen. Da kann man nichts machen. Aber die Unfallrate ist bei Weitem nicht 100-mal niedriger. Wir wissen es nicht genau, aber es ist definitiv nicht 100-mal sicherer.

Und sie haben ihr Ziel nie erreicht. Damit hat die Branche im Grunde in Grenzfällen aufgegeben.

Wir sind nicht in der Lage, KIs alle komplexen und kritischen Situationen bewältigen zu lassen. Das können wir einfach nicht. Was ist also ihr Plan? Aber sie sind ja schon unterwegs. Wie haben sie das geschafft? Sie haben sich gedacht: Wenn das Robotertaxi in Schwierigkeiten gerät, ruft es automatisch nach Hause an, und ein Mensch hilft ihm.

Und das ist eine geniale Methode, mit Sonderfällen umzugehen. Man muss also nicht mehr für alles geschult sein. Man muss nur so gut geschult sein, dass man weiß: „Ich habe keine Ahnung, was los ist. Ich rufe mal zu Hause an.“

Bei vielen der Vorfälle, die man sieht, gibt es also noch Verbesserungspotenzial beim Wissen, wann man nach Hause anrufen sollte.

Aber wenn sie zu Hause anrufen, haben sie einen menschlichen Mitarbeiter am Telefon, der sagt: „Oh ja.“

Ich weiß, du kannst die Ampel wegen der Blendung durch die Straße oder des Windes nicht sehen, aber glaub mir, Kumpel, sie ist grün. Okay?

Und in puncto Sicherheit muss es auch wirklich umweltfreundlich sein, wenn behauptet wird, es sei umweltfreundlich, denn die Robotaxis verfügen zwar über all diese Sensoren, aber letztendlich trifft der Mensch aus der Ferne die Entscheidung und bestimmt oft, was als Nächstes passiert.

Sehr interessant. Offenbar gab es in der Branche eine Zeit lang ein kleines, unschönes Geheimnis: Viele Unternehmen haben nicht zugegeben, dass sie menschliche Ersatzfahrer einsetzen. Ich denke aber, die meisten geben das mittlerweile zu. Sicher, es ist eher selten, aber sie sind eben für solche Ausnahmefälle da.

Das passiert tatsächlich ständig. Aber das ist nicht schlimm, denn sich an der absoluten Autonomie aufzuhängen, ist irrelevant. Mir ist es egal, ob es vollständig autonom ist. Im Gegenteil, ich bin froh, dass es Hilfe hat, wenn es etwas nicht weiß, denn die Alternative wäre beängstigend.

Stimmt's? Es geht um das Verhältnis von Personenzahl zu Fahrzeuganzahl. Bei 100 Fahrzeugen pro Person ist es kosteneffizient. Ab zehn Fahrzeugen pro Person sinkt der Nutzen jedoch.

Stimmt's? Der Zähler ist klein. Der Divisor ist groß.

Richtig.

Wissen Sie, bei einem Verhältnis von 10 zu 1 oder 20 zu 1 ist der Unterschied nicht so groß. Solange also genügend Autos pro Person vorhanden sind, rechnet sich das – und darauf kommt es hier an – wirtschaftlich. Die nächste Frage ist also: Sind die Fernwartungssysteme wirklich sicher? Die Branche hat nun endlich zugegeben, dass sie diese Systeme einsetzen, und ich finde das in Ordnung.

Ich sehe das nicht als etwas Negatives. Ich halte das für realistisch. Es ist kein Problem. Was die Branche aber immer noch nicht offen ansprechen muss, ist, dass diese Leute sicherheitskritische Entscheidungen treffen, und wir müssen uns darüber im Klaren sein, dass sie eine solche Position innehaben.

Die Branche arbeitet noch an einer Lösung. Bei 10 oder 20 Fernassistenten kann man die Besten der Besten einstellen, und dann gibt es vielleicht kaum Probleme. Vielleicht ist es kein großes Thema. Aber bei einer Million Robotaxis hat man wahrscheinlich auch viele Callcenter mit Fernunterstützung und muss dort die Sicherheit gewährleisten.

Das ist also die verbleibende Herausforderung bei der Skalierung.

Na gut.

23:31 #3 Kombinatorische Komplexität in Grenzfällen

Da ist Nummer zwei, null, vier, und ich denke, das ist ein wirklich interessantes Thema. Ich glaube, der dritte Punkt sind die Sonderfälle, die wir im vorherigen Abschnitt schon kurz angesprochen haben. Wir hatten vor ein paar Monaten einen Gast von Mobileye, und wir sprachen darüber, dass einer ihrer Vorteile – sie verfügen über eine der größten Fahrdatenbanken der Welt – darin besteht, dass sie Sonderfälle sammeln und weitere Sonderfälle in das Trainingsmodell für ihre Kunden einfließen lassen können.

Und es ist definitiv vorteilhaft. Aber wie wir vorhin schon besprochen haben, liegt die Herausforderung bei diesem Ansatz darin, dass er – und jetzt greifen Sie das Thema bitte wieder auf – nur die bekannten Probleme betrachtet. Das Problem ist jedoch, dass es viele unbekannte Probleme gibt, und die größte Herausforderung stellen meiner Meinung nach die unbekannten Unbekannten dar. Sehe ich das richtig?

Ja. Das ist das unendliche Pokémon-Problem, von dem ich vorhin gesprochen habe. Aber es gibt hier eine wichtige Nuance. Normalerweise denkt man bei Grenzfällen an so etwas wie: „Oh, schau mal! Da ist ein Zebra mitten auf der Straße, und ich weiß gar nicht, was ein Zebra ist.“ Man denkt an verrückte Objekte oder verrückte Ereignisse, und das sind natürlich Grenzfälle.

Intuitiv erfasst man vielleicht fast alle. Schwieriger und kniffliger ist es, dass Kombinationen bekannter Dinge einen Sonderfall darstellen können, wenn man nicht darauf trainiert wurde. Insbesondere kann es vorkommen, dass bekannte Dinge auf eine Weise kombiniert werden, die eine andere Bedeutung hat, als man gelernt hat. Ein ganz einfaches Beispiel: Angenommen, es handelt sich um eine Fangfrage. Was tun Sie, wenn das Stoppschild an einem Pfosten befestigt ist?

Du hörst auf.

Stimmt's? Du hörst auf. Okay.

Dann gehst du. Stimmt's?

Richtig.

Außer bei einer Fangfrage. Wenn es sich um ein Stoppschild an einem Pfosten handelt, das von einem Bauarbeiter gehalten wird, hält man an und sagt „angehalten“.

Gut gemacht. Gut gemacht.

Noch eine Fangfrage, aber ich bin noch nicht fertig. Noch eine Fangfrage. Ein Stoppschild steckt an einem Pfosten, jemand hält es in der Hand, es ist nicht direkt vor seinem Gesicht, sondern unten an seinem Bein. Man ignoriert es, weil es ein Schulweghelfer ist, der es mit dem Anhalten nicht so ernst meint.

Und das weiß jeder intuitiv. Jeder weiß das intuitiv. Aber Stoppschilder sind wirklich kompliziert. Und wenn es sich um ein an einem Bus befestigtes Stoppschild handelt, hängt es davon ab, ob es ausgeklappt oder eingeklappt ist, ob man anhält.

Denn im einen Fall hält man an und sagt „Stopp“, im anderen Fall ignoriert man es. Mein Punkt ist also, dass es mehr als nur Stoppschilder gibt. Man sagt zwar, man sei auf Stoppschilder geschult, aber warum fährt das Robotaxi dann Fahrradbusse? Nun, Stoppschilder sind eben nicht so einfach, und ich habe das allgemein bekannte Beispiel genommen. Aber es steckt mehr dahinter.

Richtig.

Das ist wirklich ein interessantes Beispiel. Wissen Sie, ich bin letztes Jahr Auto gefahren, und da bog plötzlich ein Auto komplett links in den Gegenverkehr ab, direkt in meinen… Man ist so etwas einfach nicht gewohnt, weil der Fahrer da war, wo er nicht sein sollte. Was macht man da? Na ja, ich bin schleunigst aus dem Weg gegangen. Aber wissen Sie, das Problem ist, dass man es gar nicht gewohnt ist, dass andere die Regeln brechen. Man muss sich also nicht nur selbst an die Regeln halten, sondern sich auch vorstellen, was andere Fahrer machen, die vielleicht sogar noch verrücktere Sachen anstellen.

Und in Echtzeit muss man seinen gesunden Menschenverstand einsetzen. Ich gebe Ihnen ein Beispiel, das mir bis vor Kurzem nie in den Sinn gekommen war. Ich fahre Auto, und ein Feuerwehrauto hält vor mir an. Die Feuerwehrleute steigen aus. Sie öffnen die Tür, und auf der Innenseite ist ein Stoppschild aufgemalt.

Also, ich dachte mir, ich weiß, was sie wollen. Sie wollen nicht überfahren werden, wenn sie aus dem LKW steigen. Deshalb werde ich anhalten und sagen: „Halt, bis die Tür zu ist.“ Stimmt’s? Und die Leute sind wirklich toll.

Ich wette, du hättest genauso gehandelt. Hättest aus dem Kontext kapiert, dass es richtiger sein muss. Sei dir bewusst, was das bedeutet. Es steht in der Bedienungsanleitung.

Ich wurde nie darin geschult. Wir haben und und AI ist spektakulär schlecht. Es ist gut darin, zwischen bekannten Punkten zu interpolieren. Das ist seine Aufgabe.

Wenn von „journalisieren“ die Rede ist, bedeutet das, dass wir Schulungspunkte haben und etwas dazwischen tun. Wenn dieses „dazwischen“ aber eine andere Bedeutung hat als alles, was damit zusammenhängt, dann gibt es ein Problem. Und wenn es so ist, dass wir keine Ahnung haben, wie es weitergehen soll, dann gibt es auch ein Problem.

Das ist wirklich interessant. Und wir könnten wahrscheinlich allein darüber ein ganzes Gespräch führen, denn offensichtlich wird viel darüber gesprochen. AI Aktuell ist in den Nachrichten die Frage, ob wir bereits eine allgemeine künstliche Intelligenz (AGI) haben oder nicht. Fakt ist aber, dass wir noch einen langen Weg vor uns haben, bevor wir von einer vollständig universell einsetzbaren KI sprechen können. AI Die

Absolut. Aber anstatt uns in diesem Sumpf zu verlieren, sollten wir lieber darüber reden, dass Sicherheit mehr ist als nur Unfälle. Was hältst du davon?

Ich finde das großartig. Machen wir das, und damit ist das Thema für uns erledigt. Es war ein unglaublich interessantes Gespräch.

28:05 #4 Sicherheit umfasst mehr als nur Unfälle

Okay. Also, der nächste Punkt ist, dass Sicherheit mehr umfasst als nur Unfälle. Das war eine Überraschung für mich. Ich hatte das nicht wirklich im Blick. Als wir anfingen, hieß es: Es wird Leben retten. Es wird weniger Unfälle geben, und das ist wichtig.

Aber wenn wir erst einmal auf Augenhöhe sind – sagen wir, Robotaxis sind heute genauso sicher wie menschliche Fahrer, vielleicht sogar etwas besser, vielleicht genauso gut –, dann wissen wir nicht, wie sich die Zahl der Todesfälle entwickeln wird. Sagen wir einfach, dass wir letztendlich dort landen werden. Es gibt keinen Grund anzunehmen, dass dies bei angemessener Aufmerksamkeit nicht der Fall sein wird.

Sicherheit umfasst mehr als das.

Und was noch wichtiger für die Sicherheit ist: Wenn man beispielsweise ein Feuerwehrauto blockiert oder einen Krankenwagen mit einem Patienten mit Herzinfarkt, sodass der Krankenwagen nicht durchkommt, dann war das zwar kein Unfall, aber man kann nicht sagen, dass das nichts mit Sicherheit zu tun hat.

Oder du fährst an Schulbussen vorbei. Der Schulbus hat ein Stoppschild ausgefahren, das so steht, dass du anhalten und stehen bleiben musst, und dein Auto saust vorbei. Dein Robotaxi saust vorbei. Du hast diesmal kein Kind angefahren, aber es gibt einen Grund, warum man anhalten muss: Es ist ein chaotisches Umfeld, und kein Fahrer ist so gut, dass er mit voller Geschwindigkeit fahren und bremsen kann, sobald ein Kind auftaucht.

Du hast keine Reaktionszeit. Stimmt's? Also bremst du, um das Kind zu schützen. Du kannst nicht sagen: „Ich habe diesmal kein Kind angefahren, also ist alles in Ordnung.“

Ich meine, das funktioniert doch nicht. Oder? Wenn man nicht anhält, ist das ein Sicherheitsrisiko. Wir haben also eine ganze Reihe von Sicherheitsaspekten festgestellt, die die breite Öffentlichkeit sehr beunruhigen, und das hat nichts mit der Anzahl der Unfälle pro Meile zu tun, der Kennzahl, die die Branche bevorzugt.

Mit der Skalierung des Angebots werden wir vermehrt Vorfälle dieser Art erleben, die für alle Beteiligten, insbesondere für Kommunalpolitiker und Eltern, relevant sind. Es geht um Sicherheitsaspekte, die nichts mit der Unfallrate pro Meile zu tun haben. Die Robotaxi-Branche wird sich daher mit diesem Problem auseinandersetzen müssen. Ein weiterer Punkt auf meiner Liste, den ich unbedingt berücksichtigen möchte, ist die Haftung für entstandene Schäden.

29:59 #5 Rechtliche Verantwortlichkeit und Haftungslücken

Wenn Sie also derzeit als Mensch Auto fahren und gegen das Gesetz verstoßen, erhalten Sie einen Strafzettel und können Ihren Führerschein verlieren.

Wer beim Verstoß gegen das Gesetz jemanden verletzt, kann wegen unrechtmäßiger Tötung, zivilrechtlicher Delikte oder Fahrlässigkeitsklagen verklagt werden.

In vielen Bundesstaaten – genauer gesagt, in keinem Bundesstaat – kann ein Robotaxi wegen fahrlässiger Handlung verklagt werden. Es handelt sich um Produkthaftung, die etwas völlig anderes ist. In vielen Bundesstaaten haftet jedoch nicht der Hersteller für Verkehrsverstöße, sondern der Fahrzeughalter oder -führer.

Wenn man also eine Flotte von zehn Robotaxis kauft, anstatt eine Eigentumswohnung zu vermieten, und diese Robotaxis vermietet und die Fahrer Strafzettel bekommen, wird das – soweit ich das beurteilen kann – auf den eigenen Führerschein eingetragen, obwohl man keinerlei Kontrolle über den Fahrer hatte. Da läuft also einiges schief, und die Robotaxi-Branche hat in der Vergangenheit Lobbyarbeit für Gesetze betrieben, die alle anderen außer sich selbst verantwortlich machen.

Ja. Und da es nur wenige Robotaxis gibt, die ihre eigene Flotte betreiben und die Strafzettel in manchen Bundesstaaten einfach aus der Kasse bezahlen können – in manchen Bundesstaaten gibt es ja gar keine Strafzettel –, ist das eigentlich kein Problem. Aber wenn man auf eine Million Robotaxis skalieren will, braucht man einen Plan für den Ernstfall. Sie werden nicht perfekt sein. Unfälle wird es geben. Das macht sie nicht schlecht, aber man braucht Verantwortlichkeit und eine sinnvolle Vorgehensweise, um Unfälle zu lösen, die Anreize für mehr Sicherheit in der Zukunft schafft, anstatt des jetzigen Chaos.

Sie wissen schon, diese beiden Punkte werden hier wirklich miteinander verknüpft. Ich finde das sehr interessant. Ihr erster Punkt war ja, dass Unfälle nicht die einzige Ursache für Fehler sind. Die Branche sagt ja, dass Autos viel sicherer sind als Autos. Und wie Sie schon sagten, wir wissen es nicht genau, aber es könnte stimmen. Trotzdem passieren immer noch unsichere Dinge, und die Beteiligten haben einfach Glück.

Genau da stehen wir jetzt.

Genau da stehen wir jetzt. Die Branche behauptet, ihre Fahrzeuge seien bei Unfällen sicherer. Darüber können wir diskutieren, aber selbst wenn wir das als gegeben annehmen, was ist dann mit dem Nichtanhalten für Schulbusse?

Ich weiß. Ganz genau. Und ich erinnere mich noch gut an meine Zeit an der CMU, wo ich einen Kurs namens „Ingenieurwesen und öffentliche Politik“ belegt habe. Das war einer der aufschlussreichsten Kurse, die ich je besucht habe. Und da ging es unter anderem um die Raumfähre Challenger – falls sich jemand daran erinnert.

Und der Punkt, den sie im Unterricht anführten, war, dass die NASA damals im Grunde russisches Roulette spielte. Im Bericht über die Challenger-Katastrophe hieß es: „Beim russischen Roulette ist es nur ein schwacher Trost für den nächsten Schuss, dass der erste Schuss nicht verfehlt wurde.“ Ja. Tatsache ist also, dass diese unsicheren Dinge passieren und zunächst keine Probleme verursachen, was bedeutet, dass irgendwann ein Schuss fallen wird.

Ich sage gerne: „Glück lässt sich nicht skalieren.“

So, das war's. Und Ihr zweiter Punkt betraf die Verantwortlichkeit. Ich habe diese Diskussion schon oft gehört: Es gibt eine zwar bekannte, aber dennoch ungelöste Lücke in der Haftungsfrage. Denn wenn diese Technologien skalierbar sein sollen, muss die Vorgehensweise reformiert werden. Das aktuelle Modell ist nämlich nicht skalierbar. Es muss in irgendeiner Form angepasst werden, damit das Ganze tragfähig wird, denn der jetzige Ansatz ist eindeutig nicht praktikabel. Dazu braucht es politischen Willen und, leider, wahrscheinlich auch einige negative Ereignisse, damit die Leute endlich erkennen, worauf Sie hingewiesen haben. Ich denke, wir sollten das Problem lösen, denn ich halte Robotaxis für ein öffentliches Gut, das Vorteile bringen kann und wird. Wir sind aber noch nicht am Ziel.

Ich möchte dem Problem zuvorkommen, damit nicht viele, die frühzeitig Pech haben, die Hauptlast der Systemreform tragen müssen. Ich würde es lieber durchführen, ohne diesen Prozess durchlaufen zu müssen.

Ich stimme vollkommen zu und hoffe, dass sich die politische Entwicklung so fortsetzt. Phil, das war ein unglaublich spannendes Gespräch. Ich habe so viel gelernt. Ich hoffe, unseren Gästen hat dieser kleine Kurs in Sicherheitstechnik und Robotaxis gefallen. Es gibt wirklich viel, worüber man sich angesichts der unglaublichen Fortschritte freuen kann, und für Sie, die Sie das seit dreißig Jahren machen und sehen, wie viel erreicht wurde, muss das sehr aufregend sein. Aber Sie haben uns gezeigt, dass noch viel zu tun ist.

Ich glaube, die Zukunft sieht sehr vielversprechend aus. Es gibt zwar einige Herausforderungen beim Wachstum, aber der Schlüssel zum Erfolg liegt darin, dass die Branche diese Herausforderungen anerkennt und sich ihnen stellt. Nur so können alle profitieren. Vielen Dank für die Einladung. Ich habe mich sehr gefreut.

Vielen Dank fürs Einschalten! Wenn Ihnen das Video gefallen hat, freuen wir uns über ein Like und ein Abo, um weitere Folgen dieser Art zu sehen. The Garage Wir freuen uns darauf, Sie schon bald in einer weiteren Folge wiederzusehen.