ロボットタクシーにとって、99.9%の安全性は十分なのだろうか？

0:00 はじめに：自動運転車の可能性

本日The Garage今回は、自動運転を新たな視点から見ていきましょう。近年、WaymoやZooxをはじめとする多くの企業が商用化を進めており、自動運転車がどれほど進歩したか、誰もが注目しています。私たちが住むサンノゼやベイエリアのような都市では、多くの人がスマートフォンでロボタクシーを呼ぶことができ、運転手のいないロボタクシーが到着して乗車できます。これは非常に刺激的で成功していると言えるでしょう。私自身、約5年前にロボタクシーの開発に携わっていましたが、当時はまだ実用化には至っておらず、非常にフラストレーションのたまる経験でした。ですから、彼らがどれほど進歩したかを見ると、この技術がどのように発展し、どのように活用されているのか、本当に刺激を受けます。 AI 。

とはいえ、ロボットタクシーの台数が増えるにつれて、何千台、何万台もの車両規模で十分に機能するロボットタクシーを開発するという複雑さは、より大きな課題となります。そして、この分野を30年間研究してきた真の専門家以上に、このことについて語るのにふさわしい人物がいるでしょうか？本日のゲストは、カーネギーメロン大学の教授で、最近退職されたフィル・クープマン氏です。彼は30年間、ロボットタクシーや安全工学の様々な側面を研究し、ロボットタクシーを大規模に実用化するためのメリットと課題について詳しく語ってくれます。

さあ、行こう。

私はジョン・ハインラインです。 Sonatus本日はフィル・クープマン氏をお迎えできて大変嬉しく思います。フィルさん、ようこそThe Garage 。

出演させていただきありがとうございます。ここに来られて嬉しいです。

私たち二人はカーネギーメロン大学と深い繋がりがありますね。私はそこで学部生として学びましたし、あなたは長年教授を務めていました。確か、私が学生であなたが大学院生だった頃に、どこかで出会ったことがあると思います。まずは、あなたの経歴についてお聞かせください。

はい。私の経歴としては、RPI（レンセラー工科大学）でコンピュータ工学の学士号を取得しました。

その後、海軍に入隊しました。当時は海軍が私の学部時代の学費を負担してくれたので、それがありがたいと思ったからです。当時はそういう仕組みだったんです。その後、順調に働き、カーネギーメロン大学に進学して博士号を取得しました。そこであなたと出会ったんです。私はハードウェア設計の授業でティーチングアシスタントをしていました。ビットスライスCPUという、それが何かわかる人向けの授業です。でも、とても楽しい授業でした。卒業後、ハリス・セミコンダクターに入社し、CPU設計者として働きました。その後、ユナイテッド・テクノロジーズの中央研究センターで働き、組み込み分野での経験を積みました。そして最終的にカーネギーメロン大学に教授として戻り、30年近く教鞭を執り、つい最近退職しました。

素晴らしいキャリア、本当におめでとうございます。そして、あなたは実に輝かしい経歴をお持ちですね。その話は後ほど。でもその前に、あなたに関する面白いエピソードを一つ教えていただけますか？

もちろんです。ちなみに、実は冷戦時代に海軍で潜水艦の操縦士をしていたんですよ。戦闘勲章も持っていますが、どうやって手に入れたのかは言えません。

それは素晴らしい話ですね。私は潜水艦映画が大好きで、『Uボート』や『レッド・オクトーバーを追え』などが好きです。どれも素晴らしい物語なので、あなたの体験が羨ましいです。

そうですね、『レッド・オクトーバーを追え』は特に素晴らしい作品です。私が当時やっていた仕事の種類を非常に正確に描写しています。

3:15 安全工学の基礎

とても楽しいお話でした。では、カーネギーメロン大学でのキャリア、特に安全工学についてお聞かせください。安全工学は先生の重要な専門分野でしたね。安全工学の概念とはどのようなものか、また、いわゆる古典的な工学、つまり単に何かを建設する工学とはどのように異なるのか、そしてどのように補完し合うのか、聴衆の皆様にご紹介いただけますか？

もちろんです。私は自動運転車の安全性に特化して30年間携わってきましたし、その他にも多くの種類の安全工学に携わってきました。組み込みシステムの設計レビューは200件ほどで数えきれなくなりましたし、15件ほど前に数えるのをやめました。中にはうまく機能しないものもありましたが、多くはさまざまな分野の安全性に関するものでした。ですから、多くの安全規格や安全対策を見てきました。

安全性を突き詰めて言うなら、システムを構築してテストする際に、エンジニアはシステムが正常に動作することを確認するように教えられます。彼らは正常なケース（ハッピーケース）については非常に優れていますが、不測の事態（ハンディケース）については必ずしもそうではありません。安全工学とは、システムをいかにして正常に動作させるかということではなく、何かがうまくいかなかったときに何が起こるかということなのです。

具体的には、危険要因、つまり問題を引き起こす可能性のあるものをリストアップするように教えられます。多くの場合、それは人身事故ですが、深刻な機器の損傷である可能性もあります。様々なことが考えられます。つまり、何か悪いことが起こる可能性があるということです。

起こりうるすべての問題点のリストを作成し、それが起こらないようにするか、起こった場合でも何らかの方法で被害を軽減するための計画を示します。つまり、安全工学とは、危険をリストアップし、危険によるリスクを軽減する方法を考え、それらの安全要件がエンジニアリング要件に確実に含まれるようにすることです。つまり、安全動作を意図的に設計し、安全対策が実際に機能するかどうかをテストする必要があります。非常に簡単な例を挙げると、列車には空気ブレーキがあります。

万が一の事態に備えて、圧縮空気のボンベがあり、それを押すと急ブレーキがかかる仕組みになっています。それは一体何のためかって？まあ、電車に乗っていると色々なトラブルに見舞われますが、そのほとんどは急ブレーキをかけることで解決しますからね。そういうわけで、そういう仕組みになっているんです。

そう表現するのは興味深いですね。おっしゃる通りだと思います。エンジニアとしては、何かをうまく機能させたいと思うものですが、同時に、あらゆる故障シナリオを真剣に検討しなければなりません。フェイルセーフとフェイルデンジャラスという概念はよく話題に上りますが、おそらくあなたの目標は、そもそも故障が発生しないようにすることでしょう。しかし、もし故障が発生した場合は、安全性を損なわないような、穏やかな故障動作を実現すること。この表現でよろしいでしょうか？

5:37 フェイルセーフとフェイルオペレーショナル

ええ。まあ、最近まではそうでした。ですから、従来のシステムでは、システムへの電力供給を止めれば安全です。化学プロセスがあって、過熱蒸気ではなく室温まで冷却できれば、はるかに安全になります。

つまり、問題を回避したいということですね。危険な状況になった場合に、それを安全な状態にまで減速させる方法が欲しい。通常、それはエネルギーを消散させることによって実現されます。車の場合、停止させます。しかし、問題は、エネルギーを完全に消散させるだけでは不十分な状況もあるということです。

飛行機で高度35,000フィートでエンジン火災が発生したとします。すべてのエンジンを停止するのは間違った判断ですよね？そこでフェイルセーフという仕組みがあり、通常はフェイルストップを意味します。

すべてを巻き上げて電源を切れば安全です。多くの場所ではそれで十分です。しかし、高速で動いているような場所では、実際に十分な時間作業を続け、回転を止めなければなりません。旅客機にエンジンが2基搭載されているのには理由があり、操縦系統が2系統以上あるのにも理由があります。1基が故障した場合、単に停止するだけでなく、安全な状態になるまで十分な時間、操縦系統を故障させ続ける必要があるからです。

それは車にも当てはまります。高速道路を時速60マイルで走行中にステアリングに問題が生じた場合、それはステアリングに問題があるということです。ステアリングは停止します。

それはうまくいかない。

車を停止させるには、ステアリングが十分な時間作動し続ける必要があります。

それは本当だ。それに、ただ止まることもできない。そうすると、後ろの車がそのまま突っ込んでくるからだ。

だから、あなたはなんとかして優雅に…

道路から降りなければなりません。走行車線から出なければなりません。もちろん、エンジンが車から落ちてしまったような、どうしようもないごくまれなケースもあるでしょう。そういう場合は、できることは限られています。しかし、ほとんどの場合、走行車線から脱出できるだけのパワーが必要です。そのため、通常の運転モードから、機能が少なく、ミッション時間も非常に短いリカバリー運転モードに切り替える必要がありますが、バックアップは必須です。つまり、バックアップがなければ機能しないのです。

それは素晴らしいですね。今日のポッドキャストでは、安全工学の学位を取得できるかもしれません。

あなたは30年間も自動運転に取り組んでこられたとおっしゃっていましたが、その間、誰かのひらめきから、私のオフィスのすぐ外でロボタクシーを呼び止めることができるようになるまで、目覚ましい進歩がありました。ですから、まずは私たちが目にしてきた明るい兆しについてお話しし、それから現実の問題についてもお話ししたいと思います。現在では、WaymoやZooxなど、実際に利用できる実用的なロボタクシーがいくつか登場しています。中国にも、特定の都市や限られた運用領域で実際に導入されているソリューションがいくつかあることはご存知かもしれません。それについても後ほどお話ししましょう。

ですから、あなたがこれを始めてから、きっと素晴らしい進歩があったのでしょうね。

ええ、もう30年も経ちましたが、大きな進歩がありました。ですから、もちろん、ロボットタクシーを呼ぶことはできます。私もロボットタクシーに乗ったことがあります。素晴らしい技術です。

安全性に関して言えば、99.9%というのは良いスタート地点であって、ゴールではない。そうでしょう？

そして、私たちは99％達成したような気がします。だって、本当にすごいロボットタクシーが実現できるんですから。でも、30年もかかりました。30年前、31年前には、カーネギーメロン大学がワシントンDCからサンディエゴまで98％ハンドルから手を離して走る車を開発しました。そして、残りの1.999％（それが何であれ）を達成するのにこれだけの時間がかかったんです。いいですか？

しかし、これは素晴らしい進歩です。なぜなら、それは驚くべき成果だからです。実際、運転席には誰もいません。つまり、これらの車両が走行しているとき、ほとんどの場合、裏で操作している人はいないのです。それは素晴らしいことです。

もうすぐそこまで来ているような気がしますが、今日お話ししたいのは、100台のロボットタクシーが路上を走るようになったら、それは素晴らしいことだということです。

9:26 ロボタクシー車両群の規模拡大における課題

しかし、ロボットタクシーが100台から10万台になるとなると、全く話が違ってきます。私がよく言うのは、「99％完了、あと99％」ということです。

つまり、それは別の言い方で、ご存知のように、ビジネスの世界では99.999、つまり99.999、あるいは好きなだけ9999という数字がよく使われます。重要なのは、分子が何であるかということです。そうですよね？道路に100台のロボットタクシーがあれば、99.9%でかなり良いでしょう。しかし、1000台、10000台と増えると、小さな9999の数字が出てきてしまう状況になります。

単純な割り算。

どうぞ。お願いします。

はい。簡単な割り算です。例を挙げると、100台のロボットタクシーでは年に1回発生する事象が、10,000台のロボットタクシーでは週に2回発生するとします。

ロボットタクシーに何か問題があると言っているわけではありませんが、年に一度程度ならおそらく気づかないかもしれませんが、週に二度も走るとなると話は別です。ロボットタクシーの質が悪くなったというわけではありません。これは数の問題なのです。数が増えれば増えるほど、以前は稀で気にならなかったようなことにも注意を払わなければならなくなります。

つまり、100台のロボットタクシーを運行させる技術は実に素晴らしいものであり、既に実現しているのです。次の課題は、これまで稀で大した問題ではなかったような稀な事象にどう対処するかということです。なぜなら、それらが今後は大規模に発生するようになり、大きな問題となるからです。それが課題です。

これは興味深い話題ですね。長年にわたり、この話題についてゲストの方々にお話いただいてきました。 The Garage この問題について、別の視点から考えてみましょう。

今シーズン初めにはMobileyeの幹部の方々をはじめ、他の方々がそれぞれの取り組みについて語っていましたが、あなたは非常に貴重で独自の視点をお持ちです。そこで、ロボットタクシーの量産と大規模展開において、あなたが直面している課題についてお話を伺いたいと思います。

11:12 故障タイプの分類

さて、4つのビンを用意しました。おそらく4つのビンを順に見ていくことになると思いますが、まずは概要をお伝えします。1つ目は、大量故障です。ロボットタクシーが1台ある場合、それが道路の真ん中で止まっても、それは1台のロボットタクシーの問題です。しかし、100台のロボットタクシーがすべて同じ道路の真ん中で止まってしまったら、それはまた別の問題になります。

つまり、ロボットタクシーやソフトウェアは、似たような状況下で故障する傾向があるということです。もしすべてのロボットタクシーが同じソフトウェアを搭載していたら、コンピュータの性質上、同時に故障する可能性が高いのです。ですから、それに対する対策を講じておく必要があります。

次に重要なのは、安全とは衝突事故だけではないということです。

そのため、業界は衝突率の削減について真剣に議論し、その点で大きな進歩を遂げてきました。しかし、ロボタクシーの台数が10台から100台、そして1000台へと増えるにつれて、安全にとって重要な他の事柄が浮上してきていることが分かってきました。最初の頃は、私はこのようなことを心配する必要はないと思っていましたが、実際には重要であることが分かったので、そこから学ぶ必要があります。3つ目は、エッジケース、つまりまれな事象が、実際には大きな課題であることが判明したことです。誰もが予想していた以上に大きな課題であると言えるでしょうが、私はそれが課題になるだろうと分かっていました。業界にはそれに対する計画がありますが、それによって新たな課題が生じます。そして最後は、説明責任です。

規模が拡大するにつれて、現状よりも優れた説明責任体制を構築する必要がある。これはロボタクシー業界の責任ではなく、現在の法制度が現状に対応できる体制になっていないことが原因だ。

分類体系と今後の方向性についての良い概要を教えていただき、ありがとうございます。そして、それは非常に多くの異なる側面を網羅しており、実に多様な視点から捉えていると思います。

12:41 #1 相関故障

では、まず最初の点から始めましょう。先ほどおっしゃったように、大規模な故障、つまり一つの故障が他の故障と相関する傾向があるという点についてです。それについて、どのような課題があり、どのように対処すべきでしょうか？

まあ、人間のドライバーについて言えば、人間は常にミスを犯します。車は故障します。あらゆることが起こります。しかし、100台や1000台の車が同時に同じ問題を抱えることは稀です。なぜなら、人間ドライバー一人ひとりが異なる車のようなものだからです。

確かに、交通を止めたり渋滞させたりする要因はあります。停電が起きれば、すべてのドライバーにとって大混乱になるでしょう。しかし、すべてのロボットタクシーに同じコンピュータードライバーが搭載されていて、それが都市の交通量のかなりの割合を占めている場合、何か問題が起きれば、都市全体に影響が及ぶことになります。

それに、大規模なネットワークコンピュータは決して故障しないなんて言わないでください。CrowdStrikeはまさにその最新の例です。何が起こるかわかりません。

中国で、確か武漢だったと思いますが、ある会社のタクシーロボットがすべて同時に動かなくなるという問題が発生しました。何らかの通信障害が原因だったようです。そのため、人々は高架道路で立ち往生してしまいました。また、アメリカでは、大規模なパーティーイベントや停電時など、交通渋滞が発生するようなイベントでロボットタクシーが動かなくなる動画を皆さんも見たことがあるでしょう。こういうことは起こり得るのです。だからといって、この技術を使えないということではありません。避けられないことだと認識する必要があるということです。つまり、すべてのソフトウェアを同じ都市の同じサーバーに置いて、そこから世界中にサービスを提供しよう、なんていうひどいアイデアはあり得ませんよね？

まあ、いいでしょう？ロボタクシーにも同じような脆弱性があるはずです。対策を講じる必要があります。

トラフィックのかなりの割合が単一の企業から来ているという話が出ましたが、もちろん、それは今の時代には起きていません。しかし、ロボットタクシーに強気な人、楽観的な人は、将来的に自動車の数を廃止したり、少なくとも大幅に減らすことができると考えている人がたくさんいます。ですから、特定の企業による統合が進むと、それは現実的な問題になるように思えます。サイバーセキュリティについてはここでは触れません。それはまた別の機会に議論できる別の話題です。全く別の話です。

そうですね。ロボットタクシーのフリートが大規模にハッキングされるという話になると、都市全体が麻痺してしまうことも想像できます。ですから、それも確かに理論上の問題です。しかし、あなたの指摘は、悪意のある人物がいなくても、相関的な障害によってそのような事態が起こり得るということですね。

その通りです。ロボットタクシーが立ち往生するだけでなく、他にも影響があります。万が一地震が発生し、ロボットタクシーがすべて地震で動けなくなったらどうなるでしょうか。人間の車も地震で苦労することは知っていますが、人間のドライバーは緊急車両の邪魔にならないように車を移動させるのが得意です。しかし、ロボットタクシーがそれで苦労しているのを何度も見てきました。

1台や2台程度なら、彼らは何とか解決するでしょう。しかし、数百台のロボットタクシーが立ち往生して、災害時のような状況で緊急車両の通行を妨げてしまうと、問題になる可能性があります。では、人間の運転手と比べて、それは大きな問題なのでしょうか？興味深い質問ですね。

しかし、これらは私たちが問うべき種類の質問です。これを自動車の相当な割合にまで拡大するつもりなら、災害対応について考える必要があります。そうですね、次は遠隔支援について考えるべきでしょう。

しかし、もし50人のリモートアシスタントと200台の車が同時に立ち往生してしまったら、どう対処するつもりですか？計画が必要です。

そうですね。ええ。同様に、後ほど項目3で特殊なケースについて説明しますが、例えば地震を想像してみてください。道路の多くがひび割れるような大地震を想像してみましょう。すると突然、それまで良好だった道路がひび割れ、ロボットタクシーが障害物を認識するという、多くの特殊なケースが文字通り瞬時に発生する状況が発生する可能性があります。

地震さえ必要ない。停電さえ起こせば、信号機は全て消えてしまう。

たとえ90%の車が信号を正しく通過したとしても、その10%が積み重なるとかなりの数になり、実際にこのような事態は起こり得るのです。ハリケーン避難や、あるいは何が起こるかわかりません。訓練を受けていない状況であれば、環境問題などであれば、全員が同時に失敗するでしょう。これは改善できます。ですから、問題は「何もできない」と言うことではありません。問題は、先を見据えているかどうかです。こうした事態が発生するまで対応を待つのか、それとも先手を打つのかということです。そして、規模を拡大していく上で必要なのは、先手を打つことです。

はい、わかりました。では、これがトピック1です。これは本当に興味深く、同時に恐ろしい話ですね。トピック2は、人間のドライバーとフェイルオーバーのアプローチについてでしたね。

17:23 #2 重大なエッジケースと人間のリモートアシスタント

そうですね。ロボットタクシーの技術的な課題は、初日からずっとエッジケースでした。つまり、まれな事象、理論的にはまれな事象ですが、そこが少し厄介になります。しかし、停電のようなものを考えてみてください。停電はまれです。それほど頻繁には起こりません。住んでいる場所にもよりますが。

しかし、たとえ稀なケースであっても、重大な結果を招く可能性がある場合は、安全を重視するなら無視してはいけません。例えば、歩行者が道路の真ん中に飛び出してくるようなケースもあります。これは頻繁に起こるわけではありません。住んでいる都市によって状況は異なります。

リスナーの中には、「ちょっと待って。彼は私の住む街には住んでいない」と思う人もいるでしょう。でも、車から降りて学校に行くためにブロックを渡る人や、親の車から降りてブロックを渡る子供たち。住んでいる場所によっては、そんな光景を見たことがない人もいれば、毎日見ている人もいるでしょう。

つまり、「まれ」というのは相対的な概念なんです。だから、話がややこしくなるんです。「そんなことはめったに起こらない」と言うかもしれませんが、めったに起こらないかどうかは問題ではありません。

重篤な症状で、それが自分に起こった場合、対処しなければなりませんよね？ そして、機械学習の落とし穴は、機械学習は訓練された分野では優れているものの、非常に脆く、より適切な言葉が見つからないのであえて言うなら、常識に欠けるということです。機械学習には常識がありません。

つまり、訓練を受けていない状況に陥ると、過信に陥りやすいのです。自分が何をすべきか分からないということにすら気づかず、私たちからすれば愚かな行動をとってしまう。そして、それが深刻な事態であれば、大きな問題となるでしょう。

つまり、エッジケースとは、機械学習が学習していない事柄にどう対処するかということです。それが稀なケースだと考えているかどうかは関係ありません。知らないことは知らないのです。「ああ、私はそれを見たことがある」と言っても何の役にも立ちません。

まあ、訓練されていなければ訓練されていないということです。ですから、安全に関わる重大な事故は非常にまれです。たとえ飲酒運転による事故も含めても、1億マイルあたり約1件の死亡事故です。1億マイルというのは、かなりの距離です。

人々は驚くほど運転が上手い、特に飲酒運転をしていない場合はなおさらだ。それよりはるかに良い。

だから、本当に重要なのは稀なことだけだと言えるでしょう。人々は「それは稀なことだから、問題ではなかった」と言うでしょう。しかし、そうではありません。死亡事故は極めて稀なのです。

つまり、実際には、まれなことが安全性を制御するのです。通常のエンジニアリングでは、ボタンを押しました。うまくいきましたか？はい。

わかりました。いいですね。安全工学は、確かに稀なケースではありますが、リスクが高い分野です。そして、長期的に見ると、すべての事象を合計すると、リスクが高すぎるということになります。

たとえ稀な事態であっても、大きな損失につながるような事態にならないよう、対策を講じる必要がある。

そうですね。それで、あなたはこうした稀な事象に対処するための戦略についてお話されましたね。

それらに対処するための戦略にはどのようなものがありますか？

以前は、ポケモンを探すようなもので、ポケモンの数が無限にあるため、絶望的に思えました。世界は狂気に満ちているので、すべてを集めることはできません。本当に満ち溢れています。そして、かつて業界で言われていたのは、「たまに奇妙なものがあっても我慢できるだけの数を捕まえる」ということでした。

もし私たちが人間の運転手より100倍安全だとしても、何か悪いことが起きたとしても、100倍の人が、まあ、悪いことは起こるものだと諦めるしかないでしょう。どうすることもできません。しかし、死亡率に関しては、100倍安全とは到底言えません。確かなことは分かりませんが、100倍安全であるはずがありません。

しかし、彼らは結局そこへたどり着くことはなかった。つまり、業界は特殊なケースに関しては事実上敗北を宣言したことになる。

AIにすべての奇妙で深刻な問題を処理させる能力は私たちにはありません。本当にありません。では、彼らの計画は何ですか？しかし、彼らは道路を走っています。どうやってそれを実現したのですか？彼らがやった方法は、ロボットタクシーがトラブルに巻き込まれたら、家に電話をかけて、実際の人間がそれを助けよう、と言ったことです。

これは、例外的なケースに対処するための巧妙な方法です。つまり、あらゆる状況への対処法を訓練する必要がなくなったのです。必要なのは、「何が起こっているのか全く分からない。家に電話しよう」と判断できるだけの訓練だけです。

つまり、よく見かける事例の多くは、いつ家に電話すべきかを判断する能力にまだ改善の余地があるということだ。

しかし、彼らが家に電話をかけると、人間のオペレーターが「ああ、そうですね」と言うのです。

道路の反射や風のせいで信号が見えないのは分かってるよ。でも信じてくれ、青信号だよ。いいかい？

そして安全性に関しては、彼らが「グリーン」と言うときは本当にグリーンでなければならない。なぜなら、ロボットタクシーにはたくさんのセンサー入力があるが、遠隔地にいる人間が一種の決定権を握っていて、多くの場合、次に何が起こるかを決めているからだ。

非常に興味深いですね。つまり、しばらくの間、業界にはある種の暗黙の秘密があったのでしょう。多くの企業が、自社が人間のバックアップドライバーを擁していることを認めていなかったということです。しかし、今ではほとんどの企業が、状況によってはそうしたバックアップドライバーを擁していることを認めていると思います。確かに、それはおそらく稀なケースでしょうが、そうした例外的な場合に備えて存在しているということです。

実際、そういうことはしょっちゅう起こります。でも、それは悪いことではありません。なぜなら、自律性の純粋さにこだわるのは的外れだからです。完全に自律的かどうかは気にしません。むしろ、分からないときに人が手助けしてくれるのはありがたいです。そうでないと恐ろしいですから。

そうですよね？つまり、何人の人がいて、何台の車を持っているかという問題なんです。だから、一人当たり100台の車があれば、費用対効果が高いんです。実際には、一人当たり10台の車だと、それ以上になると、費用対効果が逓減していくような感じです。

そうですよね？分子は小さい。除数は大きい。

そうですね。

10対1でも20対1でも、それほど大きな違いはありません。ですから、一人当たりの車の台数が多ければ、ここで重要な経済性は成り立ちます。次の疑問は、リモートアシスタンスは本当に安全なのかということです。業界はついに、リモートアシスタンスを導入していることを明らかにしましたが、私はそれで良いと思います。

それはマイナスなことではないと思います。むしろ現実的なことです。何の問題もありません。業界がまだ正直に認めていないのは、そうした人々が安全に関わる重要な決定を下しているという事実であり、私たちは彼らが安全に関わる重要な役割を担っているという事実に注意を払う必要があるということです。

業界は今もその問題への対処に取り組んでいます。しかし、リモートアシスタントが10人か20人程度であれば、最高の人材、つまり選りすぐりの人材を採用できるので、大きな問題は起こらないかもしれません。大した問題ではないでしょう。しかし、ロボットタクシーが100万台も稼働するようになれば、リモートアシスタントによるコールセンターも多数必要になり、そこでの安全性を管理しなければなりません。

つまり、それが残された規模拡大の課題なのです。

わかった。

23:31 #3 エッジケースにおける組み合わせの複雑さ

204番目ですが、これは本当に興味深いトピックだと思います。3番目はコーナーケースで、前のセクションで少し触れました。数か月前にMobileyeのゲストをお招きして、世界最大級の運転データベースを保有しているMobileyeの利点の1つであるコーナーケースを蓄積し、顧客向けのトレーニングモデルにさらに多くのコーナーケースを組み込むことができる、といった話をしました。

そして、それは間違いなく有益です。しかし、先ほどもお話ししたように、そのアプローチの課題は、あなたが知っている問題しか扱っていないという点です。重要なのは、知らない問題がたくさんあるということです。そして、未知の未知こそが最大の課題だと私は考えています。私の考えは正しいでしょうか？

ええ。それは私が以前話した無限ポケモン問題ですね。でも、ここには重要なニュアンスがあります。従来、人々はエッジケースというと、「ほら、道路の真ん中にシマウマがいる。シマウマって何だか知らないけど」といったことを考えます。彼らは奇妙な物体や奇妙な出来事を思い浮かべますが、確かにそれらはエッジケースです。

しかし、直感的には、ほとんどすべてを把握できるかもしれません。より微妙で厄介なのは、既知のものの組み合わせが、訓練を受けていない場合はエッジケースを形成することもあるという点です。特に、既知のものが、訓練で学んだ意味とは異なる意味を持つ形で組み合わさる状況が発生する可能性があります。非常に簡単な例を挙げましょう。一時停止標識がある場合、これはひっかけ問題です。警告しておきます。ポールに一時停止標識がある場合、どうしますか？

あなたは立ち止まる。

そうだよね？止まって。わかった。

じゃあ、行くんだ。そうだろ？

そうですね。

ただし、ひっかけ問題です。もしそれが建設作業員が持っている電柱の停止標識であれば、あなたは停止して「停止しました」と言います。

よくやった。よくやった。

さらにひっかけ問題ですが、まだ終わりではありません。さらにひっかけ問題です。ポールに止まれの標識があり、それが誰かの手に握られていて、顔の前ではなく足元にあります。あなたはそれを無視します。なぜなら、それはあなたを止めようと真剣に考えていないスクールクロスガードだからです。

そして、誰もが直感的にこのことを知っています。誰もが直感的に知っていることです。しかし、一時停止標識は実に複雑です。バスに取り付けられた一時停止標識の場合、停止するかどうかは、それが展開されているか折り畳まれているかによって決まります。

なぜなら、一方は停止して「停止」と言い、もう一方はそれを無視するからです。つまり、私が言いたいのは、エッジケースは停止標識以上のものだということです。停止標識について訓練されていると言うなら、なぜロボットタクシーは自転車バスを走っているのでしょうか？ 実は、停止標識はそれほど単純ではなく、誰もが知っている例を取り上げました。それだけではないのです。

そうですね。

これは本当に興味深い例ですね。去年運転していた時、対向車線にいきなり左折してくる車がいて、私の車線にまで入ってきたんです。そういう光景は普段見慣れていないので、まさに「いるべきではない場所にいる」という感じでした。それでどうするかというと、私はとにかく道を譲りました。でも問題は、他の人がルールを破ることに慣れていないということです。だから、自分自身がルールを守るだけでなく、他のドライバーがとんでもなく無謀なことをしている可能性も想定しなければならないのです。

そしてリアルタイムでは、常識を使う必要があります。そこで、最近まで思いつかなかった例を挙げます。私が車を運転していると、消防車が私の前に止まり、消防士が降りてきます。彼らがドアを開けると、ドアの内側に停止標識が描かれています。

だから私は、彼らが何を望んでいるか分かっている、トラックから降りるときに轢かれたくないんだ、だから私は止まって、ドアが閉まるまで止まっていてくれ、と言うことにするんだ、と思った。そうだろ？でも、人々は素晴らしい。

つまり、あなたも同じことをしたでしょう。文脈から、これが正しい意味だと理解したはずです。これは運転マニュアルに書いてあります。

私はそれについて訓練を受けたことがありません。 AI 非常に性能が悪い。既知の点間の補間は得意だが、それがこのソフトウェアの本来の役割だ。

彼らが「記録する」と言うとき、それはトレーニングポイントがあり、その間に何かを行うという意味です。しかし、その「その間の何か」が周囲のものと異なる意味を持つ場合、それは問題です。そして、それが私たちに全く理解できない方法である場合も、それは問題です。

とても興味深いですね。そして、それだけでまるまる一回の会話ができるでしょう。なぜなら、明らかに多くの話題があるからです。 AI 今ニュースで話題になっているのは、汎用人工知能（AGI）は実現しているのか、それともまだ実現していないのか、といったことです。しかし現実には、こうした特殊なケースを除けば、完全な汎用化を実現するにはまだまだ長い道のりがあります。 AI 。

もちろんです。でも、その泥沼に引きずり込まれるのではなく、安全とは事故だけではないということを話し合ってみませんか？どうでしょう？

素晴らしいと思います。そうしましょう。これで今回の締めくくりとなります。本当に素晴らしい話し合いでした。

28:05 #4 安全とは衝突事故だけではない

わかりました。では、次は、安全とは事故だけではないということです。これは私にとって意外でした。あまり意識していませんでした。始めた当初は、命を救う、事故を減らす、それが重要だという話でした。

しかし、いったん同等のレベルに達したら、例えば今日のロボットタクシーが人間のドライバーと同等、あるいは少し優れている、あるいは同じレベルになったとしましょう。実際のところ、死亡事故に関しては、それがどうなるかを正確に知るためのデータがありません。ただ、最終的にはそうなるだろうと仮定しましょう。適切な注意を払えば、そうなる可能性は十分にあるはずです。

安全にはそれ以上の意味がある。

そして、安全に関わることはそれだけではありません。例えば、消防車を止めて通行を妨げたり、心臓発作を起こした人を乗せた救急車を通行を妨げたりして、救急車が通れなくなってしまう場合、それは事故ではありませんが、安全とは全く関係がないとは言えません。

あるいは、スクールバスの横を走っているとしましょう。スクールバスには停止標識が出ていて、それが伸ばされているので、停止してそのまま停止していなければならないと分かっているのに、あなたの車はそのまま走り去ってしまいます。あなたのロボットタクシーもそのまま走り去ってしまいます。その時は子供を轢きませんでしたが、停止しなければならないのには理由があります。なぜなら、どんなに優秀なドライバーでも、全速力で走りながら子供が現れたら停止できるような状況ではないからです。

反応時間が足りないんですよね？だから、子供の安全のために停車するんです。今回は子供を轢かなかったから大丈夫、なんて言えませんよ。

つまり、それではうまくいかないでしょう？止まらないなら、それは安全上の問題です。ですから、私たちが発見した安全に関する多くの事柄は、一般の人々が安全について非常に憤慨するものであり、それは業界が好む指標である1マイルあたりの事故件数とは全く関係ありません。

ですから、規模が拡大するにつれて、利害関係者、特に自治体の利害関係者や親などにとって重要な、安全に関わるこのような事故が増えるでしょう。これは、走行距離あたりの事故件数とは全く関係のないものです。ですから、ロボタクシー業界が規模を拡大するにつれて、彼らはそれに対処しなければなりません。そして、私がリストに必ず含めたいと思っていたことがもう1つあります。それは、損害に対する責任です。

29:59 #5 法的責任と賠償責任のギャップ

つまり、現在、あなたが人間のドライバーで、法律を破って違反切符を切られた場合、免許を失う可能性があるということです。

法律に違反して誰かを傷つけた場合、不法死亡、民事不法行為、過失訴訟などの訴訟を起こされる可能性があります。

多くの州では、ロボットタクシーは、不法行為による過失で訴えられることはありません。これは製造物責任であり、全く別の問題です。しかし、多くの州では、交通違反切符の責任を負うのは製造業者ではなく、車両所有者または車両運転者です。

つまり、賃貸用のマンションを買う代わりにロボットタクシーを10台購入し、そのロボットタクシーを貸し出して交通違反切符を切られた場合、私の知る限り、それはあなたの運転免許証に記録され、あなたは運転手を制御する手段を一切持っていないことになります。このように、実に奇妙なことがたくさん起こっており、ロボットタクシー業界は、自分たち以外の全員に責任を負わせるような州法を制定するためにロビー活動を行ってきたのです。

ええ。ロボットタクシーが数台しかない場合、各社が自社の車両を運用し、州によってはチケットを入手できないところもあるので、小口現金でチケット代を支払うだけで済みますが、実際には大した問題ではありません。しかし、ロボットタクシーを100万台にまで拡大しようとするなら、何が起こるかを想定した計画を立てる必要があります。ロボットタクシーは完璧ではありません。衝突事故は必ず発生します。だからといってロボットタクシーが悪いというわけではありませんが、責任の所在を明確にし、衝突事故を解決するための合理的で、将来的に安全性を高めるような仕組みが必要です。現状はただの混乱状態ですから。

そうですね、この2つの点をうまく融合させていますね。とても興味深い点だと思います。まず、最初にあなたが指摘されたのは、衝突事故だけが失敗ではないということです。確かに、業界は、衝突事故率は人間の事故率よりもはるかに低いと言っています。おっしゃる通り、正確なところは分かりませんが、そうかもしれません。それでも、危険なことが起こっていて、たまたま運が良かっただけというケースもあるのです。

今の私たちはまさにそういう状況にいます。

現状はまさにそういう状況です。業界側は、衝突時の安全性が向上したと主張しています。それについては議論の余地がありますが、仮にそれが事実だと仮定したとしても、スクールバスのために停車しないという選択肢はどうなるのでしょうか？

そうですね。まさにその通りです。そういえば、カーネギーメロン大学で「工学と公共政策」という授業を受けたのですが、あれは私がこれまで受けた中で最も目から鱗が落ちるような授業の一つでした。そして、覚えている方もいるかもしれませんが、その授業ではスペースシャトル・チャレンジャー号の話もしていました。

授業で彼らが指摘した要点は、当時のNASAはまさにロシアンルーレットのようなことをしていたということだった。スペースシャトル・チャレンジャー号の事故報告書には、「ロシアンルーレットでは、最初の一発が無事に発射されたとしても、次の一発が発射された時の慰めにはならない」とある。そう、つまり、こうした危険なことが起こっていても、それが問題を引き起こさないということは、いずれは銃弾が飛んでくるということなのだ。

私はよく「幸運は規模を拡大しても続かない」と言う。

そういうことです。そして、あなたが指摘した2つ目の点は、説明責任についてでした。確かに、これは活発な議論であり、私も何度も耳にしてきました。この責任問題には、よく理解されているにもかかわらず対処されていないギャップが存在します。なぜなら、これらのものが規模を拡大していくためには、そのやり方を改革する必要があると思うからです。現状のモデルは拡張性がありません。何らかの方法で対処して、これを実行可能なものにする必要があります。なぜなら、現在のやり方は明らかに実行可能ではないからです。そして、政治的な意思と、おそらくは残念なことに、人々があなたが指摘したような事態に気づくためには、いくつかの悪い状況が発生する必要があるでしょう。私は、ロボットタクシーは公共財であり、有益であり、有益になる可能性があるので、この問題を解決すべきだと思いますが、まだその問題に完全には至っていません。

問題が深刻化する前に、早めに対処しておきたい。そうすれば、初期段階で不運にも制度改革の負担を強いられる人が大勢いる事態を避けられる。できれば、そのプロセスを経ずに改革を完了させたい。

全く同感です。政治もその方向に進むことを願っています。フィル、これは素晴らしい会話でした。本当に多くのことを学びました。ゲストの皆様にも、安全工学とロボタクシーに関するこのミニ講座を楽しんでいただけたでしょうか。素晴らしい進歩を遂げたことを喜ぶべき点はたくさんありますし、あなたが30年間この分野に携わり、ここまで発展してきたのを見るのは、きっととても刺激的なことでしょう。しかし、あなたはまだやるべきことがたくさんあることを私たちに示してくれました。

将来は非常に明るいものになると思います。規模拡大にはいくつかの課題がありますが、成功するためには業界全体がその課題を認識し、向き合うことが重要です。そうすることで誰もが利益を得られるのです。お招きいただき、ありがとうございました。本当に感謝しています。

ご視聴いただきありがとうございました。気に入っていただけましたら、いいねとチャンネル登録をお願いします。今後もこのようなエピソードを配信していきます。 The Garageまた近いうちに別のエピソードでお会いできるのを楽しみにしています。