로보택시에 99.9% 안전성이면 충분할까요?

0:00 소개: 자율주행차의 가능성

오늘 The Garage 자율주행을 새로운 시각으로 바라보겠습니다. 웨이모, 주엑스 등 여러 회사의 상용 자율주행 차량 출시로 최근 몇 년간 자율주행 기술이 얼마나 발전했는지 모두가 주목하고 있습니다. 저희가 살고 있는 샌호세 같은 베이 에어리어 도시에서는 이제 스마트폰으로 로보택시를 호출하면 운전자가 없는 로보택시가 나타나 승객을 태워줍니다. 이러한 서비스는 매우 성공적이고 고무적입니다. 저 개인적으로는 5년 전 로보택시가 아직 완성되지 않았을 때 관련 업무를 했었는데, 당시에는 매우 답답한 경험이었습니다. 그래서 지금처럼 기술이 발전하는 모습을 보니 정말 고무적이고, 로보택시가 얼마나 유용하게 활용될 수 있을지 기대가 큽니다. AI .

하지만 로보택시 대수가 증가함에 따라, 수천 대에 달하는 규모로 확장 가능한 수준의 효율적인 로보택시를 만드는 것은 더욱 복잡한 과제가 될 것입니다. 이러한 문제에 대해 30년간 연구해 온 전문가보다 더 적합한 사람이 있을까요? 오늘 저희의 게스트는 카네기멜론 대학교의 필 쿠프만 교수입니다. 최근 은퇴하신 쿠프만 교수는 30년 동안 로보택시를 비롯한 안전 공학 분야를 연구해 왔으며, 로보택시의 대규모 상용화를 위한 장점과 과제에 대해 자세히 이야기해 주실 예정입니다.

가자.

저는 존 하인라인입니다. 최고 마케팅 책임자(CMO)로 근무하고 있습니다. Sonatus 오늘 필 쿠프만 씨를 모시게 되어 매우 기쁩니다. 필, 환영합니다. The Garage .

초대해 주셔서 감사합니다. 함께하게 되어 기쁩니다.

저희 둘 다 카네기 멜론과 깊은 인연이 있죠. 저는 거기서 학부 과정을 마쳤고, 교수님은 오랫동안 교수로 재직하셨으니까요. 아마 제가 학부생이었고 교수님께서 대학원생이셨을 때 서로 만난 적이 있는 것 같아요. 먼저 교수님의 배경에 대해 간략히 말씀해 주시겠어요?

네. 저는 RPI에서 컴퓨터 공학 학사 학위를 받았습니다.

그 후 해군에서 학부 학비를 지원해 줘서 복무했습니다. 당시에는 그런 제도가 있었죠. 졸업 후에는 직장 생활을 잘 하다가 카네기멜론 대학교에 진학해서 박사 학위를 받았습니다. 거기서 당신을 만났죠. 하드웨어 설계 수업, 비트 슬라이스 CPU 수업의 조교였는데, 그게 뭔지 아는 사람은 많지 않겠지만 재미있는 수업이었습니다. 졸업 후에는 해리스 반도체에서 CPU 설계자로 일했습니다. 유나이티드 테크놀로지스의 중앙 연구 센터에서도 근무하며 임베디드 분야에서 많은 경험을 쌓았고, 마지막으로 카네기멜론 대학교로 돌아가 거의 30년 동안 교수로 재직하다가 최근에 은퇴했습니다.

정말 훌륭한 경력을 쌓으신 것을 축하드립니다. 정말 뛰어난 이력을 갖고 계시네요. 그 이야기는 나중에 하고요. 그전에, 당신에 대한 재미있는 사실 하나 말씀해 주시겠어요?

물론이죠. 재밌는 사실은 제가 냉전 시대에 해군에서 잠수함을 조종했었다는 거예요. 전투 훈장도 받았는데, 어떻게 받았는지는 말씀드릴 수 없어요.

정말 놀라운 이야기네요. 저는 잠수함 영화를 좋아하는데, 와 <붉은 10월> 같은 영화들이요. 정말 멋진 이야기들이라 당신의 경험이 부럽습니다.

음, <붉은 10월>은 정말 훌륭한 영화예요. 제가 당시에 하던 일들을 아주 정확하게 묘사하고 있죠.

3:15 안전공학의 기초

정말 재밌겠네요. 그럼 카네기 멜론 대학교에서의 경력, 특히 안전 공학에 대해 이야기해 주시겠어요? 안전 공학은 당신의 주요 전문 분야였는데요. 청중들에게 안전 공학이란 무엇이며, 단순히 무언가를 건설하는 전통적인 공학과는 어떤 점에서 다른지, 그리고 어떻게 상호 보완적인 역할을 하는지 설명해 주시겠어요?

물론이죠. 저는 자율주행차 안전 분야에서 30년간 일해 왔고, 그 외에도 다양한 분야의 안전 엔지니어링 업무를 많이 해왔습니다. 임베디드 시스템 설계 검토만 해도 200건이 넘을 것 같고, 한 15년 전에는 세는 걸 멈췄네요. 그중에는 제대로 작동하지 않는 것도 있었지만, 대부분은 다양한 분야의 안전 관련 업무였습니다. 그래서 수많은 안전 기준과 안전 관련 문서를 접해왔습니다.

안전이라는 개념을 간단히 요약하자면, 시스템을 구축하고 테스트할 때 엔지니어들은 시스템이 제대로 작동하는지 확인하는 교육을 받습니다. 그들은 정상적인 상황에 대해서는 매우 능숙하지만, 문제가 발생했을 때의 상황에 대해서는 그렇지 못할 수 있습니다. 안전 엔지니어링은 시스템을 어떻게 작동하게 만들 것인가에 대한 것이 아니라, 문제가 발생했을 때 어떤 일이 일어나는가에 대한 것입니다.

구체적으로 말하자면, 여러분이 배우는 것은 위험 요소, 즉 문제를 일으킬 수 있는 것들을 목록으로 만드는 것입니다. 대부분의 경우 인명 피해이지만, 심각한 장비 손상일 수도 있습니다. 여러 가지가 있을 수 있죠. 결국 안 좋은 일이 일어날 가능성이 있다는 뜻입니다.

여러분은 문제가 발생할 수 있는 모든 요소를 ​​목록으로 만들고, 그 문제가 발생하지 않도록 하거나 발생하더라도 피해를 최소화할 수 있는 계획을 세웁니다. 따라서 안전 공학은 위험 요소를 나열하고, 그 위험 요소로 인한 피해를 줄이는 방법을 찾아내고, 이러한 안전 요구 사항이 엔지니어링 요구 사항에 반영되도록 하는 것입니다. 즉, 이제 안전 기능을 의도적으로 설계하고, 안전 장치가 실제로 작동하는지 테스트해야 합니다. 아주 간단한 예로, 기차에는 공기 브레이크가 있습니다.

모든 게 잘못될 경우를 대비해서 압축 공기 실린더가 있는데, 버튼을 누르면 갑자기 브레이크가 작동해요. 그게 무슨 용도냐고요? 기차를 타면서 여러 가지 일이 생기지만, 대부분은 브레이크를 밟으면 해결되거든요. 그래서 그런 거예요.

그렇게 설명하니 흥미롭네요. 말씀하신 대로 엔지니어라면 당연히 뭔가를 작동시키고 싶겠지만, 모든 실패 시나리오를 꼼꼼히 고려해야 합니다. '안전한 실패(fail safe)'와 '위험한 실패(fail dangerous)'라는 개념이 있는데, 자주 언급되는 것 같습니다. 제 생각에 당신의 목표는 우선 실패 자체가 발생하지 않도록 하는 것이겠지만, 만약 실패하더라도 안전에 지장을 주지 않는 방식으로 부드럽게 실패하도록 하는 것이겠죠? 이렇게 설명드린 게 맞나요?

5:37 안전장치 및 운영 실패

네. 그게 바로 최근까지 통용되던 방식이었죠. 고전적인 시스템에서는 시스템의 에너지를 차단하면 안전합니다. 예를 들어 화학 공정에서 온도를 과열 증기가 아닌 실온으로 낮출 수 있다면 훨씬 안전하죠.

그러니까 문제를 예방하고 싶은 거죠. 위험한 상황이 발생했을 때, 그 상황을 안전한 상태로 되돌릴 수 있는 방법이 있어야 하는데, 보통은 에너지를 소멸시키는 방식이죠. 예를 들어 자동차를 멈추는 것처럼요. 하지만 문제는 에너지를 완전히 없애는 것만으로는 충분하지 않은 상황도 있다는 겁니다.

비행기가 35,000피트 상공에서 엔진 화재가 발생했다고 가정해 봅시다. 이때 모든 엔진을 끄는 것은 잘못된 조치입니다. 그렇죠? 그래서 안전장치가 있는 것이고, 이는 보통 엔진 정지를 의미합니다.

모든 것을 감고 전원을 차단하면 안전합니다. 많은 곳에서 이 방법이 통합니다. 하지만 고속 운동이 수반되는 경우에는 속도를 줄일 때까지 충분히 오랫동안 작업을 계속해야 합니다. 여객기에 엔진이 두 개 있고, 조종 장치가 두 개 이상 있는 이유가 바로 이것입니다. 하나가 고장 나면 단순히 멈추는 것이 아니라, 안전한 위치로 이동할 때까지 충분히 오랫동안 작동을 유지해야 하기 때문입니다.

그건 자동차에도 마찬가지예요. 고속도로에서 시속 60마일로 달리다가 핸들에 문제가 생기면, 핸들이 멈춰버리죠.

그건 안 돼요.

차량 시동을 끄려면 핸들이 충분히 작동해야 합니다.

맞아요. 그리고 그냥 멈춰 설 수도 없어요. 그러면 뒤차가 그대로 들이받을 테니까요.

그래서 당신은 어떻게든 우아하게…

도로에서 벗어나야 합니다. 주행 차선에서 벗어나야 해요. 물론, 어쩔 수 없는 아주 드문 경우도 있겠죠. 예를 들어 엔진이 차에서 떨어져 나가는 경우라면 할 수 있는 일이 제한적일 겁니다. 하지만 거의 모든 경우에, 주행 차선에서 벗어날 수 있을 만큼의 동력은 필요합니다. 그래서 일반 작동 모드에서 기능은 다소 떨어지지만 임무 수행 시간은 매우 짧은 복구 작동 모드로 전환해야 합니다. 하지만 그 백업 시스템이 반드시 있어야 합니다. 백업 시스템이 없으면 제대로 작동하지 않아요.

정말 멋지네요. 오늘 이 팟캐스트에서 안전 공학 학위를 받게 되었어요.

말씀하신 것처럼 자율주행 분야에서 30년 동안 일해 오셨는데, 그동안 정말 엄청난 발전이 있었습니다. 누군가의 머릿속에서 잠깐 떠오른 아이디어에서 시작해서 지금은 제 사무실 바로 앞에서도 로보택시를 호출할 수 있게 되었죠. 먼저 긍정적인 부분부터 이야기해보고, 현실적인 문제점들도 살펴보도록 하겠습니다. 현재 웨이모, 주크스 등 실제로 이용할 수 있는 로보택시들이 있습니다. 중국에서도 몇몇 기업들이 특정 도시나 제한된 운행 지역에서 실용화 단계에 접어들고 있는데, 이에 대해서도 이야기 나눠보도록 하겠습니다.

그렇다면 이 일을 해오신 동안 엄청난 발전이 있었겠네요.

네, 30년이 지났지만 정말 많은 발전이 있었습니다. 그래서 당연히 그렇다고 말씀드릴 수 있습니다. 로보택시를 이용할 수 있어요. 저도 로보택시를 타봤는데 정말 놀라운 기술입니다.

안전에 관해서 말하자면, 99.9%는 좋은 시작일 뿐이지 결승선이 아닙니다. 그렇죠?

그리고 우리는 99%는 거의 다 온 것 같은 기분이에요. 왜냐하면 로보택시를 엄청나게 발전시킬 수 있거든요. 하지만 30년이나 걸렸죠. 30년 전, 아니 31년 전에 카네기 멜론 대학교에서 워싱턴 DC에서 샌디에이고까지 98%는 운전자가 핸들을 잡지 않고 운행하는 차량을 만들었어요. 그 마지막 1.999%를 완성하는 데 이렇게 오랜 시간이 걸린 거죠. 그렇죠?

하지만 정말 대단한 발전이에요. 놀라운 성과니까요. 사실 운전하는 사람이 아무도 없다는 거죠. 대부분의 경우 이런 것들이 운전할 때는 뒤에 아무도 없다는 거예요. 정말 멋진 일이죠.

거의 다 온 것 같은 느낌이 들지만, 오늘 우리가 이야기할 주제는 로보택시 100대가 도로를 달리게 되는 순간이 온다는 것입니다. 정말 놀라운 일이죠.

9:26 로보택시 차량 확장의 과제

하지만 로보택시 100대에서 10만 대로 늘어나는 건 완전히 다른 이야기입니다. 제가 늘 하는 말은 "99%는 완료됐고, 99%는 아직 남았다"입니다.

제 말은, 아시다시피 말씀하신 것처럼 비즈니스에서 '99.999'라는 표현을 자주 쓰잖아요. 9가 몇 개든 상관없지만, 중요한 건 분자가 얼마냐는 거죠. 만약 로보택시가 100대 있다면 99.9%면 꽤 괜찮은 수치겠죠. 하지만 1,000대, 10,000대가 되면 99.9%보다 작은 수치가 나올 가능성이 커지는 겁니다.

간단한 나눗셈.

네, 그러세요. 부탁드립니다.

물론이죠. 간단한 나눗셈이에요. 예를 들어 설명하자면, 로보택시 100대에서 1년에 한 번 발생하는 일이 로보택시 10,000대에서는 일주일에 두 번 발생한다는 뜻입니다.

그렇다고 로보택시 자체에 문제가 있다는 건 아니지만, 1년에 한 번 정도라면 아마 신경도 안 쓸 수도 있겠지만, 일주일에 두 번씩 온다면 이야기가 달라지죠. 로보택시가 더 나빠졌다는 게 아니라, 숫자의 문제라는 겁니다. 로보택시가 많아질수록 예전에는 너무 드물어서 신경 쓰지 않았던 것들에 더 주의를 기울이게 되는 거죠.

그래서 100대의 로보택시를 운행할 수 있는 기술은 정말 놀랍고, 이미 현실이 되었습니다. 이제 다음 과제는 과거에는 매우 드물어서 큰 문제가 되지 않았던 사건들을 어떻게 처리할 것인가 하는 것입니다. 이러한 사건들은 대규모로 발생할 경우 매우 중요한 문제가 될 것입니다. 이것이 바로 우리가 직면한 과제입니다.

네, 흥미로운 주제네요. 저희 프로그램에서는 지난 몇 년 동안 많은 분들이 이 주제에 대해 이야기 나눠주셨습니다. The Garage 이 문제를 다른 관점에서 이야기해 봅시다.

이번 시즌 초에 모빌아이의 고위 관계자를 비롯한 여러 사람들이 자신들의 업무에 대해 이야기했습니다. 하지만 당신은 정말 귀중하고 독특한 관점을 제시해 주시는데요. 로보택시의 대량 생산 및 대규모 배치에 있어 당신이 생각하는 몇 가지 과제에 대해 이야기해 보겠습니다.

11:12 실패 유형 분류

음, 네 가지 범주가 있는데, 아마 그 네 가지 범주를 차례로 살펴볼 것 같지만, 미리 간단히 설명해 드릴게요. 첫 번째는 집단 고장입니다. 로보택시 한 대가 길 한가운데에 멈춰 서면, 그건 그냥 로보택시 한 대의 문제죠. 하지만 로보택시 100대가 모두 같은 길 한가운데에 멈춰 서면, 완전히 다른 문제가 되는 겁니다.

그래서 소프트웨어는 비슷한 상황에서 고장나는 경향이 있습니다. 만약 모든 로보택시에 동일한 소프트웨어가 탑재된다면, 컴퓨터는 대개 동시에 고장나는 경향이 있습니다. 따라서 이에 대한 대비책을 마련해 두어야 합니다.

다음은 안전에는 충돌 사고 외에도 더 많은 요소가 있다는 것입니다.

그래서 업계는 사고율 감소에 대해 꾸준히 논의해 왔고, 실제로 상당한 진전을 이루었습니다. 하지만 로보택시 수가 10대에서 100대, 그리고 1,000대로 늘어나면서 안전에 중요한 다른 요소들이 드러나기 시작했습니다. 초기에는 이런 것들을 걱정하지 않았을 텐데, 실제로는 중요한 요소라는 것을 알게 되었고, 이를 통해 배워야 합니다. 세 번째는 드물게 발생하는 예외적인 상황들이 생각보다 훨씬 더 큰 문제로 대두되었다는 점입니다. 예상했던 것보다 훨씬 더 큰 문제였지만, 물론 어려움으로 작용할 것이라는 것은 알고 있었습니다. 업계는 이에 대한 대책을 마련했지만, 이는 새로운 과제를 안겨줍니다. 마지막으로 책임 소재를 명확히 해야 합니다.

규모가 커질수록 지금보다 훨씬 더 나은 책임 체계가 필요합니다. 그리고 이건 로보택시 업계의 잘못이 아닙니다. 우리의 법률 시스템이 현재 상황을 제대로 처리할 준비가 되어 있지 않기 때문입니다.

분류 체계를 제시해 주셔서 감사합니다. 앞으로 나아갈 방향에 대한 좋은 개요를 제공해 주셨네요. 정말 다양한 관점에서 모든 것을 포괄하는 것 같습니다.

12:41 #1 상관관계가 있는 오류

그럼 첫 번째 질문부터 시작해 볼까요? 방금 언급하신 집단 실패, 즉 하나의 실패가 다른 실패와 연관되는 경향에 대해 이야기해 주시고, 그 문제점은 무엇이며, 우리가 어떻게 대처해야 하는지 설명해 주시겠어요?

음, 인간 운전자에 대해 이야기하자면, 인간 운전자는 항상 실수를 저지릅니다. 차가 고장 나기도 하고, 온갖 일이 벌어지죠. 하지만 100대나 1,000대의 차가 모두 동시에 같은 문제를 겪는 경우는 드뭅니다. 왜냐하면 모든 운전자가 다르고, 모든 차가 다르기 때문입니다.

물론이죠. 교통 체증을 유발하는 요인들은 여러 가지가 있습니다. 정전이 발생하면 모든 운전자에게 큰 혼란이 초래되겠죠. 하지만 모든 로보택시에 동일한 컴퓨터 운전자가 탑재되어 있고, 도시 교통량의 상당 부분을 로보택시가 차지한다면, 문제가 발생할 경우 도시 전체에 심각한 문제가 발생할 겁니다.

그리고 대규모 네트워크 컴퓨터가 절대 고장 나지 않는다고 말하지 마세요. 크라우드스트라이크 사태가 바로 그 대표적인 사례잖아요. 사고는 언제든 일어날 수 있어요.

중국, 아마 우한이었던 것 같은데, 한 회사의 모든 로보택시가 통신 문제로 인해 동시에 작동을 멈추는 사태가 있었습니다. 그 결과, 택시 기사들은 고가도로 위에 고립되는 곤경에 처했죠. 미국에서도 대규모 행사나 정전 등으로 교통 체증이 심한 상황에서 로보택시가 꼼짝 못 하는 영상들을 많이 보셨을 겁니다. 이런 일이 실제로 일어날 수 있다는 거죠. 그렇다고 해서 기술을 아예 사용하지 말라는 건 아닙니다. 다만 이런 상황이 불가피하다는 것을 인지해야 한다는 겁니다. 모든 SaaS(서비스형 소프트웨어) 시스템을 같은 도시의 같은 서버에 구축해서 전 세계에 서비스를 제공하는, 다소 비효율적인 방식이라도 문제없이 사용할 수 있다는 거죠.

자, 그럼 어떻게 될까요? 로보택시도 똑같은 취약점을 가지고 있을 겁니다. 계획이 있어야 해요.

한 회사가 전체 교통량의 상당 부분을 차지하는 상황에 대해 말씀하셨는데요. 물론 지금은 그런 상황이 아닙니다. 하지만 로보택시에 대해 낙관적인 사람들은 로보택시가 미래에는 자동차를 대체하거나 그 수를 크게 줄일 수 있을 거라고 생각합니다. 따라서 특정 회사가 사업을 확장할 경우 이러한 현실적인 문제가 발생할 수 있다는 점을 고려해야 합니다. 물론 사이버 보안 문제는 여기서 다루지 않겠습니다. 그건 나중에 따로 이야기해 볼 만한 주제니까요.

네. 로보택시 차량 전체가 해킹당하는 상황을 생각해 보면, 도시 전체가 마비될 수도 있겠죠. 확실히 이론적인 문제이긴 합니다. 하지만 말씀하신 요점은 악의적인 공격자가 없더라도, 여러 시스템이 동시에 고장나는 등의 복합적인 문제로 그런 일이 발생할 수 있다는 겁니다.

맞습니다. 로보택시들이 고립되는 것 외에도 여러 가지 문제가 발생할 수 있습니다. 만약에라도 지진이 발생해서 로보택시들이 모두 고립된다면, 물론 사람이 운전하는 차량도 지진에 취약하지만, 응급 차량이 지나갈 수 있도록 잘 대처하는 편입니다. 하지만 로보택시는 그런 대처에 어려움을 겪는 모습을 많이 봐왔습니다.

한두 대 정도라면 어떻게든 해결하겠지만, 수백 대의 로보택시가 멈춰서 재난 상황에서 모든 응급 차량의 통행을 막아버린다면 문제가 될 수 있습니다. 그렇다면 인간 운전자가 운전하는 차량과 비교했을 때 얼마나 큰 문제일까요? 흥미로운 질문이네요.

하지만 바로 이런 질문들을 던져봐야 합니다. 만약 이 기술을 전체 차량의 상당 부분에 적용하려면 재난 대응 방안도 고려해야 하고, 또 다른 중요한 요소들도 생각해야 합니다. 음, 좋습니다. 다음으로는 원격 지원에 대해 이야기해 보도록 하겠습니다.

하지만 원격 지원 담당자가 50명인데 차량 200대가 모두 동시에 멈춰버린다면 어떻게 해야 할까요? 계획이 필요하죠.

네, 맞습니다. 비슷한 맥락으로, 나중에 세 번째 항목에서 예외적인 상황에 대해 이야기하겠지만, 지진을 예로 들어보죠. 심각한 지진으로 도로 곳곳에 균열이 생겼다고 가정해 봅시다. 갑자기, 멀쩡했던 도로가 갈라지고 로보택시가 장애물을 감지하는 등, 여러 가지 예외적인 상황이 순식간에 발생할 수 있습니다.

지진조차 필요 없어요. 정전만으로도 모든 신호등이 꺼질 수 있죠.

그리고 90%의 운전자가 신호등을 제대로 인식한다고 해도, 그 10%가 쌓이면 순식간에 문제가 됩니다. 실제로 이런 일이 발생하기도 하고요. 허리케인 대피 상황이나 다른 어떤 상황에서도 마찬가지입니다. 만약 운전자들이 훈련받지 못한 환경적인 문제에 직면한다면, 모두 동시에 실패할 가능성이 높습니다. 물론 이러한 문제는 개선될 수 있습니다. 따라서 "어쩔 수 없다"라고 말하는 것이 아니라, "우리가 미래를 내다보고 있는가?"라는 질문을 던져야 합니다. 문제가 발생한 후에야 대응하는 것인지, 아니면 미리 대비하고 있는 것인지가 관건입니다. 규모가 커질수록 우리가 해야 할 일은 문제를 미리 예측하고 대비하는 것입니다.

알겠습니다. 좋아요. 그게 첫 번째 주제였어요. 정말 흥미로우면서도 무서운 주제였죠. 두 번째 주제는 인간 운전자와 장애 조치 방식에 대한 이야기였습니다.

17:23 #2 심각도가 높은 예외 상황 및 원격 인간 지원

네. 로보택시가 처음 등장했을 때부터 직면했던 기술적 과제는 바로 예외적인 상황, 즉 드문 사건들을 처리하는 것이었습니다. 이론적으로는 드문 사건이지만, 실제로는 다소 까다로운 부분이 있습니다. 예를 들어 정전을 생각해 보세요. 정전은 드물게 발생합니다. 거주 지역에 따라 다르겠지만요.

드물다고 해서, 그리고 심각한 결과를 초래할 수 있는 일이라면, 안전을 생각한다면 무시해서는 안 됩니다. 예를 들어 보행자가 갑자기 도로 한가운데로 나오는 경우처럼요. 이런 일이 항상 일어나는 건 아니지만, 어느 도시에 사는지에 따라 다릅니다.

아마 청취자분들 중에는 "잠깐만, 저 사람은 내가 사는 도시에 살지 않는데?"라고 생각하시는 분들도 계실 겁니다. 하지만 길을 건너는 사람들, 또는 부모님 차에서 내려 학교에 가려고 길을 건너는 아이들을 보세요. 어디에 사느냐에 따라 그런 모습을 전혀 보지 못했을 수도 있고, 매일 보는 사람도 있을 겁니다.

그러니까 '드물다'라는 건 상대적인 개념이죠. 그래서 좀 복잡해지는 거예요. '그런 일은 자주 일어나지 않는다'라고 말할 수도 있겠지만, 자주 일어나지 않는다고 해서 중요한 건 아니잖아요.

심각한 문제이고 그런 일이 당신에게 일어난다면, 어떻게든 해결해야 하잖아요? 그런데 머신러닝의 문제점은, 머신러닝은 훈련받은 분야에서는 뛰어나지만, 매우 취약하고, 뭐라고 표현해야 할지 모르겠지만 상식이 부족하다는 겁니다. 머신러닝에는 상식이 없어요.

그래서 훈련받지 않은 상황에 처하게 되면 과도한 자신감을 갖게 되는 경향이 있습니다. 자신이 무엇을 모르는지조차 인지하지 못하고, 우리가 보기엔 어리석은 행동을 하게 되죠. 그리고 그런 상황이 심각할 경우, 큰 문제가 될 수 있습니다.

그러니까 예외적인 상황, 즉 머신러닝이 학습하지 않은 상황을 어떻게 처리하느냐가 관건입니다. 그런 상황이 드물다고 생각하든 말든 상관없습니다. 모르면 모르는 거죠. "나는 그런 상황을 본 적이 있어"라고 말해봤자 소용없습니다.

음, 훈련을 받지 않았다면 받지 않은 거죠. 그래서 심각한 안전 사고는 매우 드뭅니다. 음주 운전을 포함하더라도 1억 마일당 사망자는 한 명 정도입니다. 1억 마일은 엄청난 거리죠.

사람들은 놀라울 정도로 운전을 잘합니다. 특히 술이나 약물에 취하지 않은 상태라면 더욱 그렇습니다. 실제 운전 실력은 그보다 훨씬 뛰어납니다.

그래서 정말 중요한 건 드문 일들이라고 할 수 있죠. 사람들은 "그건 드문 일이니까 상관없었어"라고 말할 거예요. 하지만 아니에요. 사망 사고는 극히 드물거든요.

그래서 실제로 드문 일들이 안전을 좌우합니다. 일반적인 엔지니어링 방식은 버튼을 눌렀더니 작동했는지 확인하는 거죠.

알겠습니다. 좋습니다. 안전 공학은, 흔하지는 않지만, 위험도가 매우 높습니다. 그리고 시간이 지남에 따라 발생하는 모든 사건들을 종합해 보면, 위험도가 너무 높습니다.

우리는 드물게 발생하는 사건이라도 큰 손실로 이어지지 않도록 위험을 완화해야 합니다.

네. 그래서 방금 말씀하신 것처럼, 이런 드문 사건에 대처하기 위한 전략에 대해서요.

이러한 문제들을 해결하기 위한 전략에는 어떤 것들이 있을까요?

음, 예전에는 좀 절망적이었어요. 마치 포켓몬을 사냥하는 것 같은데 포켓몬의 수가 무한대인 거죠. 세상이 온갖 기상천외한 것들로 가득 차 있어서 전부 모을 수는 없잖아요. 정말 끝이 없어요. 그래서 업계에서는 "우리가 충분히 많이 잡을 수 있다면 가끔씩 나오는 이상한 것들은 감수할 수 있을 거야"라는 말이 있었죠.

만약 우리가 인간 운전자보다 100배 더 안전하다고 해도, 사고가 발생한다면 사람들은 100배 더 많은 사람들이 "뭐, 나쁜 일은 일어날 수밖에 없지. 어쩔 수 없잖아."라고 생각할 겁니다. 하지만 사망률 측면에서는 100배 더 안전하다고 보기는 어렵습니다. 확실히는 모르지만, 100배 더 안전하다고는 절대 말할 수 없습니다.

하지만 그들은 실제로 그 목표에 도달하지 못했습니다. 그래서 업계는 사실상 예외적인 사례에 대해서는 포기를 선언한 셈입니다.

우리는 인공지능이 모든 복잡하고 심각한 상황을 처리하도록 만들 능력이 없습니다. 절대로요. 그럼 그들의 계획은 무엇일까요? 하지만 그들은 이미 도로를 달리고 있습니다. 어떻게 가능했을까요? 그들은 이렇게 했습니다. "로봇 택시가 문제가 생기면 본사에 전화해서 실제 사람이 도와줄 수 있도록 하자."

그건 예외적인 상황을 처리하는 아주 기발한 방법이죠. 이제 모든 상황에 대처하는 방법을 훈련받을 필요가 없어요. 단지 "무슨 일이 일어나고 있는지 전혀 모르겠어. 본사에 전화해야겠다"라고 생각할 수 있을 정도로만 훈련받으면 됩니다.

그래서 여러분이 목격하는 많은 사건들은 언제 집에 연락해야 하는지를 판단하는 데 있어서 여전히 개선의 여지가 있다는 것을 보여줍니다.

하지만 집에 전화하면 사람이 직접 응대하면서 "아, 네."라고 말하죠.

도로의 눈부심이나 바람 때문에 신호등이 안 보이는 건 알지만, 믿어봐, 초록불이야. 알았지?

그리고 안전을 위해서라도 신호등이 녹색일 때는 녹색이어야 해요. 왜냐하면 로보택시는 온갖 센서 입력값을 가지고 있지만, 원격으로 조종되는 사람이 최종 결정을 내리고 다음에 무슨 일이 일어날지 결정하는 경우가 많기 때문이죠.

정말 흥미롭네요. 업계에서 한동안 일종의 은밀한 비밀처럼 여겨졌던 게, 많은 회사들이 인력 백업 운전자를 활용한다는 사실을 인정하지 않았다는 점이었던 것 같습니다. 하지만 이제는 대부분의 회사들이 특정 상황에서는 인력 백업 운전자를 사용한다는 것을 인정하고 있는 것 같네요. 물론 드문 경우이긴 하지만, 그런 예외적인 상황을 위해 인력 백업 운전자가 있는 거죠.

사실 그런 일은 흔히 일어납니다. 하지만 그건 나쁜 게 아니에요. 완전 자율성에 집착하는 건 핵심에서 벗어난 거니까요. 전 완전 자율성 여부에는 관심 없어요. 오히려 모르는 게 있을 때 사람이 도와주는 게 좋다고 생각해요. 그렇지 않으면 정말 끔찍하니까요.

맞죠? 결국 인구 대비 차량 대수의 문제예요. 1인당 차량 100대가 있으면 비용 효율이 좋죠. 사실 1인당 차량이 10대 정도면 효율이 떨어지고, 그 이상은 오히려 효율이 낮아지는 추세예요.

맞죠? 분자는 작고, 나누는 수는 크잖아요.

네.

아시다시피, 10대 1이든 20대 1이든 큰 차이는 없습니다. 즉, 1인당 차량 대수가 많을수록 경제성, 여기서 중요한 점은 결국 이득이 된다는 것입니다. 따라서 다음 질문은 원격 지원이 정말 안전한가 하는 것입니다. 업계는 마침내 원격 지원 기능을 보유하고 있음을 인정했고, 저는 그것이 괜찮다고 생각합니다.

저는 그게 부정적이라고 생각하지 않습니다. 오히려 현실적인 상황이라고 생각합니다. 아무 문제될 게 없어요. 다만 업계가 아직 제대로 인지하지 못한 부분은, 그 사람들이 안전에 매우 중요한 결정을 내리고 있다는 사실이고, 우리는 그들이 안전에 매우 중요한 역할을 맡고 있다는 점에 주의를 기울여야 한다는 것입니다.

업계는 여전히 이 문제를 해결하기 위해 노력하고 있습니다. 원격 지원 담당자가 10명이나 20명 정도라면 최고의 인재를 채용할 수 있고, 큰 문제가 없을 수도 있습니다. 하지만 로보택시가 백만 대가 된다면 원격 지원 콜센터도 많아지고, 그 안전 문제도 해결해야 할 것입니다.

그래서 그것이 규모 확장에 있어 남은 과제입니다.

알겠습니다.

23:31 #3 경계 사례에서의 조합 복잡도

두 번째는 2, 0, 4번째인데, 정말 흥미로운 주제라고 생각합니다. 세 번째는 코너 케이스(corner cases)인데, 이전 섹션에서 조금 다뤘습니다. 몇 달 전에 모빌아이(Mobileye)의 게스트를 모시고 이야기를 나눴는데, 모빌아이는 세계 최대 규모의 운전 데이터베이스를 보유하고 있어 코너 케이스를 축적하고 이를 고객사를 위한 학습 모델에 더 많이 반영할 수 있다는 장점이 있다고 했습니다.

분명히 유익한 접근 방식입니다. 하지만 아까 이야기 나눴듯이, 그 접근 방식의 문제점은, 앞으로 계속 발전시켜 나가시려면, 우리가 알고 있는 문제에 대해서만 이야기한다는 점입니다. 중요한 것은 우리가 알지 못하는 문제들이 많다는 것이고, 바로 그 미지의 미지(unknown unknowns)가 가장 큰 도전 과제라고 생각합니다. 제 생각이 맞나요?

네. 제가 전에 이야기했던 무한 포켓몬 문제가 바로 그거예요. 그런데 여기서 중요한 미묘한 차이가 있어요. 전통적으로 사람들은 예외적인 경우를 "어머, 길 한가운데에 얼룩말이 있네. 얼룩말이 뭔지는 모르겠지만." 같은 식으로 생각해요. 특이한 물체나 특이한 사건을 떠올리죠. 물론 그런 것들이 예외적인 경우이긴 해요.

하지만 직관적으로 생각하면 거의 모든 경우를 파악할 수 있을 겁니다. 더 미묘하고 까다로운 부분은, 훈련받지 않은 경우라면 이미 알고 있는 것들이 조합되어 예외적인 상황이 발생할 수 있다는 점입니다. 특히, 훈련받은 의미와는 다른 의미로 해석될 수 있는 방식으로 이미 알고 있는 것들이 조합되는 상황이 있을 수 있습니다. 아주 간단한 예를 들어보죠. 정지 표지판이 있는 상황입니다. 미리 말씀드리지만, 함정 문제입니다. 만약 전봇대에 정지 표지판이 있다면 어떻게 하시겠습니까?

멈추세요.

그렇죠? 멈추세요. 알겠죠?

그럼 가시는 거죠?

네.

함정 질문입니다. 만약 건설 노동자가 기둥에 달린 정지 표지판을 들고 있다면, 멈추고 "멈췄습니다"라고 말해야 합니다.

잘했어요. 잘했어요.

또 다른 함정 질문입니다. 하지만 아직 끝나지 않았어요. 또 다른 함정 질문입니다. 전봇대에 정지 표지판이 있는데 누군가 손에 들고 있고, 얼굴 바로 앞에 있는 게 아니라 다리 옆에 있다면, 그 표지판을 무시하는 겁니다. 왜냐하면 그 사람은 당신에게 멈추라고 할 만큼 진지한 사람이 아니기 때문이죠.

그리고 여러분 모두 직관적으로 알고 있죠. 누구나 직관적으로 알고 있는 사실이에요. 하지만 정지 표지판은 정말 복잡해요. 버스에 고정된 정지 표지판의 경우, 표지판이 펼쳐져 있는지 접혀 있는지에 따라 멈춰야 하거든요.

하나는 멈춰서 "정지"라고 말하는 것이고, 다른 하나는 무시하는 것입니다. 제 요점은 예외적인 상황(edge ​​cases)은 정지 표지판 그 이상이라는 것입니다. 정지 표지판 교육을 받았다고 하지만, 왜 로보택시는 자전거 버스를 운행하는 걸까요? 사실 정지 표지판은 그렇게 간단하지 않습니다. 제가 예로 든 것은 누구나 아는 정지 표지판이지만, 그보다 훨씬 더 복잡한 문제입니다.

네.

정말 흥미로운 예시네요. 작년에 제가 운전하고 있었는데, 어떤 차가 갑자기 맞은편 차선으로 좌회전을 하더라고요. 제 차 쪽으로요… 그런 상황은 정말 익숙하지 않아서 그런 거예요. 그 차가 있으면 안 되는 곳에 있는 거잖아요. 그래서 어떻게 하냐고요? 당연히 피했죠. 하지만 문제는 다른 사람들이 규칙을 어기는 것에 익숙하지 않다는 거예요. 그러니까 나 자신만 규칙을 지켜야 하는 게 아니라, 다른 운전자들이 얼마나 위험한 행동을 할지까지 상상해야 한다는 거죠.

그리고 실시간으로 상식을 활용해야 합니다. 최근까지는 생각해 본 적 없는 예를 하나 들어보겠습니다. 제가 운전하고 있는데 소방차가 제 앞에 멈춰 섰고, 소방관들이 내리고 있었습니다. 그들이 문을 열었는데, 문 안쪽에 정지 표지판이 그려져 있었습니다.

그래서 저는 '저 사람들이 뭘 원하는지 알아. 트럭에서 내릴 때 차에 치이지 않길 바라는 거지. 그러니까 문이 닫힐 때까지 멈춰서 기다려야겠다'라고 생각했어요. 그렇죠? 어쨌든 사람들은 참 좋아요.

제 말은, 당신이라도 똑같이 했을 거라는 거죠. 문맥을 보면 그게 더 맞는 말이라는 걸 알아챘을 거예요. 그게 무슨 뜻인지 생각해 보세요. 운전면허 설명서에 나와 있잖아요.

저는 그에 대한 훈련을 받은 적이 없습니다. 저희는 그리고 AI 엄청나게 형편없습니다. 알려진 지점 사이를 보간하는 데는 탁월합니다. 그게 바로 이 알고리즘의 기능입니다.

저널링이라는 말은 훈련 포인트가 있고 그 사이에 어떤 작업을 한다는 뜻입니다. 하지만 그 '그 사이의 어떤 작업'이 주변의 모든 작업과 다른 의미를 가진다면 문제가 됩니다. 그리고 그 작업이 무엇인지 전혀 알 수 없는 방식이라면, 그것 또한 문제가 됩니다.

정말 흥미롭네요. 아마 그 주제만으로도 한참 이야기를 나눌 수 있을 것 같아요. 왜냐하면 당연히 그 주제에 대해 많은 이야기가 오가니까요. AI 요즘 뉴스에서 흔히 나오는 얘기잖아요, 우리가 인공 일반 지능(AGI) 시대에 살고 있는지 아닌지 같은 거요. 하지만 현실은 이런 예외적인 경우들을 제외하면, 완전한 범용 인공지능을 실현하기까지는 아직 갈 길이 멀다는 겁니다. AI .

물론이죠. 하지만 그런 함정에 빠지기보다는, 안전에는 충돌 사고 외에도 다른 요소들이 있다는 점에 대해 이야기해 보는 건 어떨까요? 어떻게 생각하세요?

정말 좋은 생각인 것 같아요. 그렇게 하죠. 그럼 마무리하겠습니다. 정말 멋진 대화였습니다.

28:05 #4 안전은 충돌 사고 그 이상입니다

네. 다음은 안전에는 충돌 사고 방지 이상의 요소가 있다는 점입니다. 이건 저에게도 놀라운 사실이었어요. 처음에는 그다지 중요하게 생각하지 않았거든요. 우리가 처음 시작했을 때는 이 기술이 생명을 구할 거고, 충돌 사고를 줄여줄 거고, 그게 중요하다는 이야기였죠.

하지만 일단 로보택시가 인간 운전자와 동등한 수준에 도달한다고 가정해 봅시다. 어쩌면 조금 더 나을 수도 있고, 같을 수도 있습니다. 사실 사망 사고에 대해서는 아직 정확한 데이터를 확보하지 못했기 때문에 어떻게 될지 예측하기 어렵습니다. 다만, 결국에는 그런 상황이 될 것이라는 점만은 분명합니다. 충분한 주의를 기울인다면 그런 일이 일어나지 않을 이유도 없습니다.

안전에는 그보다 더 많은 것이 있습니다.

그리고 그보다 더 중요한 안전 문제는, 예를 들어, 소방차나 심장마비 환자를 태운 구급차의 진입을 막아버리는 경우입니다. 이는 충돌 사고는 아니지만, 안전과 무관하다고 할 수는 없습니다.

스쿨버스 옆을 지나갈 때도 마찬가지입니다. 스쿨버스에는 정지 표지판이 길게 나와 있어서 멈춰 서 있어야 한다는 것을 알지만, 내 차는 쌩하니 지나쳐 버립니다. 로보택시도 마찬가지입니다. 다행히 아이를 치지는 않았지만, 멈춰 서야 하는 이유가 있습니다. 교통 상황이 매우 혼란스럽기 때문에 어떤 운전자도 아이가 갑자기 나타났을 때 전속력으로 달리다가 멈출 만큼 능숙하지 못하기 때문입니다.

반응할 시간이 없잖아요? 그렇죠? 그래서 아이의 안전을 위해 멈추는 거예요. '이번에는 아이를 치지 않았으니까 괜찮아'라고 말할 수는 없어요.

제 말은, 그건 말이 안 되잖아요. 그렇죠? 멈추지 않으면 안전 문제가 생기는 겁니다. 그래서 저희는 일반 사람들이 안전에 대해 매우 불만을 갖는 여러 가지 문제점을 발견했는데, 이는 업계에서 선호하는 지표인 마일당 사고 발생률과는 전혀 관련이 없습니다.

규모가 커짐에 따라 이해관계자, 특히 지자체 관계자, 학부모 등에게 중요한 안전 관련 사건들이 더 많이 발생할 것입니다. 이러한 사건들은 주행 거리당 사고 발생률과는 전혀 무관한 문제입니다. 로보택시 산업이 성장함에 따라 이러한 문제들을 해결해야 할 것입니다. 그리고 제가 꼭 언급하고 싶은 한 가지가 더 있는데, 바로 피해에 대한 책임입니다.

29:59 #5 법적 책임 및 배상 책임의 공백

그러니까 지금 당장, 만약 당신이 운전자이고 법을 어기면, 딱지를 끊기고 면허를 잃을 수도 있습니다.

법을 어기면서 타인에게 상해를 입히면, 불법 사망 소송, 과실 소송, 민사상 불법 행위 소송 등의 소송을 당할 수 있습니다.

많은 주에서 로보택시는, 아니, 어떤 주에서도 로보택시 자체의 과실로 소송을 당할 수 없습니다. 이는 제품 책임과 관련된 문제이며, 완전히 다른 문제입니다. 하지만 많은 주에서 교통 위반 딱지에 대한 책임은 제조업체가 아닌 차량 소유자나 운전자에게 있습니다.

그러니까 콘도를 사서 임대하는 대신 로보택시 10대를 사서 운행한다고 가정해 봅시다. 그리고 그 로보택시 운전자가 교통 위반 딱지를 받으면, 제가 알기로는 그게 개인 면허증에 기록되고, 운전자를 통제할 권한도 없게 됩니다. 정말 이상한 일들이 많이 벌어지고 있는데, 로보택시 업계가 로비를 통해 주 정부 법률을 만들어 자신들을 제외한 모든 사람에게 책임을 전가하는 겁니다.

네. 로보택시가 몇 대 없고 자체적으로 차량을 운영하기 때문에, 일부 주에서는 아예 과태료를 부과할 수조차 없어서 큰 문제가 되지 않습니다. 하지만 로보택시를 백만 대까지 확대하려면 어떤 일이 벌어질지 대비한 계획이 필요합니다. 로보택시가 완벽할 수는 없죠. 사고는 불가피합니다. 사고가 난다고 해서 로보택시 자체가 나쁜 건 아니지만, 사고에 대한 책임 소재를 명확히 하고 합리적인 해결책을 마련해야 합니다. 그래야만 지금처럼 혼란스러운 상황이 아니라 미래에 안전을 증진할 수 있는 인센티브가 제공될 것입니다.

두 가지 관점을 정말 잘 통합하셨네요. 정말 흥미로운 지적이라고 생각합니다. 첫 번째로 말씀하신 것처럼 충돌만이 유일한 실패 원인은 아니라는 점이 특히 그렇습니다. 업계에서는 드론이 인간의 충돌률보다 훨씬 안전하다고 주장하죠. 물론 정확히 알 수는 없지만, 그럴 가능성도 있습니다. 하지만 여전히 위험한 상황이 발생하고, 운이 좋게 사고를 면하는 경우도 있죠.

지금 우리의 상황이 딱 그런 것 같아요.

지금 상황이 딱 그렇습니다. 업계에서는 충돌 시 안전성이 더 높다고 주장합니다. 그 부분에 대해서는 논의해 볼 수 있겠지만, 설령 그게 사실이라고 가정하더라도 스쿨버스 앞에서 멈추지 않는 건 어떻게 되는 겁니까?

맞아요. 정말 그래요. 그러고 보니 카네기 멜론 대학교(CMU)에서 들었던 '공학과 공공정책'이라는 수업이 생각나네요. 제가 들었던 수업 중 가장 눈을 뜨게 해준 수업 중 하나였어요. 혹시 기억하시는 분들은 아시겠지만, 그 수업에서 챌린저호 우주왕복선 사고에 대해 이야기했었죠.

수업 시간에 강조했던 요점은 당시 NASA가 마치 러시안 룰렛 게임을 하고 있는 것과 같았다는 겁니다. 챌린저호 참사 보고서에 나온 말처럼 "러시안 룰렛을 할 때 첫 번째 발사가 무사했다고 해서 다음 발사가 안전하다는 보장은 없다"는 거죠. 네, 그러니까 이런 위험한 일들이 일어나면서도 당장 문제가 생기지 않는다는 건 결국에는 누군가 총을 쏠 거라는 뜻입니다.

저는 "운이 좋다고 해서 다 성공하는 건 아니다"라는 말을 즐겨 합니다.

네, 맞습니다. 그리고 두 번째로 말씀하신 책임 문제에 대해서는 저도 여러 번 들어봤듯이, 이 책임 문제에 대한 명확한 인식이 있으면서도 제대로 해결되지 않은 부분이 있다는 것은 분명합니다. 로보택시가 확대되려면 운영 방식에 대한 개혁이 필요할 것입니다. 현재 모델은 확장성이 떨어지기 때문입니다. 어떤 식으로든 이 문제를 해결해서 로보택시를 실현 가능하게 만들어야 합니다. 현재 접근 방식은 분명히 실행 불가능하기 때문입니다. 이를 위해서는 정치적 의지가 필요하고, 어쩌면 안타깝게도 사람들이 문제의 심각성을 깨닫게 되는 몇 가지 안 좋은 사건들이 발생해야 할지도 모릅니다. 로보택시는 공공재이며 분명히 유익할 것이기 때문에 이 문제를 해결해야 한다고 생각하지만, 아직 그 단계에 이르지는 못했습니다.

문제가 발생하기 전에 미리 조치를 취해서, 초기에 불운한 사람들이 시스템 개혁의 부담을 고스란히 떠안는 일이 없도록 하고 싶습니다. 그런 과정을 거치지 않고 개혁을 완료하는 것이 더 낫다고 생각합니다.

저도 전적으로 동의하며, 정치권도 그런 방향으로 나아가길 바랍니다. 필, 정말 놀라운 대화였습니다. 저도 많은 것을 배웠습니다. 참석하신 분들도 안전 공학과 로보택시에 대한 이 짧은 강좌를 즐겁게 들으셨기를 바랍니다. 이 분야의 놀라운 발전에 만족할 만한 부분이 많습니다. 30년 동안 이 분야에 몸담으시면서 이렇게 많은 발전을 목격하셨다니 정말 감격스러우실 것 같습니다. 하지만 아직 해야 할 일이 더 많다는 것도 보여주셨습니다.

저는 미래가 매우 밝다고 생각합니다. 규모 확장에 있어서 몇 가지 어려움이 있겠지만, 성공의 길은 업계가 이러한 어려움을 인지하고 해결하는 데 있습니다. 그렇게 해야 모두가 윈윈할 수 있습니다. 초대해 주셔서 감사합니다. 정말 고맙습니다.

함께해 주셔서 정말 감사합니다. 마음에 드셨다면 좋아요와 구독을 눌러주시고, 앞으로 더 많은 에피소드를 시청해 주세요. The Garage 그리고 곧 다른 에피소드에서 다시 뵙기를 기대합니다.