운전을 배운다고 하면 부모님이 조수석에 앉아 운전을 가르쳐 주시던 십대 시절을 떠올릴 수 있습니다. 그러나 자율 주행 차량 엔지니어에게 운전을 배운다는 의미는 방대한 데이터 집합을 숙지하고 복잡한 신경망 알고리즘을 만들고 수 년 동안 점진적으로 개선을 보여 준다는 뜻입니다.
자율 주행 차량 교육에서는 전문 하드웨어 및 소프트웨어 엔지니어로 구성된 대규모 팀이 데이터, 시뮬레이션 시스템 및 최첨단 인공 지능(AI) 교육 인프라를 활용하여 자율 주행 차량의 도로 주행을 준비합니다.
자율 주행 차량 분야의 선두주자인 Tesla는 실제 과제를 극복하는 동시에 Tesla의 교육 데이터 집합을 개선하기 위해 완전 자동 주행(FSD) 컴퓨터를 반복적으로 교육하는 복잡한 머신 러닝 인프라를 개발했습니다.
여기서는 Tesla의 "데이터 엔진" 워크플로의 기본 원칙을 살펴보고 Tesla 차량에서 생성된 데이터가 향후 동일한 자동차를 재교육하는 데 소급 사용되는 방식을 알아보겠습니다.
Tesla의 데이터 엔진이란 무엇일까요?
Tesla의 "데이터 엔진"은 완전한 자율성을 향한 경쟁의 핵심입니다. 이 고유한 데이터 워크플로는 실제 주행 예제를 사용하여 머신 러닝 알고리즘을 반복적으로 실행하고, 이를 통해 자율 주행 신경망을 교육합니다.
Tesla는 정교한 방식으로 이를 수행합니다. 각 차량에는 두 개의 FSD 시스템을 동시에 실행하는 FSD 컴퓨터가 장착되어 있습니다. 한 FSD 컴퓨터는 자동 조종 장치가 켜져 있을 때 차량을 운전하고 조종하는 데 사용되며, 다른 FSD 컴퓨터는 "그림자 모드"로 계속 실행됩니다.
그림자 모드는 실제 자동차를 제어하는 것처럼 실행됩니다. 그러나 운전자가 예상과 다른 동작을 하거나 제시된 시나리오에서 무엇을 해야 할지 모른다는 신호를 신경망에서 보낼 때, 이 경우를 부정확한 것으로 기록합니다. Tesla는 이러한 부정확성을 메모리에 기록하면서 소급하여 수집할 수 있습니다.
Tesla가 유사한 상황에서 부정확성을 충분히 감지했다고 가정해 보겠습니다. Tesla가 부정확성을 감지하지 못하더라도 다른 Tesla 차량에서 발견되는 유사한 주행 조건을 검색할 수 있습니다.
그런 다음 Tesla는 유사한 상황별 예제를 수집할 수 있습니다. 새롭게 형성되고 잘 분류된 이 데이터 집합을 사용하여 Tesla는 부정확성이 제시된 시나리오에 잘 대응하도록 신경망을 다시 교육할 수 있습니다. 신경망을 다시 교육하면 새로 개정된 자율 주행 신경망을 "그림자 모드"에 배포하고 다른 부정확성에 대한 새 데이터 예제를 수집할 수 있습니다.
높은 수준의 Tesla 데이터 수집
아래 이미지의 시각적 표현은 Tesla 데이터 수집 및 반복 전략의 주기적인 특성을 보여 줍니다. 첫째, 데이터는 소스(Tesla의 FSD 컴퓨터)에서 수집됩니다. 그 다음, 차량은 부정확성을 식별합니다. 그 부정확성은 Tesla의 장치 테스트에 입력되어 타당성을 검증하고 사람의 운전 미숙으로 인한 결과가 아니라는 것을 입증합니다.
부정확성이 정당하다고 간주되면 Tesla는 부정확성이 발견된 위치에 대한 더 많은 예제를 차량에 요청합니다. 그런 다음 이러한 예제는 사람에 의해 올바르게 분류되어 신경망을 교육하는 데 사용됩니다. 그런 다음 더 많은 부정확성을 수집하기 위해 네트워크를 데이터 소스로 다시 배포합니다.
자동차 산업 내 경쟁
2019년 Tesla의 자율 주행의 날에 "데이터 엔진"을 처음 선보였을 때 Tesla는 다른 자동차 업계의 부러움을 샀습니다.
Audi의 CEO는 2020년 Reuters와의 대화에서 "Tesla는 컴퓨팅 및 소프트웨어 아키텍처와 자율 주행 측면에서 2년 정도 앞서 있습니다"라고 말했습니다. 이 방대한 데이터 생성, 교육 자료 수집, 이해, 재교육 반복, 배포 및 재실행 메카니즘의 인프라는 처음부터 매우 잘 설계되었습니다.
"데이터 엔진"은 데이터 체인의 모든 단계에서 통합을 지원하며 데이터 수집, 전송 및 컴퓨팅의 기반 아키텍처가 필요합니다. 예를 들어 Tesla 자동차는 Tesla의 중앙 데이터베이스에 대한 무선 연결을 기능적으로 지원하고, 그림자 모드 계산 및 데이터 수집을 제공하며 이 모든 것이 생산에서 배포된 자율 주행 차량 알고리즘을 실행하는 동안 진행됩니다. 출시 당시 Tesla만큼 강력하고 성숙한 자율 주행 차량의 데이터 수집 인프라를 갖춘 자동차 제조업체는 없었습니다.
극단적 사례의 식별 및 반복
데이터 엔진의 가장 중요한 기능 중 하나는 그림자 배포 신경망과 인간 운전 또는 생산 신경망 간의 부정확성을 비교하여 감지하는 기능입니다. 자율 주행의 날 프레젠테이션에서 Tesla는 도로에 자전거가 있는 상황에서 주행 시 부정확성을 감지하는 예제를 사용하여 Tesla의 머신 러닝 인프라의 복잡성과 이러한 부정확성을 식별하는 성능에 대해 설명했습니다.
Tesla는 생산 신경망에서 사람이 자전거를 타는 경우가 많다는 점을 감안할 때 자전거를 피해야 할 중요한 것으로 간주했습니다. Tesla가 두 물체 중 하나와 충돌해야 하게 된다면 자전거보다 자동차가 운전자를 더 잘 보호할 가능성이 높기 때문에 자전거 대신 다른 자동차와 충돌하게 됩니다.
그러나 Tesla는 경우에 따라 자전거가 도로 한가운데에 다른 차량과 매우 가깝게 있다는 것을 알아챘고 운전자의 행동과 비교하여 무엇을 해야 할지 모른다는 것을 나타내기 위해 그림자 신경망을 트리거합니다. Tesla는 생산 자동 조종 신경망이 가동되고 있고 자전거가 "도로 한가운데"에서 식별되었을 때 인간 운전자가 개입하여 자동차의 경로를 "수정"했을 수도 있음을 알아차렸을 수 있습니다.
Tesla가 알림을 받았을 때 데이터 라벨링 기술자는 부정확성을 감사했고 차량에 자전거가 부착된 자전거 고정대가 있을 때 부정확성이 발생한다는 사실을 알게 되었습니다.
인간에게 이 사건은 단순히 새로운 사건이었겠지만, 교육 데이터는 자율 주행 차량의 생산 신경망에 대한 중대한 과제를 드러냈습니다. 이 시나리오에서, Tesla는 FSD 지원 차량에 차량 위나 근처에 자전거가 있을 수 있는 다른 사례를 검색하도록 요청했습니다.
그런 다음 이러한 데이터의 예제는 실제 자전거, 자동차 뒤에 장착된 자전거, 차량 위에 있는 자전거 또는 그 외의 사례를 올바르게 식별하는 데이터 라벨링 기술자에게 전송되었습니다. 새로 수집되고 분류된 데이터 집합을 통해, Tesla의 머신 러닝 데이터 센터를 사용하여 베타 버전의 신경망을 재교육하고 그림자 모드로 실행되도록 차량에 재배포할 수 있습니다.
Tesla는 데이터 엔진에서 그림자 모드 배포 및 신속한 교육 반복을 통해 얻은 지식을 사용하여 새로운 소프트웨어 릴리스를 만들 수 있습니다. Tesla의 데이터 수집 인프라의 놀라운 점은 실제 데이터 예제를 등록하고 인간 운전자를 통해 머신 러닝 모델을 교육한다는 것입니다. Tesla의 데이터 엔진은 잘 분류된 실제 자율 주행 차량의 교육 데이터를 신속하게 수집하고 이를 적극적으로 활용하여 반복적인 머신 러닝 시험을 수행함으로써 신경망 교육을 가속화합니다.
승리를 쟁취하는 Tesla의 데이터 수집
자율 주행 차량 분야의 다른 회사들은 자율 주행 차량을 교육하는 독자적인 방법을 가지고 있지만, Tesla 규모로 운영되는 곳은 없습니다. Tesla는 전 세계 자동차에서 더 많은 안전 운전 데이터와 극단적 사례의 부정확성을 수집하고 이를 사용하여 신경망을 교육할 수 있습니다.
다른 많은 회사들은 매우 강력한 교육 시뮬레이션 및 데이터 수집 메커니즘을 가지고 있지만, 흔히 적용 범위가 단일 도시 또는 지역으로 제한됩니다. 그럼에도 불구하고, 자율 주행 차량(현 시점에서는 반자율 주행 차량)에서 생성된 데이터는 자율 주행 차량에 완전한 기회를 제공하는 필연적인 열쇠입니다.
