对 HOD LIPSON 的采访，他与 Melba Kurman 合着了《无人驾驶：智能汽车和未来之路》一书。
Hod，你在 Driverless 中写道，今天的汽车是无脑的。什么样的思维对于今天的汽车制造商来说是重要的，以便为汽车开始为自己思考做好准备？
Hod Lipson，哥伦比亚大学工程与数据科学教授我们在大多数车辆中已经安装了很多计算机.有数百万行代码。但是汽车还没有的东西是人类认为理所当然的东西：了解周围事物的能力，了解他们前面的路边是否有孩子或消防栓。对于我们人类司机来说，这几乎是微不足道的事情。这一直阻碍着无人驾驶汽车进入未来的梦想教育。自上世纪 30 年代以来，人们一直梦想着无人驾驶汽车。我们已经能够通过计算机驾驶汽车很长时间了。我们已经能够控制运动，找到从 A 到 B 的最短路径——无论有没有交通。但正是这一点——理解坑洼和水坑或自行车和摩托车之间的区别——阻碍了汽车实现完全自主。这是拼图的最后一块，就在我们说话的时候，它正在被解开。
您猜解这块拼图还需要多少年？
很大程度上已经解决了。从技术的角度来看，这几乎是板上钉钉的事。现在是训练的问题。这些系统需要证明自己并在做它们所做的事情时做得更好——以至于人们会盲目地信任它们。这需要一点时间。立法也需要一些时间起来，让政府清楚这些汽车的安全性有多“足够安全”——并想出一种方法来测试它们并向消费者和汽车制造商保证，[自动驾驶汽车是安全的]在部署之前.很难预测这需要多长时间，因为它必须与立法者的特质、政治和诸如此类的事情做很多事情。但我想说的是，我们将在五年后的任何时间看到 5 级的开始，全自动驾驶汽车将在某些地区发挥作用。也许不是在雪地里，也许只是在高速公路上等等。大约还需要 20 年以上的时间，道路上一半的汽车才能实现完全自动驾驶。您曾写过在典型道路以外的环境中运行的自动驾驶汽车。澳大利亚的矿业公司和北美的农民使用自动驾驶汽车发现了什么，这将有助于加快 AV 在普通街道和高速公路上的生产是吗？
许多自动驾驶汽车已经被用于农业和采矿业等非常严格控制的领域。大多数情况下，在节省成本、效率和安全方面的好处非常明显。因此，有时可以避免人们从事既危险又无聊的工作。但就解决技术问题而言，关于自动驾驶汽车的所有问题都已解决，除了最后一块拼图：检测行人、摩托车或坑洼等令人惊讶的事物。在精心控制的环境中，这些事情不一定经常存在：在矿井中，行人走动的频率不高；你不会在玉米地里有令人惊讶的摩托车。这些意外情况阻止了这项技术从非常成功的实施迁移到繁忙的城市十字路口。
这是“角落”案例吗？机器人专家谈论解决极端情况&mdash；意外的罕见事件发生的概率为 1%——这是个问题，对吧？在您的书中，您举了一只鹿跳上汽车引擎盖的例子。仍然必须弄清楚的前三个角落案例类别是什么？
角落案例一直困扰着 AI 世界。多年来，人们一直试图通过规则来解决人工智能问题，即感知这一挑战。正如你提到的，基于规则的人工智能在处理极端情况方面是出了名的糟糕。这些罕见的事件可能会带来灾难。我记得我们在 Darpa 大挑战赛中遇到过这个挑战，这是一场穿越沙漠的机器人比赛，康奈尔大学的车辆无法应对有立交桥的情况。这是程序员没有预料到的情况，“砰！”车停在那里。它无法处理。
你问的是前三名。挑战在于您无法列举它们。没有人知道它们是什么。它们很少见。他们很难阐明。但可以肯定的是，这将与识别一些特殊的、罕见的问题组合等事情有关。就像两个孩子从相反的方向跑到街上，一个转移交通的建筑标志，以及地平线上的太阳使一些传感器失明。因此，一些疯狂的情况组合本身就相当罕见。当你把它们放在一起时，它就更复杂了。
人类也很难处理这些事情。但这些都是非常罕见的东西，很难训练人工智能系统。这就是 AI 中的一些新技术可以提供帮助的地方。
我知道机器视觉研究人员已经尝试过使感知艺术自动化，但都以失败告终。现在，您编写了一种称为“深度学习”的新型 AI 软件，它在对数千张数字图像中的随机对象进行正确分类方面达到了人类水平的准确度。所以我们有“机器学习”，你不知道随着研究人员每天向软件提供大量由车载摄像头收集的原始视觉数据，ote 也在增长。这个软件是如何达到这种准确度的？
这是一个引人入胜的故事，讲述了深度学习（一种机器学习，属于人工智能的一种）如何在物体的感知和分类方面取得如此大的进步，在过去的几年中识别动态物体。自 2012 年以来，我们看到这项技术呈指数级增长。这类软件的理解和感知能力之强，远超人类。它可以在黑暗中，在雨中看到。它不是用两只眼睛看东西，而是用 20 只眼睛看东西。它已经变得非常非常善于理解。
更令人兴奋的是，我们越来越多地看到汽车越来越多地自动驾驶，而不是仅仅使用来自研究的数据进行训练, 也能够收集更多数据。这些数据可以训练下一代人工智能。换句话说，人工智能正在训练自己。 AI 在每个周期都变得越来越好。
人们很难理解和欣赏，与最多只有一生驾驶经验的人类驾驶员不同，自动驾驶汽车会向其他汽车学习。道路上的自动驾驶汽车越多，每辆汽车的性能就越好。这是非常违反直觉的，因为我们人类不遵循那种路径。但那是另一个指数加速器。
老天，世界各地的汽车制造商距离开发一个智能操作系统还有多远？智能操作系统具有“始终准确的人工感知”，您称之为 AI 研究的皇冠上的明珠？
我认为汽车制造商接近于此。说到汽车制造商，人们可能会想到传统的汽车行业。但现在这包括谷歌、Waymos 和苹果以及所有这些不同的软件行业，我们现在将它们合并到一个叫做“汽车制造商”的大类别中。日比赛已经开始——不仅要让它变得可靠，还要让它可靠到什么程度？你如何证明它是可靠的？它在什么样的环境中工作？它只适用于加州街道，还是适用于曼哈顿街道？它在印度和中国有效吗？然后是百度和腾讯 [在中国]。世界各地的公司都在为此努力。
我们现在缺少的一件事是可靠性方面的某种透明度。这就是为什么我很难告诉你谁处于最前沿的部分原因——因为这些数据往往是非常秘密和不透明的。对消费者有帮助的一件事是某种度量系统，一种评级系统，政府可以在其中说，“如果你认为你有一辆可靠的自动驾驶汽车，那就来测试吧。向我们展示您的数据，执行此测试，我们会给您评分。”就像 MPG 和马力一样。我们有车辆性能和其他领域的评级系统。我们需要一个评级系统，让消费者了解自动驾驶汽车的安全性。它和普通人类司机一样安全吗？它的安全性是原来的两倍还是十倍？也许如果我付出更多，我会得到一个安全性提高 20 倍的系统。这就是我们想要达到的目标。
是否有任何组织或公司正在开发您刚才提到的安全评级系统？
我还没有听说有人推出了系统的安全评级系统评分系统。它必须是第三方系统。一些简单的东西是理想的：与人类相比它有多安全？两次半？三次？
丰田电子调色板的插图。 （由丰田提供）如果您放眼整个汽车行业以及软件行业，就会发现现在的竞争不仅仅是制造可靠的汽车。它真的是在建立一个平台其他企业可以开始创造机会。
例如，丰田刚刚推出了 e-Palette。这是一个自主的平台——你可以想象在其上构建任何东西。你可以建立一个店面。你可以建一个旅馆——一个可以出现的房间，当你去某个地方的时候，你可以在里面过夜。这个想法是，一旦这种 AV 事件发生，它就不仅仅是另一辆车了；它是一个平台，您可以在这个平台上建立您能想象到的各种业务，以及一些您无法想象的业务。
您是说您可以在汽车旅馆的房间里睡一整夜到另一个地方？
没错。所以你可以想象一家处理房间的公司，一种类似于 Airbnb 的公司，慢慢地扩展到这个领域。他们可能不想开发无人驾驶汽车，但他们希望使用该平台并在此基础上构建他们的服务。
我们正在谈论一个巨大的新经济部门，它’s 将扩大。这场比赛是关于谁将提供该平台。我们在智能手机上看到了这一点。只有几个手机平台提供商：Android 和 iPhone。许多企业以此为基础并创造新的机会。我们将在自动驾驶汽车上看到同样的事情发生。
人们可能会想当然地认为，拥有使用机器人劳动力的所有经验的汽车制造商不会费力地适应运送人员的移动机器人和商品遍布整个创作。但你在书中说，无人驾驶汽车不会将装配线上的强壮、头脑简单的表兄弟认作机器人同伴。为什么会这样？
因为这一切都归结为感知问题。在汽车工厂工作的机器人不必处理感知问题。是的，他们必须识别在装配线上移动的机器零件或组件，但这是可识别的零件。您可以训练系统。你c为此使用各种传统的机器视觉技术。但是，当谈到识别道路上的任意事物时，从漏油到坑洼，再到球，再到松鼠，再到事物的倒影，这就完全不同了。直到最近，这个问题还没有得到解决。
您还撰写了一项研究，估计如果 90% 的汽车在路上行驶，仅美国与驾驶相关的死亡人数将从每年 32,400 人下降到每年 11,300 人这条路是 AV。但我觉得你不认为这是最有可能促使公众采用 AV 的催化剂。最有可能的催化剂是什么？制造商应该在何时期待它？
人们为什么会购买这些汽车？归根结底，这很方便。与您可能从汽车广告中看到的许多图像相反，人们不喜欢开车。大多数上下班路上的驾车都是费力、乏味和危险的。所以人们会在一秒钟内放弃它，gi甚至选项。所以归根结底，这会很方便：一旦制造商可以向司机保证自动驾驶汽车的安全性是普通人类司机的两倍，人们就会涌向这项技术并开始做其他事情汽车：工作、读书、玩耍、睡觉。
安全问题很难争论。在讨论我们采用这项技术的紧迫性时，通常会使用它。全世界每周有 23,000 人死于汽车。在全球范围内，下周将有 23,000 人死于汽车。这就像每月爆炸一次的核弹。但我们对此完全麻木了。车祸甚至没有登上当地新闻，但这个数字基本上可以降到几乎为零。
这会影响一切——从我们在汽车中所做的事情到汽车的结构。汽车的很多成本及其重量和机械现在的建筑结构与安全和碰撞有关。一旦我们可以消除很多这种情况，汽车就可以彻底改变。
由于机器学习，无人驾驶汽车不需要对路边基础设施进行大量投资有多重要？
p>关于这个话题有一个很大的神话。除了传统汽车和司机需要的以外，自动驾驶汽车不需要任何额外的基础设施：它们需要良好的道路、良好的车道标记以及桥梁和隧道。就是这样。
任何关于基础设施的讨论，例如路边的转发器和车辆之间的 V2V 通信，都会拖慢我们的速度。任何需要基础设施投资的事情都是实施的危险信号。市政当局和州政府将非常不愿意实施任何需要基础设施的项目。基础设施不能很好地扩展。它需要维护。它需要操作。它需要各种各样的东西。但这只是没有必要。
您写道，深度学习将总体上改变移动机器人的发展轨迹。具体到制造业如何？
当您拥有一台可以感知周围事物的机器时，不仅在自动驾驶汽车中，而且在任何类型的机器人技术中都会产生连锁反应。因为机器人技术一直被理解环境的挑战所扼杀。这就是机器人主要在工厂等结构化环境中工作的原因。
例如，即使在工厂中，您也可以拥有与人类并肩工作的机器人。机器人将能够做到这一点，因为它们能够看到人，因此在人周围是安全的，而且它们将能够更容易地向人学习，模仿人们正在做的事情。就像您以身作则教孩子一样，人们可以对它们进行“编程”。机器可以看到并理解它们所看到的这一事实使很多事情得以实现。
其他示例必须与此相关h 机器人将能够处理更多种类的任务，因为它们不需要将自己局限于一种类型的组件。例如，他们将能够在不事先编程的情况下包装具有不同形状和大小的不同物体。他们将能够理解他们所看到的。他们将能够筛选并发现质量保证方面的缺陷，所需的培训和仔细校准比现在需要的少得多。所有这些不同的事情都会对我们在工业中使用机器人的方式产生连锁反应，并将创造新的机会。
在书中，您挑战了美国交通部和汽车工程师协会的假设：当我们过渡到 AV 时，人类和机器人最好轮流驾驶。未来汽车制造商应该了解“人在环路”软件的局限性是什么？
人机协作是一件好事，但对驾驶而言却不是g.
驾驶是一件很难分享的事情。归结为分担责任的想法：当事情很关键时，你不想分担责任，例如，在两个人之间分担责任。他们每个人都会觉得丢球是安全的，因为另一个人会把球捡起来。好吧，这正是人类司机和 AI 共同驾驶时会发生的事情：他们都不是 100% 负责的，这可能会产生问题。
当您查看最近发生的一些不幸车祸时对于无人驾驶汽车，通常会有一名人类司机准备接管，但他们没有时间接管，或者他们还没有准备好接管。这是虚假的安慰。我们必须摆脱这种想法。事实上，这种依靠人类共享驾驶的想法在机器接近 100% 时变得具有欺骗性的危险。我们必须跳过那个阶段，直接进入 100% 自主——并且尽可能快地到达那里n.
您写道，驾驶是多么乏味，人类不应该参与其中。你说因为乏味，人类非常乐意让机器接管。但这不是公开的。我们如何达到这一点？
每个人都同意，汽车几乎完全自动驾驶的 4 级是一个过渡点。它不会持续很长时间。既然有了完全自动驾驶的汽车，你为什么要搞砸一辆 95% 自动驾驶的汽车呢？我想我们会很快通过那篇文章，在某个时候没有人会再争论它了。我认为这不是说服任何人的问题；这只是早点达到 5 级的问题。
法航447航班坠毁2009 年 6 月在大西洋造成 228 人死亡。飞行数据记录器于 2011 年 5 月被找回。法国调查与分析局得出的结论是，当飞机的自动驾驶仪断开连接时，机组人员的反应不正确，导致飞机进入空气动力学失速状态，并且无法恢复。 （照片由法国 BEA 提供，www.bea.aero）2009 年法航 447 号航班就是机器控制与人为控制之间交接失败的一个例子：200 多人丧生。这怎么没有变成让人类脱离循环的战斗口号？
首先，大多数人不知道那个案例的细节——我认为这是自动驾驶仪的故障，速度传感器的特异性，以及切换不起作用。要么飞行员没有准备好，要么他们没有接受足够的培训，交接没有成功。但你也可以看看最近发生事故的无人驾驶汽车的情况：乌曼还没有准备好接管。这完全是一种误解 [人类可以处于循环中]。
但不知何故，我们有这种感觉，如果循环中有一个人，那么那里就有一个我们可以指指点点的人，说，'好吧，那个人负责。我们很好。感觉有人在那里是一种虚假的安慰。
我想我们需要那种安慰。在我们拥有比普通人类驾驶员可靠两倍的全自动驾驶汽车之前，它会一直伴随着我们。这就是大多数人会说的地方，“好吧，尽管我喜欢由人控制的感觉，但如果可靠、独立的一方告诉我汽车自动驾驶的安全性是人类司机的两倍，我准备好完全放弃控制。'”
它必须 [至少] 安全两倍。它不能简单地与普通人类司机一样安全，因为大多数人认为他们比普通人更好
当人工智能被证明比普通人类司机安全 10 倍时，你一定是疯了才坚持开车。作为普通的人类司机，当汽车可以安全地自行驾驶 10 倍时，你一定是疯了才把你的孩子放在一辆你坚持自己驾驶的车里。
我认为这将是一个
很快就不用动脑子了。
在美国以外的哪些地方，公司和政府机构表现出了领导力？
许多公司认识到这是一个巨大的潜在好处。这不仅仅是关于 AV。这不仅仅是关于汽车。这也是整个经济的连锁反应——从农业到房地产。尝试推广这种技术的原因有很多。你会在欧洲和亚洲看到很多工作。例如，新加坡正在领导这方面的工作。中国正在这一领域付出令人难以置信的努力。真的是地球的每一个角落。
我已经有人与我联系来自发展中国家。他们说，‘我们想跨越公共交通，直接进入自动驾驶。我们需要做什么才能到达那里？我们需要修改哪些法律才能允许谷歌和苹果在我们的土地上而不是在美国测试他们的车辆？所以有一种理解是“现在”。这是一个完善技术、收集里程的游戏。哪家公司可以在培训其系统的道路上获得最多的里程数？无论你在哪里可以做到这一点，这就是你的汽车将被训练的地方，也是将要部署的第一个地方。
当你在 2016 年出版这本书时，你指出没有机器人操作系统可以号称完全掌握三大关键能力：实时反应速度、99.999%的可靠性、优于人类水平的感知能力。你有任何更新吗？
是的，我想我们已经到了那个地步。这三件事是可行的。在事实上，在本书写作时，它们中的每一个都已经分别完成了——感知是拼图的最后一块。我无权访问这些公司的实际数据。但似乎这三者都已在目前市面上的几款自动驾驶汽车中实现。
您写道，谷歌在班加罗尔有许多员工从事数据驱动驾驶方面的工作。将在美国销售的无人驾驶汽车有多少工作是在美国以外进行的，热点在哪里？
这很难回答，因为很多工作都是在悄悄进行的.还有很多被收购的小型初创公司。那么谁拥有不断变化的格局。
但是，与许多其他软件驱动的技术一样，启动所需的基础设施相对较少，这对于全球各地的公司来说都非常容易开始。这是一场基于软件的比赛。连同其他吨汽车行业正在发生的变化，如电动汽车和拼车，这意味着地球上的任何人都可以迎接这一挑战并开始致力于它的不同方面。
我们看到这种情况无处不在：印度。新加坡、中国、欧洲。这项技术很容易移动，因为它不是基于基础设施的。如果你开发了一种可以更安全驾驶的算法，你可以将其部署到地球上的任何车辆中。这是一种移动性很强的技术，从某种意义上说，它让世界变平了。
越来越多的人在竞争谁可以获得最多的数据。例如，特斯拉在中国提供免费收费——作为对数据访问权的回报。
您写道，中级控制软件是 AV 的圣杯。该软件由什么组成，为什么如此重要？
中级控制是我们创造的一个术语，旨在阐明制造无人驾驶汽车的难点。高层控制——如何从 A 点到 B 点有交通，没有交通，路径规划——几十年前就解决了。低层次的控制——如何让汽车直线行驶、实时转弯、保持在路上、平稳加速的反馈控制——也在几十年前就已经解决了。
剩下的是直到大约五年前，我们所面临的挑战是我们所说的“中层控制”，即具有大约一分钟时间范围的控制。 “这个十字路口怎么过？我如何汇入车流？我该如何避免这个障碍？我如何为这两个行人、一辆自行车和另一辆可能会或可能不会转弯的不同方向开来的汽车导航？”
当你……驾驶自动驾驶汽车时，这是一个你没有的挑战-工厂内的导引车。当你在飞机上有自动驾驶仪时，你就没有它。你在这些其他类型的自治系统中没有它。你没有它在农业或矿。但是当你试图穿过繁忙的城市十字路口时，你确实拥有它。那是中级地平线控制。这是最艰巨的挑战。这就是过去几年深度学习解决的挑战。
您提到了在 AV 中拥有三个视觉感知子系统的可能性。最终这一切会不会非常昂贵，以至于除了公司以外没有人能够负担得起拥有 AV？
恰恰相反。应该有多个系统只是为了可靠性。但请记住，这些只是传感器和软件，它们很便宜。他们的价格遵循摩尔定律。他们每隔几个月就会将性价比翻一番。实际上，部署软件的边际成本真的很容易。如果您有三个或五个系统，它真的不会贵很多。例如，相机一毛钱一打。如果你想在汽车周围安装 50 个摄像头，那也不算多
相比之下，你拿出人类需要的东西。例如，仪表板在汽车中非常昂贵。所有的仪器和控制都将被应用程序取代。这就是软件，因此可以扩展。
车辆的电气化也消除了很多复杂性。总体而言，随着汽车变得自动化和电动化，我们正在寻求零部件的简化和大幅降低成本。
自动驾驶汽车将更加实惠。这让我想到了另一个神话，即汽车保有量会以某种方式下降。我认为汽车保有量只会增加。
为什么？难道不是拥有为人们服务的车队，这样人们就不必再拥有汽车了吗？
这是一种误解。是的，将会有为人们服务的车队。但它们将迎合一个小[细分市场]。通常，如果您将移动视为一种服务——像优步一样从 A 点到 B 点——是的，这是有道理的。它使在城市环境中也很有意义。但出于多种原因，它并不能解决全部问题。
一个原因是该模型在农村地区效果不佳。如果我住在农村地区，我不想等待 15 分钟让某辆车出现在我的车道上；我想让车在那里等着。我想拥有它。
另一个原因是人们喜欢拥有东西。例如，人们拥有自己的手机。
最后，如果您有孩子，您想拥有汽车。你不想把东西塞进车里；你想把它留在那里。而且这种情况只会增加：如果你要能够在车里工作、睡觉或玩耍，就像自动驾驶汽车不可避免的情况一样，你想把你的东西放在那里。你想拥有自己的床、自己的椅子、自己的书桌、自己的玩具。
因此，越来越多的人希望拥有自己的汽车，以方便、快速访问、感觉所有权。
您今天要对制造业世界传达有关 AV 的信息是什么？
我的信息是，无论您从事什么行业、哪个行业、哪个部门、哪个学科，AV 都会产生连锁反应.即使对于农村地区的小型制造商也是如此。运输将变得更加便宜和顺畅，这一事实可能意味着农村制造业将变得有利可图。
例如，将货物从农村地区运输到城市是农村制造商的一大负担。突然间，它使它们可行。所以，不管你是不是农村制造商，你都应该关心这一点。无论如何，这意味着您将面临更多竞争。这意味着货物可以[更容易]运输。交付模式将会改变。电子商务将发生变化。这将意味着房地产价值将发生变化，这将影响制造业。这意味着购买模式将发生变化。
这不是真的重要的是您所处的行业和部门。这项技术将为您带来改变，这是一场向我们袭来的海啸。
