无人驾驶 如何使用立体视觉实现距离估计 (无人驾驶如何改变未来出行)

文章编号:36867 最新资讯 2024-11-30 无人驾驶 感知技术 计算机视觉

双语原文链接: Pseudo-LiDAR — Stereo Vision for Self-Driving Cars


无人驾驶:如何使用立体视觉实现距离估计? 在自动化系统中,和计算机视觉已经疯狂地流行起来,无处不在。计算机视觉领域在过去十年中发展迅速,尤其是是障碍物检测方面。

障碍物检测,如YOLO或RetinaNet,提供2D的标注框,该标注框指明了障碍物在图像中的位置。

为了获取每个障碍物的距离,工程师将相机与激光雷达(光探测和测距)传感器融合,使用激光返回深度信息。利用传感器融合技术将计算机视觉和激光雷达的输出融合在一起。

使用激光雷达这种方式存在价格昂贵的问题。而对此,工程师使用的一个有用的技巧是:对齐两个像机,并使用几何原理来计算每个障碍物的距离。我们称这种新设置为 伪激光雷达。

无人驾驶:如何使用立体视觉实现距离估计?

伪激光雷达利用几何原理构造深度图,并将其与物体探测相结合,以获得三维的距离。

如何利用立体视觉实现距离估计?

以下5步伪代码用于获取距离:

1.校准2台照相机(内部和外部校准)

先建立视差图,再建立深度图

然后,深度图将与障碍检测结合在一起,我们将估算边界框像素的深度。本文结尾处有更多内容。

开始吧!

1.内部和外部校准

每个摄像机都需要校准。校准意味着将具有[X,Y,Z]坐标的3D点(世界上)转换为具有[X,Y]坐标的2D像素。

当今的相机使用针孔相机模型。这个想法是使用针孔让少量光线穿过相机,从而获得清晰的图像。

无人驾驶:如何使用立体视觉实现距离估计?

如果图像中间没有障碍物,那么每条光线都会通过,图像会变得模糊。它还使我们能够确定用于变焦和更好清晰度的焦距f。

无人驾驶:如何使用立体视觉实现距离估计?

要校准相机,我们需要将世界坐标转换为通过相机坐标的像素坐标。

无人驾驶:如何使用立体视觉实现距离估计?

固有参数是我们称为K的矩阵。

无人驾驶:如何使用立体视觉实现距离估计?

过相机校准可以找到K矩阵。

通常,我们使用棋盘格和自动来执行它。 当我们这样做时,我们告诉算法棋盘上的一个点(例如:0,0,0)对应于图像中的一个像素(例如:545、343)。

无人驾驶:如何使用立体视觉实现距离估计?

为此,我们必须使用相机拍摄棋盘格的图像,并且在经过一些图像和某些点之后,校准算法将通过最小化最小二乘方损失来确定相机的校准矩阵。

通常,必须进行校准才能消除图像失真。 针孔摄像头模型包括变形,即“ GoPro效果”。 为了获得校正的图像,必须进行校准。 变形可以是径向的或切向的。 校准有助于使图像不失真。

无人驾驶:如何使用立体视觉实现距离估计?

以下是相机校准返回的矩阵:

无人驾驶:如何使用立体视觉实现距离估计?

每一个计算机视觉工程师都必须了解和掌握摄像机的标定。这是最基本、最重要的要求。我们习惯于在线处理图像,从不接触硬件,这是个错误。

-尝试运行OpenCV进行摄像机校准。

在相机校准过程中,我们有两个公式可以将世界上的点O设为像素空间:

world到相机的转换

无人驾驶:如何使用立体视觉实现距离估计?

无人驾驶:如何使用立体视觉实现距离估计?

当您进行数学运算时,您将得出以下等式:

无人驾驶:如何使用立体视觉实现距离估计?

如果您查看矩阵尺寸,则不匹配。

无人驾驶:如何使用立体视觉实现距离估计?

因此,我们需要将O_world从[X Y Z]修改为[X Y Z 1]。

2.极线几何--立体视觉

我们的眼睛就像两个相机。因为它们从不同的角度看同一幅图像,它们可以比对两种视角之间的差异,并计算出距离估计。

下面是立体相机设置的示例。你会在大多数自动驾驶汽车上发现类似的东西。

无人驾驶:如何使用立体视觉实现距离估计?

立体相机如何估算深度

假设你有两个相机,一左一右。这两个相机在相同的Y轴和Z轴上对齐。基本上,唯一的区别就是它们X值不一样。

现在,看看下面的描述。

无人驾驶:如何使用立体视觉实现距离估计?

我们的目标是估算出O点(代表图像中的任何像素)的Z值,即深度距离。

现在从鸟瞰的角度来考虑这个问题。

无人驾驶:如何使用立体视觉实现距离估计?

立体相机鸟瞰图说明:

无人驾驶:如何使用立体视觉实现距离估计?

? 我们得到 Z = X*f / xL.

无人驾驶:如何使用立体视觉实现距离估计?

右相机方程:

? 我们获得 Z = (X — b)*f/xR.

放在一起,我们可以找到正确的视差 d =xL -- xR和目标正确的 XYZ 坐标。

3. 视差与深度图

视差是什么?视差是一个三维点从两个不同的相机角度在图像中位置的差异。

无人驾驶:如何使用立体视觉实现距离估计?

? 由立体视觉我们可以估计任何物体的深度。假设我们做了正确的矩阵校准。它甚至能够计算一个深度映射或者视差映射。

无人驾驶:如何使用立体视觉实现距离估计?

为什么是“基线几何”?要计算视差,我们必须从左图像中找到每个像素,并将其与右图像中的每个像素进行匹配。 这称为立体对应问题。

为了解决这个问题--

无人驾驶:如何使用立体视觉实现距离估计?

这是因为两个相机是沿着同一轴对齐的。

以下是基线搜索的工作原理:

无人驾驶:如何使用立体视觉实现距离估计? 基线搜索

应用:建立伪激光雷达

现在,是时候将这些应用到真实世界的场景中,看看我们如何用立体视觉来估计物体的深度。

无人驾驶:如何使用立体视觉实现距离估计?

每一幅图像都有外部参数 R 和 t,事先通过校准确定(步骤1)。

视差

对于每一幅图像,我们可以计算相对于另一幅图像的视差图。我们将做如下操作:

我们将获得左右图像的视差图。

为了帮助您更好地理解差异的含义, 我在 Stack Overflow 上找到了一个很棒的解释 。

无人驾驶:如何使用立体视觉实现距离估计?

从视差到深度图

? 我们有两个视差图,这基本上告诉我们,两幅图像之间的像素位移是多少。

对于每个摄像机,都有一个投影矩阵 P_left 和 P_right。为了估计深度,我们需要估计K, R 和 t。

无人驾驶:如何使用立体视觉实现距离估计?

世界坐标系到相机坐标系的转换

cv2.decomposeProjectionMatrix()的OpenCV函数可以做到这一点,并从 P 中得到 K、R 和 t;对于每个相机,现在是时候生成深度图了。深度图将使用其他图像和视差图告诉我们图像中每个像素的距离。

无人驾驶:如何使用立体视觉实现距离估计?

我们对每个像素进行计算。

无人驾驶:如何使用立体视觉实现距离估计?

估计障碍物的深度

针对每个相机,我们都有一个深度图! 现在,假设我们将其与障碍检测(例如YOLO)结合在一起。 对于每个障碍,这种算法都会返回带有4个数字的边界框:[x1; y1; x2; y2]。 这些数字表示框的左上角和右下角的坐标。

例如,我们可以在左边的图像上运行这个算法,然后使用左边的深度图。

无人驾驶:如何使用立体视觉实现距离估计?

真不可思议!我们刚刚构建了伪激光雷达!

借助立体视觉,我们不仅知道图像中的障碍物,而且知道它们与我们的距离! 这个障碍距离我们28.927米!

立体视觉是一种使用简单的几何图形和一个额外的摄像机将2D障碍物检测转换为3D障碍物检测的技术。如今,大多数新兴的edge平台都考虑了立体视觉,比如新的OpenCV AI Kit或对RASpberry和Nvidia Jetson卡的集成。

在成本方面,与使用LiDAR相比,它保持相对便宜,并且仍具有出色的性能。我们称它为伪激光雷达,因为它可以取代激光雷达的功能。检测障碍物,对障碍物进行分类,并在3D中进行定位。

无人驾驶:如何使用立体视觉实现距离估计?


AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作,通过提供学习、实战和求职服务,为AI学术青年和开发者的交流互助和职业发展打造一站式平台,致力成为中国最大的科技创新人才聚集地。

如果,你也是位热爱分享的AI爱好者。欢迎与译站一起,学习新知,分享成长。

无人驾驶:如何使用立体视觉实现距离估计?

版权文章,未经授权禁止转载。详情见 转载须知 。

无人驾驶:如何使用立体视觉实现距离估计?


本文地址: /article/99949b76837d5dd00850.html
全局中部横幅
全局中部横幅
360压缩_360推出的免费解压缩软件_360安全中心

360压缩是360推出的免费解压缩软件,360压缩快速轻巧、兼容性好、永久免费。360压缩内置云安全引擎,可以检测木马,更安全

直播_广西网络广播电视台

广西网络广播电视台下的广西卫视,综艺旅游频道,都市频道,新闻频道,公共频道,影视频道,国际频道,乐思购电视频道直播

桑协世纪

深圳市桑协世纪科技有限公司,国家高新企业,智慧供应链和智慧工厂的提供商

超细立式磨粉机_矿渣,钢渣,水泥立磨生产线_石头磨粉机设备生产线厂家-上海科利瑞克

上海科利瑞克机器是一家专业的生产立式磨粉机,超细立磨,超细磨粉机,雷蒙磨设备厂家;专注于矿粉,矿渣,钢渣,水泥建材、矿山、环保、冶金化工机械成套设备的技术研发,立磨机生产线保证产品质量,价格优惠

易心天下

易心天下帮助更多的企业建立自己的大数据平台,为更多的企业提供优质的大数据服务,以科技,融合数字与实体经济推动数字化的实体经济发展是我们的责任,以创新推动绿色未来。

江苏天力建设集团有限公司

江苏天力建设集团有限公司原名为江苏天力建设有限公司,前身为溧阳市煤气工业设备安装工程公司,创建于1981年6月,2003年6月企业更名、改制为有限责任公司。0519-87303808

高槐名言网 - 精选名人名言名句大全 经典语录大全

高槐名言网(www.zjt100.com)收录古今中外名人名言、哲理语录、励志名句、爱情格言等优质内容,涵盖读书、人生、成长等多场景,是你摘抄名言、引用素材的首选平台!

一站式密封件采购平台-橡胶密封圈厂家|不锈钢油封|进口油封|耐高温骨架油封|密封圈|TC骨架油封|O型圈|SOG油封|NOK油封|NAK骨架油封|耐高温O型圈|O型密封圈|液压油封-上海高辉实业有限公司

上海高辉实业专业生产各种材质o型圈,台湾进口TTO,SOG,NAK骨架油封台湾DZ(鼎基)密封件,日本NOK液压密封件,不锈钢油封,进口油封,骨架油封,密封圈,TC骨架油封,O型圈,密封圈厂家,SOG,NOK,油封,NAK骨架油封,O型密封圈,密封件,液压密封件,氟胶O型圈,橡胶密封,耐高温O型圈等非标准密封件产品的设计制造

山东庆华豆芽机_芽苗菜_豆芽机_芽苗菜技术加盟网

山东庆华豆芽机械设备有限公司专业生产豆芽机,豆苗机,芽苗机,花生芽机,绿色芽苗菜,芽苗菜技术加盟,花生芽.是青州首家豆芽机厂与豆芽机试验场的创办者,通过ISO9001:2008《质量管理体系》认证的企业。豆芽机销售电话:4006153688

评估吧

评估吧为您免费提供大量评估行业公司黄页、个人财产评估公司资产评估服务企业名录、知识产权评估代理咨询企业,为您展示从事商业评估服务的公司联系电话与联系人、大中小型评估公司大全、企业资产评估以及商业项目计划评估咨询信息,同时您也可以在这里免费开设网店、免费发布产品信息、免费发布供求信息,并快速查找供应商联系方式、行业优质企业联系方式。总之,企业信息大全、海量供求产品,就来这里找!欢迎您注册登录,成为我们的会员,免费获得开店指导!

全局底部横幅