360全景环视系统可以简单分为与导航CPU共享运算资源型（吉利博越）和单独CPU型（传祺GS8）。国际上一般叫AVM（Around View Monitor），最早的AVM由歌乐（日立汽车子公司）与日产联合开发，在2003年推出。

在国际专利数据库中查询相关专利，关键词如下

1990-2013年全景环视系统AVM的专利数

AVM专利数自2013年开始下降，这就意味着AVM已经成熟，已经不是研发重点了。

AVM专利公司分布

丰田旗下的电装专利数量最多，其次是日产、本田、爱信精机、富士通天、住友电气、日本电装、阿尔派、日产、丰田、爱信AW、歌乐、松下、住友线束、博世、Matsushita Electric、Toyota Jidosha、阿尔派等。

对于共用导航CPU的360全景环视系统，一般采用以LUT为核心的技术方式。

典型360全景环视系统流程

脱机前置作业程序包含了相机校正、 扭曲校正、 估测暗角参数、 鸟瞰转换与影像对位。 经过脱机前置作业程序后会生成一张全周鸟瞰影像与各相机影像间的几何关系对应表LUT (Look Up Table)， 之后因相机参数固定， 相机间几何关系也不变， 可用查表方式连续生成全周影像。 在线实时作业程序包含影像点内插、 暗角效应补偿、 亮度一致化与色彩混合处理， 最终生成环景鸟瞰图像。LUT是最重要的，LUT的生成需要CMOS传感器厂家和镜头厂家配合提供。

利用上面这两个方程设计人员能够将校正图像上的每一像素点映射到输入图像的每一像素点。校正后的鱼眼图像在水平方向没有全景失真。

拼接图像时，需要对图像进行配准，以确定重叠区。图像必须来自两个以上相同的镜头，其主轴都位于同一水平面。而且，镜头必须分开一点距离，彼此有些转动。假设景象中的所有目标都足够远，这种情况可以建模为一个镜头沿垂直轴旋转得到不同的图像。在这些假设下，方程表示的校正功能将图像变换为彼此水平平移。校正后，只需要指出图像之间对准时的水平移位就能够解决图像配准问题。但是，由于镜头对准误差，实际中，只有水平方向对准还不能完全配准图像。因此，除了水平平移，还需要进行垂直平移才能完全对准。

确定了经过校正的鱼眼图像的配准参数后， 方程采用水平和垂直平移常数，适当的平移 (xq,yq)，将输出拼接图像的每一像素映射到多幅输入图像的一幅中。很明显，这种映射方法与图像内容无关，而取决于镜头的特性（包括 FOV 和输入图像分辨率）、显示（包括分辨率），以及配准参数等。因此，可以通过在启动时进行一次计算，结果存储为查找表 (LUT)，实现映射。

还有一个失真校正LUT，有些小企业得不到镜头厂家的支持或者节约成本干脆省掉了这个环节。

很明显这个LUT得由镜头厂家提供，所以镜头厂家的地位可是很高滴。从上面的流程中我们可以看出，这种360度全景环视系统技术含量并不高。

这种技术方案的缺点是算法简单，所占运算资源很少，成本很低，缺点是图像缺乏立体感，鲁棒性差，毕竟是静态标定的，再有是4个鱼眼镜头拼接导致视距很短，完全依赖360全景系统仍然不算太安全。有些厂家会增加一级透视变换，就是增加立体感。

使用3D图像引擎（SGX544）生成3D Mesh Table，GPU做Rendering。

富士通提出另一种做法，这就是富士通引以为傲的Wrap Around View，此技术于2009年推出。

富士通采用虚拟曲线半球面投影，而非平面投影，这种投影3D立体感强，视距扩展，失真小，画面更加自然，成本也增加不少。从2009年推出的第一代MB86R01，到2013年推出MB86R24。历经数代，性能越来越强。MB86R24内含两个ARM Cortex-9内核，采用55纳米工艺，运算能力大约为4000DMIPS ，采用PowerVR SGX543 3D图像引擎，富士通2D图像引擎，支持6个全HD摄像头输入。摄像头的FOV不必要求太高，120度也可，这样就可以探测到比较远的物体。 物体靠近侦测Approaching Object Detection功能，一旦有一侧的摄像头侦测到有移动物体变自动切换到那个摄像头覆盖的画面，这个原理很简单，移动物体会让码率增加，简单对比码率即可得知。

富士通运用灵活的时间帧来采集两个不同的图形，能够检测大约40-60米远的目标，传统的图形识别只能做到5-10米。 MB86R24典型应用是在英菲尼迪的高端车上，MB86R24采用672脚的FCBGA封装，当时的样片价格5000日元。富士通预计年销量可达300万片。

上图为MB86R24的内部框架图，当然这款芯片除了360全景也可以做Infotainment、仪表和AR HUD。

英伟达则使用更高大上的技术，用视觉里程计来打造360度环视系统。英伟达认为传统的环视系统都太LOW，特别动态情况下有拖影或者叠影。英伟达使用无人驾驶领域中的视觉里程计技术，使用视频流6DOF来获得高精度的校准参数，使视觉里程计达到实用地步，远超传统的方向盘转角与车辆速度的2DOF校准。

这当然需要强大的GPU来支持，至少是Tk1的级别，这种技术再前进一步就是全自动泊车了。

360全景技术难度不高，关键在于怎么控制成本。360环视系统的成本控制点不在处理器而在连接器和连接线。如果采用数字视频传输，那么一般需要采用LVDS接口，这就需要车规级的LVDS连接器和连接线，每条的价格在6-10美元之间，最顶级的LVDS连接器和连接线据说价格逼近1000元人民币，几乎和低端车机价格相同。为解决这个高成本问题，美信推出MAX9286，MAX9286配合MAX96709，能够用普通同轴电缆代替LVDS，同时实现1.5Gbps的带宽。再有就是采用以太网（EAVB）传输视频，NXP的MPC5604E做MCU，博通的BroadRReach做物理层连接，可以将以太网输入转化为FlexCAN或LINFlex，这是宝马奔驰喜欢用的总线。对高清的支持，EAVB显然性能最佳。当然成本也不低。

低端厂家当然不会有这个麻烦，他们不用数字视频传输，他们是模拟视频接口。当然ADC不可或缺，ADI和Insteril（已被瑞萨收购）有不少低价ADC，如ADV7184，ISL79985，ISL79986，TW6865，TW9966。

360全景系统的标定也是很关键的一环，大家最常见的就是黑白棋盘式校准，高端车则采用框线式。

实际还有很多种。

360环视系统发展空间巨大，目前都采用180度FOV的鱼眼镜头，虽然经过了失真矫正，但不可能达到传统摄像头的效果，图像周边仍然桶形失真明显，3D感也很差。同时鱼眼镜头的有效距离也太短了。未来可能用6到8个90度FOV摄像头取代鱼眼镜头，配合视觉里程计最终发展为全自动泊车。

邀 请 函

尊敬的：_________

进入了2017年，ADAS与无人驾驶领域愈发活跃，2017年1月，德国大陆汽车推出全固态3D Flash Lidar，2月，博世与鸿海投资Flash Lidar公司TetraVue，Waymo指控Uber窃取其激光雷达专利，3月，英特尔153亿美元收购Mobileye。国内方面，纵目科技完成1亿人民币B轮融资，蔚来首款量产车ES8首秀，阿里投资AR HUD厂家Wayray，长安汽车200亿投资无人驾驶。如果说2016年还是观望期的话，2017则是ADAS与无人驾驶大发展时期。同时中国的汽车市场依然表现良好，国产品牌继续高歌猛进。在这一个资产荒的时代，在国家鼓励脱虚向实的时代，毫无疑问，ADAS和无人驾驶是最佳投资标的。

不过ADAS和无人驾驶是全新事物，很多媒体和研究机构对其不够了解，发表一些肤浅甚至错误的文章。为了更好的认识ADAS和无人驾驶，不被眼花缭乱的媒体文章淹没或误导，佐思产研于5月25-26日在上海召开2017ADAS和自动驾驶论坛，大会将聚焦固态激光雷达，双目摄像头，高分辨率毫米波雷达，底盘执行器，嵌入式深度学习系统，高精度地图，自动驾驶测试，ADAS测试等等最热门话题，业内大牛将与大家分享，都是满满的干货，绝无那些假大空的陈词滥调。

期待您及贵司的参与！ 佐思产研 大会组委会

一、会议组织架构

主办单位：佐思产研、佐智汽车

协办单位：上海国际汽车城、国家智能网联汽车（上海）试点示范区

赞助单位：索喜科技、成都安智杰、深圳镭神、深圳自行科技、科比德软件、聚速微波、弘景光电科技、StradVision

支持单位：中国、中科慧眼

二、会议主题

高分辨率毫米波雷达、单目、双目摄像头、激光雷达、ADAS与自动驾驶测试

三、会议时间与地点

2017年5月25日-26日

上海颖奕皇冠假日酒店（上海市嘉定区博园路6555号） 近11号线安亭站

四、参会对象

国内外相关行业机构资深专家，整车企业、零部件企业、半导体芯片企业、开发及测试服务商、证券及投资机构、创业公司。

五、大会日程

2017ADAS与自动驾驶论坛 大会初步日程

以上为初步拟定日程，会务组保留修改调整的权利

咨询参会电话：

(上海 ) 赵先生 18702148304

（北京）符先生 15810027571

回执邮箱：fuzhaoguo@jointwyse.com