V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zemora
V2EX  ›  分享发现

做了一个无人车的环视系统

  •  
  •   zemora · 2019-10-24 22:47:45 +08:00 · 2498 次点击
    这是一个创建于 1886 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在单位的无人小车上面开发了一个环视系统的 demo 程序,硬件配置就是传统的四个环视鱼眼相机,实现了如下功能:

    1. 将四路鱼眼相机的图像拼接为 360 度全景图,并从中检测车道线 /车位线。
    2. 用神经网络检测四周的障碍物,判断人、车、柱子。

    其中全景图的效果视频可以见

    https://weibo.com/tv/v/Id1J4lXnX?fid=1034:4431048889584339

    代码是用纯 python (配合 opencv) 写的,可以流畅运行在 Xavier AGX 上 (每个相机固定为 640x480 分辨率),目前正在转 C++,希望用 Qt 做一个漂亮的界面。

    其实目前环视系统开发最大的门槛就在标定和拼接上,一旦能拼出毫无缝隙的全景图,后面做车道 /车位检测就容易多了。

    这个小车可以作为巡逻车使用,只需要把神经网络换成识别车牌或者人脸的非法车辆 /非法访客,也可以变成零售车,只需要加上识别手势的功能。

    不过目前搭载的一个 AGX 做不了太多的事情。

    后面我会写一个教程来介绍具体步骤并放出 Python 代码,这个无法作为产品使用,仅作为学习参考。

    7 条回复    2019-10-25 16:07:40 +08:00
    IC0ZB
        1
    IC0ZB  
       2019-10-25 01:04:17 +08:00 via iPhone
    厉害呀
    dangyuluo
        2
    dangyuluo  
       2019-10-25 05:19:13 +08:00
    不错啊,希望楼主分享下 python 代码😁谢谢
    clino
        3
    clino  
       2019-10-25 07:47:03 +08:00 via Android
    感觉挺厉害
    designer
        4
    designer  
       2019-10-25 08:59:37 +08:00 via iPhone
    厉害,让他自己学习个十年看下能不能成精(意识觉醒)
    zemora
        5
    zemora  
    OP
       2019-10-25 11:20:31 +08:00
    @dangyuluo 后面会的,现在一些视觉算法还在测试阶段,一旦成熟了就公布 python 代码
    zzugyl
        6
    zzugyl  
       2019-10-25 14:53:44 +08:00
    微博视频是拼接的?厉害啊,比我用的全景相机拼接的还完美。
    zemora
        7
    zemora  
    OP
       2019-10-25 16:07:40 +08:00
    @zzugyl 四个相机的图像拼起来的,自信看能看出来前方的相机曝光稍微暗一些
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3353 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 11:55 · PVG 19:55 · LAX 03:55 · JFK 06:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.