㈠ 点云数据处理
三维计算视觉研究内容包括:
(1)三维匹配:两帧或者多帧点云数据之间的匹配,因为激光扫描光束受物体遮挡的原因,不可能通过一次扫描完成对整个物体的三维点云的获取。因此需要从不同的位置和角度对物体进行扫描。三维匹配的目的就是把相邻扫描的点云数据拼接在一起。三维匹配重点关注匹配算法,常用的算法有 最近点迭代算法 ICP 和各种全局匹配算法。
(2)多视图三维重建:计算机视觉中多视图一般利用图像信息,考虑多视几何的一些约束,相关研究目前很火,射影几何和多视图几何是视觉方法的基础。在摄影测量中类似的存在共线方程,光束平差法等研究。这里也将点云的多视匹配放在这里,比如人体的三维重建,点云的多视重建不仅强调逐帧的匹配,还需要考虑不同角度观测产生误差累积,因此也存在一个优化或者平差的过程在里面。通常是通过观测形成闭环进行整体平差实现,多视图重建强调整体优化。可以只使用图像,或者点云,也可以两者结合(深度图像)实现。重建的结果通常是Mesh网格。
(3)3D SLAM:点云匹配(最近点迭代算法 ICP、正态分布变换方法 NDT)+位姿图优化( g2o 、LUM、ELCH、Toro、SPA);实时3D SLAM算法 (LOAM);Kalman滤波方法。3D SLAM通常产生3D点云,或者Octree Map。基于视觉(单目、双目、鱼眼相机、深度相机)方法的SLAM,比如orbSLAM,lsdSLAM...
(4)目标识别:无人驾驶汽车中基于激光数据检测场景中的行人、汽车、自行车、以及道路和道路附属设施(行道树、路灯、斑马线等)。
(5)形状检测与分类:点云技术在逆向工程中有很普遍的应用。构建大量的几何模型之后,如何有效的管理,检索是一个很困难的问题。需要对点云(Mesh)模型进行特征描述,分类。根据模型的特征信息进行模型的检索。同时包括如何从场景中检索某类特定的物体,这类方法关注的重点是模型。
(6)语义分类:获取场景点云之后,如何有效的利用点云信息,如何理解点云场景的内容,进行点云的分类很有必要,需要为每个点云进行Labeling。可以分为基于点的方法,基于分割的分类方法。从方法上可以分为基于监督分类的技术或者非监督分类技术,深度学习也是一个很有希望应用的技术。
(7)立体视觉与立体匹配 ZNCC
(8)SFM(运动恢复结构)
1、点云滤波方法(数据预处理):
双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。
VoxelGrid
2、关键点
ISS3D、Harris3D、NARF
SIFT3D、
3、特征和特征描述
法线和曲率计算 NormalEstimation 、特征值分析Eigen-Analysis、 EGI
PFH、FPFH、3D Shape Context、Spin Image
4、 点云匹配
ICP 、稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP
NDT 3D 、Multil-Layer NDT
FPCS、KFPCS、SAC-IA
Line Segment Matching 、ICL
5、点云分割与分类
分割:区域生长、Ransac线面提取、NDT-RANSAC、
K-Means、Normalize Cut(Context based)
3D Hough Transform(线、面提取)、连通分析、
分类:基于点的分类,基于分割的分类;监督分类与非监督分类
6、SLAM图优化
g2o 、LUM、ELCH、Toro、SPA
SLAM方法:ICP、MBICP、IDC、likehood Field、 Cross Correlation 、NDT
7、目标识别、检索
Hausdorff 距离计算(人脸识别)
8、变化检测
基于八叉树的变化检测
9. 三维重建
泊松重建、Delaunay triangulations
表面重建,人体重建,建筑物重建,树木重建。
实时重建:重建植被或者农作物的4D(3D+时间)生长态势;人体姿势识别;表情识别;
10.点云数据管理
点云压缩,点云索引(KD、Octree),点云LOD(金字塔),海量点云的渲染
点云驱动的计算机图形学主要研究应用
http://vcc.szu.e.cn/research/2015/Points/
㈡ SLAM导航技术在仓储机器人中的应用是怎样的,有没有实际应用的视频和图片
SLAM导航的崛起与发展
SLAM 全称 Simultaneous Localization and Mapping,中文名曰“同步定位与地图构建”,主要用于解决机器人在未知环境运动时的定位和地图构建问题。这更像一个概念,而不是某种算法。它本身包含许多步骤,其中的每一个步骤均可以使用不同的算法实现。
随着市场的不断走高,预计2020年,仓储机器人年销售收入有望超过300亿元,市场定位和产业升级的需求让导航定位成为刻不容缓的任务,SLAM(即时定位与地图构建)作为自主定位导航技术的重要突破口,如何顺势而为?
对仓储机器人来说,完成任务是“大脑”做的事,而导航定位的角色如同“小脑”。假如用金字塔来表示机器人技术,那么定位导航可谓构建仓储机器人的核心关键。传统的定位导航、GPS定位导航、超声波定位导航等或多或少都有缺憾。而SLAM在解决了其运算量巨大、需要PC级别处理器的瓶颈之后,开始乘势而起。
据悉,SLAM技术是机器人在自身位置不确定的条件下,在完全未知环境中创建地图,同时利用地图进行自主定位和导航。但是,在实时定位中由于通过机器人运动估计得到的位置信息通常具有较大的误差,一般需要使用测距单元探测的周围环境信息来更正位置。
激光+SLAM是目前定位导航的主流方式
在激光测距、超声波测距以及图像测距这几种方式中,激光雷达凭借良好的指向性和高度聚焦性,使得激光雷达+SLAM技术相结合的激光SLAM将成主流定位导航方式。一套SLAM采集系统一天可采集5万平方米的室内数据,未来5年,将有500亿平方米的室内空间将以SLAM技术方式被采集,且会以更高效率满足不同应用需要。
SLAM导航通过激光雷达对场景的观测,实时创建地图并修正机器人位置,无需二维码、色带、磁条等人工布设标志物,真正实现对作业环境的零改造。
另一方面,通过激光雷达对障碍物的实时检测,有效规划轨迹避开障碍物,提高人机混合场景的适用和安全性。
通过在M100机器人上搭载不同的功能模块,实现柔性辊道对接、人机交互拣货等系统,提高了机器人本体在不同场景应用中的可拓展性。
㈢ slam算法是什么
SLAM是Simultaneous localization and mapping缩写,意为“同步定位与建图”,主要用于解决机器人在未知环境运动时的定位与地图构建问题。
Simultaneous Localization and Mapping (SLAM)原本是Robotics领域用来做机器人定位的,最早的SLAM算法其实是没有用视觉camera的(Robotics领域一般用Laser Range Finder来做SLAM)。
SLAM对实时性要求比较高,而要做到比较精确、稳定、可靠、适合多种场景的方案一般计算量相对较大,目前移动式设备的计算能力还不足够支撑这么大的计算量,为了达到实时性能,往往需要在精确度和稳定性上做些牺牲。
因此在具体的应用中,往往需要根据移动设备所具有的传感器组合、计算能力、用户场景等,选择和深度定制合适的SLAM算法。比如,无人驾驶汽车和手机端AR类应用的SLAM算法就非常不同。
SLAM的典型应用领域
机器人定位导航领域:地图建模。SLAM可以辅助机器人执行路径规划、自主探索、导航等任务。国内的科沃斯、塔米以及最新面世的岚豹扫地机器人都可以通过用SLAM算法结合激光雷达或者摄像头的方法,让扫地机高效绘制室内地图,智能分析和规划扫地环境,从而成功让自己步入了智能导航的阵列。
VR/AR方面:辅助增强视觉效果。SLAM技术能够构建视觉效果更为真实的地图,从而针对当前视角渲染虚拟物体的叠加效果,使之更真实没有违和感。VR/AR代表性产品中微软Hololens、谷歌ProjectTango以及MagicLeap都应用了SLAM作为视觉增强手段。
无人机领域:地图建模。SLAM可以快速构建局部3D地图,并与地理信息系统(GIS)、视觉对象识别技术相结合,可以辅助无人机识别路障并自动避障规划路径,曾经刷爆美国朋友圈的Hovercamera无人机,就应用到了SLAM技术。
无人驾驶领域:视觉里程计。SLAM技术可以提供视觉里程计功能,并与GPS等其他定位方式相融合,从而满足无人驾驶精准定位的需求。例如,应用了基于激光雷达技术Google无人驾驶车以及牛津大学MobileRoboticsGroup11年改装的无人驾驶汽车野猫(Wildcat)均已成功路测。
以上内容参考:slam路径规划算法 - CSDN