深度相机(3D相机)点云生成

2023-03-12

引言

之前做工业机器人公司搞视觉接触了很多3D相机，这里记录一下这些相机点云的生成，以及各种类型相机的一些基础实现原理。我用过的有单目结构光相机，双目结构光，TOF相机，线扫相机(自研)，多视角相机(自研)。
首先深度相机一般畸变都比较小，当然如果自己不放心可以标定看看结果。如果深度相机是自己买模组然后调教生成点云那就一定逃不了校准标定了。

相机成像原理

graph TB
A[世界坐标系] --> |刚体变换| B[相机坐标系]
B --> |透视投影| C[理想图像坐标系]
C --> |畸变矫正| D[真实图像坐标]
D --> |数字化图像| E[数字化图像坐标系]

相机的图像有时候会出现
修正图像需要相机两种参数：

相机的内部参数。例如镜头的焦距，光学中心和径向畸变系数。
外部参数：这是指摄像机相对于某些世界坐标系的方向（旋转和平移）

相机校准

OpenCV给出了非常详细的操作步骤可以参考这里，下载棋盘格去opencv官网如下：
。
more >>

查看全文 >>

PCL 点云常用方法及配准

2023-02-28

点云配准汇总

配准比较常用的套路就是法线提取，然后fpfh特征提取，粗配准，最后再来精配准，基本就能得到比较准确的旋转矩阵和模板点云配上。

特征提取

轮廓提取

#include <pcl/features/boundary.h>

/// <summary>
/// 轮廓计算
/// </summary>
/// <param name="cloud_in">输入点云</param>
/// <param name="normals_in">输入法线</param>
/// <param name="radius">半径</param>
/// <param name="angle">角度</param>
/// <param name="cloud_out">输出点云</param>
void boundaryEstimationFeatures(pcl::PointCloud<pcl::PointXYZ>::Ptr cloud_in, pcl::PointCloud<pcl::Normal>::Ptr normals_in, pcl::PointCloud<pcl::PointXYZ>::Ptr& cloud_out, double radius, float angle) {
    pcl::BoundaryEstimation<pcl::PointXYZ, pcl::Normal, pcl::Boundary> be;
    be.setInputCloud(cloud_in);
    be.setInputNormals(normals_in);
    pcl::search::KdTree<pcl::PointXYZ>::Ptr tree(new pcl::search::KdTree<pcl::PointXYZ>);
    tree->setInputCloud(cloud_in);
    //设置搜索时所用的球半径,参数radius为设置搜索球体半径
    be.setRadiusSearch(radius);
    //设置搜索时近邻的来源点云,参数cloud指向搜索时被搜索的点云对象,常常用稠密的原始点云,而不用稀疏的下采样后的点云,在特征描述和提取中查询点往往是关键点
    //be.setSearchSurface(overlap_cloud);
    //设置搜索时所用的k近邻个数,参数k为设置搜索近邻个数
    //be.setKSearch(k);

    //设置将点标记为边界或规则的决定边界(角度阈值)。
    be.setAngleThreshold(angle);
    pcl::PointCloud<pcl::Boundary>::Ptr boundarys(new pcl::PointCloud<pcl::Boundary>());
    be.compute(*boundarys);
    for (size_t i = 0; i < cloud_in->size(); i++)
    {
        if ((*boundarys)[i].boundary_point > 0) {
            cloud_out->points.push_back(cloud_in->points[i]);
        }
    }
}

more >>

查看全文 >>

PCL 点云滤波及分割汇总

2023-02-27

点云滤波汇总

立方体滤波

首先是最简单的容易理解的立方体的剪裁滤波，根据对角点确定一个立方体然后获取立方体内或外的点，并且还可以在这立方体基础上加平移或旋转，因为根据两个点确立的立方体只是坐标轴正方向的，不一定能满足所有需求。

#include <pcl/filters/crop_box.h>
/// <summary>
/// 立方体滤波
/// </summary>
/// <param name="cloud_in">输入点云</param>
/// <param name="cloud_out">输出点云</param>
/// <param name="min">最小点位 x y z 1</param>
/// <param name="max">最大点位 x y z 1</param>
/// <param name="negative">默认值为 false，输出点云为在设定字段的设定范围内的点集，如果设置为 true 则刚好相反</param>
void cropFilter(pcl::PointCloud<pcl::PointXYZ>::Ptr cloud_in, pcl::PointCloud<pcl::PointXYZ>::Ptr &cloud_out, Eigen::Vector4f min, Eigen::Vector4f max, bool negative) {
    pcl::CropBox<pcl::PointXYZ> box_filter;						//滤波器对象
    box_filter.setMin(min);	//Min和Max是指立方体的两个对角点。每个点由一个四维向量表示，通常最后一个是1.
    box_filter.setMax(max);
    //box_filter.setRotation(rotation); //旋转 rx ry rz
    //box_filter.setTranslation(tanslation);//仿射矩阵 Affine3f 旋转加平移
    //box_filter.setTransform(transformax);//平移 tx ty tz
    box_filter.setNegative(negative);
    box_filter.setInputCloud(cloud_in);
    box_filter.filter(*cloud_out);
}

more >>

查看全文 >>

OLLVM代码混淆移植与使用(再续)

2022-04-09

前言

这波主要自己闲下来了，帮之前兼职区块链公司搞定了Android和iOS的BLE无网通信请了假，准备去自考本科最后四门，结果疫情太厉害直接取消了，本来还想着年中就可以申请毕业直接再准备一下考研请的是长假。。。结果计划永远赶不上变化，毕竟搞学历对现在的自己只是解个心结去个遗憾，对自己工作生活没啥用调整好情绪重新继续正经创业或工作吧，借着长假的时间思考思考人生，搞一搞之前没空处理的遗留项目。下面就直接进入主题把！

关键修改

Legacy PM模式不生效

现在由于默认是NEW PM所以经常有人邮件我移植很完美编译也成功，就是没效果，这里做一下解答。主要两种方式解决，一种是在cmake的时候加一下-DLLVM_ENABLE_NEW_PASS_MANAGER=OFF来禁用掉NEW PM，这样在编译完成后使用的时候就可以了，还有一种就是走默认开启这，然后用ollvm编译自己项目时加上-flegacy-pass-manager的cflag，再加-mllvm原来哪些就可以正常使用了

14.0以后的修改

主要是StringObfuscation.cpp里面的两个地方，第一个是宏的修改编译时机，第二个就是CreateGEP,CreateLoad等多个方法需要传递指针类型了，原来不传会设置为null到了13.0里就开始内部通过对象获取类型，就像修改的这样，到了14.0干脆就是强制你必须传类型了。

more >>

查看全文 >>

Mesh组网与智能路由器系统

2021-12-06

Mesh路由系统

这里首先记录下当时调研的一些路由器系统，这方面的资料再网上比较少。

开源的智能路由系统其实挺多不少这个后面再说，比较偏向专业Mesh组网的智能路由系统比较少下面就列一下我了解到的几个还不错的。

1.libremesh

http://libremesh.org/
支持各种漫游协议，各种连接方法，固件支持常见路由，但7620系统无线有bug，mini系统有简易配置页面，全系统可设置更改全面协议，理论上只要设备足，覆盖一个城都没有问题，而且最牛逼的是持续更新开发者都很活跃，参与人较多，文档较全，而且有每月互动email可以演习。我们当时户外版就是采用的这个系统，这倒是跟区块链很配绝对去中心，而且是完全自治独立于现有互联网的平行网络。

more >>

查看全文 >>