深度图 + RGB图像 转点云 python

要将深度图和RGB图像转换为点云，你可以使用OpenCV库和numpy库。以下是一个Python示例代码，展示了如何将深度图和RGB图像转换为3D点云：

import numpy as np
import cv2
import open3d as o3d
 
# 读取深度图和RGB图像
depth_image = cv2.imread("depth.png", cv2.IMREAD_UNCHANGED)
rgb_image = cv2.imread("rgb.jpg")
 
# 获取相机内参（假设为相同的内参矩阵）
fx = 525.0  # 焦距
fy = 525.0
cx = 319.5
cy = 239.5
 
# 深度图转换为距离图
depth_image = depth_image.astype(np.float32) / 65535.0  # 将16位无符号整数转为32位浮点数，并归一化
distance = (1.0 / depth_image) - 1.0  # 深度图转距离图
 
# 创建点云
point_cloud = o3d.geometry.PointCloud()
 
# 遍历深度图像，计算3D坐标
for v in range(depth_image.shape[0]):
    for u in range(depth_image.shape[1]):
        if depth_image[v, u] == 0:
            continue
        z = distance[v, u]
        x = (u - cx) * z / fx
        y = (v - cy) * z / fy
        point_cloud.points.append([x, y, z])
        point_cloud.colors.append(rgb_image[v, u])
 
# 转换点云到o3d格式
point_cloud.estimate_normals()
 
# 可视化点云
o3d.visualization.draw_geometries([point_cloud])

确保你有相机的内参，这些值取决于你使用的相机型号和相机标定结果。depth.png 和 rgb.jpg 分别是深度图像和RGB图像的文件名，你需要根据你的文件位置进行相应的更改。

这段代码使用了Open3D库来创建和可视化点云。首先，它读取深度图像并将其转换为距离图，然后遍历深度图像中的每个像素，根据相机的内参计算对应的3D坐标，并将颜色信息从RGB图像中提取并添加到点云中。最后，使用Open3D的 estimate_normals() 函数估算点云的法向量，并使用 draw_geometries() 函数显示点云。