没有找到对应内容,换一个词试试。
原课件第1页 / 17页建立视觉工作空间并连接相机

目标是让相机图像进入ROS,再分别交给二维码识别与YOLO检测。先sudo apt update,再安装vision-opencv、image-transport、插件与python3-opencv;它们提供图像转换、传输和OpenCV处理。
加载ROS环境后依次执行:mkdir -p ~/cv_ws/src创建目录;cd ~/cv_ws/src进入;ros2 pkg create --build-type ament_python cv_robotics_tutorial --dependencies rclpy sensor_msgs cv_bridge image_transport std_msgs创建Python包及依赖声明;回到~/cv_ws运行colcon build,再source install/setup.bash加载新包。
在VMware的VM→Removable Devices中把相机Connect给虚拟机,USB Controller选USB3.1。VSCode打开~/cv_ws,在内层cv_robotics_tutorial/目录新建image_publisher.py,与setup.py所在的外层包目录分清。
课堂衔接(11-16 Part01 01:13:28–01:37:03)
老师安排短暂休息后约16:25开始Tutorial 7,主题是ROS中的计算机视觉。把本教程与视觉课件连着学:先理解图像、检测框和模型推理,再看程序如何订阅图像、处理结果并发布。
原课件第2页 / 17页相机发布节点怎样建立

ImagePublisher(Node)继承ROS节点,super().__init__('image_publisher')给节点命名。QoS深度1、KEEP_LAST只保留最新一帧;BEST_EFFORT优先及时传图,丢帧时不执意等待补齐旧帧。
publisher发布CompressedImage到/camera/image_raw/compressed。cv2.VideoCapture(0)打开编号0的相机;缓冲设1意在减少排队延迟;isOpened检查能否打开。定时器周期0.1s,即目标发布频率10Hz,每次回调用ret, frame=self.cap.read()取一帧。ret表示读取是否成功,frame是由像素组成的数组。创建了CvBridge,但此发布器实际用OpenCV直接编码JPEG。
原课件第3页 / 17页把一帧图像变成ROS消息

读取成功后创建CompressedImage:header.stamp写当前ROS时间;format写jpeg;cv2.imencode('.jpg',frame)把像素编码成JPEG,第[1]项是编码数据;tobytes()变成字节序列,放进msg.data,再publish。失败时输出读取警告。
main的顺序是初始化ROS→创建节点→spin等待回调→释放相机→关闭ROS。setup.py的console_scripts加入image_publisher = cv_robotics_tutorial.image_publisher:main,左边是命令名,右边是Python模块与入口函数。修改后回工作空间build、source,再ros2 run cv_robotics_tutorial image_publisher。ros2 topic list应出现相机话题;可再用ros2 topic hz /camera/image_raw/compressed看是否持续发帧。
原课件第4页 / 17页二维码节点先接图,再解码
原课件第5页 / 17页二维码内容、边框与显示窗口

detectAndDecode返回解码文字data、角点bbox和矫正图像;下划线表示本程序不使用第三项。data非空就打印二维码内容,否则打印未检出。imshow显示图像,waitKey(1)让窗口处理刷新事件;main中spin持续接收图像,退出后关闭窗口。console_scripts添加qr_scanner入口。
原页画框循环需要改:单二维码bbox常为(1,4,2),len(bbox)是1,并非4;原代码会把第一个角点连回自己。保留原来的if bbox is not None:判断,在它里面把画线循环改为:
pts = bbox.reshape(-1, 2).astype(int)
for i in range(len(pts)):
a = tuple(pts[i])
b = tuple(pts[(i + 1) % len(pts)])
cv2.line(cv_image, a, b, (0, 255, 0), 2)
取模让最后一个点连接第一个点,绿色线宽2像素。四个点分别连成四条边,才得到完整二维码框。
用四角点(10,10)、(110,10)、(110,110)、(10,110)代入:i=0连第0→1点,i=1连1→2,i=2连2→3,i=3时(3+1)%4=0,连3→0闭合。reshape只改变角点数组的排列方式,不改变坐标数值。
原课件第6页 / 17页启动扫码,准备YOLO模型

重新build并source后运行ros2 run cv_robotics_tutorial qr_scanner。同时保持image_publisher在另一个终端运行,二维码节点才能不断收到图片。把二维码置于画面中,查看终端解码文字和窗口边框;文字内容来自码中编码的数据。
进入目标检测部分,先停止旧节点。在课件的 Python 3.12 环境里,可把 OpenCV 与 NumPy 一起锁定到兼容版本:
python3 -m pip install --break-system-packages onnxruntime "opencv-python==4.11.0.86" "numpy==1.26.4"
这里把 OpenCV 固定在兼容 NumPy 1.26 的版本,避免让新版 OpenCV 和旧版 NumPy 在同一个环境中冲突。onnxruntime负责执行ONNX模型,OpenCV处理图像,NumPy处理数组。--break-system-packages是允许pip改动系统Python环境的选项,本教程在课程VM里使用。把给定yolov8n.onnx放入内层包的models目录,再建立coco_classes.py保存标签表;这一步是准备已有模型,不是训练模型。
原课件第7页 / 17页类别表与YOLO节点入口

本页续完COCO_CLASSES标签列表,共80类,包括人、交通工具、动物、日常用品、食物、家具、电器等。模型输出类别编号,列表把编号变成可读名称;Python从0开始,所以0→person,1→bicycle。列表顺序必须与训练模型一致,不能把它按字母重新排序。
新建yolo_onnx_detector.py。rclpy建节点,CompressedImage收发图,cv2与np处理图像/数组,ort执行模型,os找文件,get_package_share_directory找安装后的资源,.coco_classes导入同包标签。YOLOONNXDetector初始化时先声明model_path参数,留给命令行指定模型位置。
原课件第8页 / 17页参数与模型路径查找

confidence_threshold=0.5过滤低分候选;iou_threshold=0.45用于后面的重叠框筛选;show_window=True控制显示;input_size=640指定输入图像边长。declare_parameter提供默认值,get_parameter读取最终生效值。
若model_path为空,先查~/cv_ws/src/cv_robotics_tutorial/cv_robotics_tutorial/models/yolov8n.onnx;找不到再查安装包share目录下models。expanduser展开~,join拼路径,exists检查文件。第二条路径要生效,模型文件需在打包配置里安装到share;本教程把模型放在源目录时,第一条路径即可找到。
原课件第9页 / 17页把ONNX文件加载为推理会话
原课件第10页 / 17页输入话题、输出话题与预处理

节点订阅/camera/image_raw/compressed,发布画框图到/yolo/detections/compressed。输入是相机JPEG,输出是检测标注后的JPEG,两者不是同一话题。
preprocess依次做:①resize到640×640;②BGR转RGB;③转float32并除255,把0–255变成0–1;④transpose将H×W×3改成3×H×W;⑤expand_dims加批次维度,得到1×3×640×640。每一步都为匹配模型输入格式。这里直接拉伸图像;还原检测框时按横纵两个比例缩回。若换成要求letterbox的模型,要同步修改预处理及坐标还原。
把1×3×640×640念成“一张图、三个颜色通道、每个通道640行640列”。原来一个像素的RGB放在一起,transpose后把所有R放一层、所有G放一层、所有B放一层。例如原值255除255得到1.0,原值128除255约0.502;这是数值缩放,不是把图片变暗后再给人看。
原课件第11页 / 17页读懂8400个候选框

本例预期输出形状(1,84,8400):1张图、每候选84个值、8400个候选。squeeze去掉大小为1的批次维,转置得到(8400,84),每一行就是一个候选。
前4列是中心x、中心y、宽、高;后80列是类别分数。argmax给最高分对应的类别编号,max给该分数;布尔mask只保留高于0.5的候选。它们还是候选框,同一物体可能对应多个框。
设模型输入640×640,原图1280×720,则scale_x=2、scale_y=1.125。中心(320,320)、宽100、高200:左上模型坐标(270,220),缩回为(540,247.5);右下(370,420)缩回为(740,472.5),转整数后用于画框。
对上一算例再算框的宽高:原图左上(540,247)、右下(740,472),宽=740−540=200,高=472−247=225。绘图函数用两个角点;下一页NMS接口用左上角加宽高。两种格式描述同一个框,只是四个数字的含义不同。
原课件第12页 / 17页NMS去重,以及框格式纠正

上一页得到角点框[x1,y1,x2,y2]。NMS先选分数最高的框,再删与它重叠过大的候选。从剩余候选选出最高分再做一轮,一直重复到候选为空。IoU是交集面积/并集面积,阈值0.45决定“多大重叠算重复”。返回indices是保留项编号,用它同时筛选框、分数和类别,三者才能继续一一对应。
原页把角点框直接传给NMSBoxes,但该接口的Rect格式是[x,y,width,height]。先转换再调用:
nms_boxes = [[x1, y1, x2-x1, y2-y1]
for x1, y1, x2, y2 in boxes_xyxy]
indices = cv2.dnn.NMSBoxes(
nms_boxes, confidences.tolist(),
self.conf_threshold, self.iou_threshold)
画框继续使用保留下来的原xyxy即可。对不同类别分别NMS,可避免位置接近但类别不同的目标互相抑制;本页原写法把全部类别放在一起。
参考:OpenCV NMSBoxes、Rect坐标与宽高定义。
数值例子:框A从(100,100)到(200,200),分数0.9;框B从(110,110)到(210,210),分数0.8。交集宽=200−110=90、高90,面积8100;两框各10000,并集=10000+10000−8100=11900;IoU=8100/11900≈0.681。0.681>0.45,因此保留高分A、去掉低分B。A送给NMS时应写[100,100,100,100]。
原课件第13页 / 17页画标签,再串起单帧处理流程

draw_detections按zip同时取一个框、分数和类别;rectangle用两个角点画绿色边框;标签形如person: 0.87,.2f保留两位小数。getTextSize算文字占多大区域,再画实心背景和黑字,使标签容易看清。
image_callback的顺序是:msg.data字节→frombuffer建立uint8视图→imdecode解码成BGR帧→记录原图尺寸→preprocess→session.run推理→postprocess筛框→draw_detections画结果。推理参数字典用模型输入名作为键、预处理数组作为值。解码后应先检查frame是否为None,再读取shape,避免无效JPEG导致后续处理失败。
原课件第14页 / 17页发布标注图与退出清理
原课件第15页 / 17页注册入口、编译并启动相机

main先初始化ROS并创建YOLO节点,在try中spin;Ctrl+C触发KeyboardInterrupt后,finally仍会清理节点并关闭ROS。if __name__=='__main__'让脚本直接运行时进入main。
setup.py的console_scripts加入yolo_detector = cv_robotics_tutorial.yolo_onnx_detector:main,注意命令名是yolo_detector,文件模块名是yolo_onnx_detector。回~/cv_ws运行colcon build --packages-select cv_robotics_tutorial,再source install/setup.bash。先在一个终端运行image_publisher,确保相机持续产图,再启动检测节点。
终端A先启动image_publisher并保持运行;终端B再启动yolo_detector。若在同一个终端按Ctrl+C停止发布器后才运行检测器,检测器没有新图可处理,窗口自然不会持续更新。
原课件第16页 / 17页启动检测并理解结果

另开终端,cd ~/cv_ws,加载install/setup.bash,执行ros2 run cv_robotics_tutorial yolo_detector。它会加载模型、订阅相机图,随后显示检测窗口并输出类别和分数。
完整链条是相机→image_publisher→压缩图像话题→YOLO节点→标注图话题。若模型找不到,可以用ROS参数直接指定:ros2 run cv_robotics_tutorial yolo_detector --ros-args -p model_path:=/完整路径/yolov8n.onnx。看结果时同时检查框是否围住正确物体、类别是否正确、帧是否明显滞后;类别分数是模型评分,不能直接当成“87%的现实正确率”。



