DASE 7503 · 中文逐页精讲

Tutorial 7 · 相机、二维码与YOLO目标检测

tutorial/DASE7503 Tutorial 7 2026-27.pdf · 共17页

没有找到对应内容,换一个词试试。

原课件第1页 / 17页建立视觉工作空间并连接相机

Tutorial 7 原课件第1页
点击原页可放大查看

目标是让相机图像进入ROS,再分别交给二维码识别与YOLO检测。先sudo apt update,再安装vision-opencv、image-transport、插件与python3-opencv;它们提供图像转换、传输和OpenCV处理。

加载ROS环境后依次执行:mkdir -p ~/cv_ws/src创建目录;cd ~/cv_ws/src进入;ros2 pkg create --build-type ament_python cv_robotics_tutorial --dependencies rclpy sensor_msgs cv_bridge image_transport std_msgs创建Python包及依赖声明;回到~/cv_ws运行colcon build,再source install/setup.bash加载新包。

在VMware的VM→Removable Devices中把相机Connect给虚拟机,USB Controller选USB3.1。VSCode打开~/cv_ws,在内层cv_robotics_tutorial/目录新建image_publisher.py,与setup.py所在的外层包目录分清。

课堂衔接(11-16 Part01 01:13:28–01:37:03)

老师安排短暂休息后约16:25开始Tutorial 7,主题是ROS中的计算机视觉。把本教程与视觉课件连着学:先理解图像、检测框和模型推理,再看程序如何订阅图像、处理结果并发布。

原课件第2页 / 17页相机发布节点怎样建立

Tutorial 7 原课件第2页
点击原页可放大查看

ImagePublisher(Node)继承ROS节点,super().__init__('image_publisher')给节点命名。QoS深度1、KEEP_LAST只保留最新一帧;BEST_EFFORT优先及时传图,丢帧时不执意等待补齐旧帧。

publisher发布CompressedImage到/camera/image_raw/compressed。cv2.VideoCapture(0)打开编号0的相机;缓冲设1意在减少排队延迟;isOpened检查能否打开。定时器周期0.1s,即目标发布频率10Hz,每次回调用ret, frame=self.cap.read()取一帧。ret表示读取是否成功,frame是由像素组成的数组。创建了CvBridge,但此发布器实际用OpenCV直接编码JPEG。

原课件第3页 / 17页把一帧图像变成ROS消息

Tutorial 7 原课件第3页
点击原页可放大查看

读取成功后创建CompressedImage:header.stamp写当前ROS时间;format写jpeg;cv2.imencode('.jpg',frame)把像素编码成JPEG,第[1]项是编码数据;tobytes()变成字节序列,放进msg.data,再publish。失败时输出读取警告。

main的顺序是初始化ROS→创建节点→spin等待回调→释放相机→关闭ROS。setup.py的console_scripts加入image_publisher = cv_robotics_tutorial.image_publisher:main,左边是命令名,右边是Python模块与入口函数。修改后回工作空间build、source,再ros2 run cv_robotics_tutorial image_publisher。ros2 topic list应出现相机话题;可再用ros2 topic hz /camera/image_raw/compressed看是否持续发帧。

原课件第4页 / 17页二维码节点先接图,再解码

Tutorial 7 原课件第4页
点击原页可放大查看

新建qr_scanner.py。QRScanner订阅同一个CompressedImage话题,消息类型、话题和QoS与发布端对应。CvBridge负责把ROS压缩图像解码成OpenCV数组,desired_encoding='bgr8'表示蓝、绿、红三通道、每通道8位。

cv2.QRCodeDetector()建立二维码检测器。收到一帧后,listener_callback先尝试图像转换;转换异常就记录错误并return,结束这一帧处理。这样后面检测器获得的是有效的像素图,而非直接拿JPEG字节当图像矩阵。订阅器与detector在初始化时建立,图像处理在每次回调执行。

原课件第5页 / 17页二维码内容、边框与显示窗口

Tutorial 7 原课件第5页
点击原页可放大查看

detectAndDecode返回解码文字data、角点bbox和矫正图像;下划线表示本程序不使用第三项。data非空就打印二维码内容,否则打印未检出。imshow显示图像,waitKey(1)让窗口处理刷新事件;main中spin持续接收图像,退出后关闭窗口。console_scripts添加qr_scanner入口。

原页画框循环需要改:单二维码bbox常为(1,4,2),len(bbox)是1,并非4;原代码会把第一个角点连回自己。保留原来的if bbox is not None:判断,在它里面把画线循环改为:

pts = bbox.reshape(-1, 2).astype(int)
for i in range(len(pts)):
    a = tuple(pts[i])
    b = tuple(pts[(i + 1) % len(pts)])
    cv2.line(cv_image, a, b, (0, 255, 0), 2)

取模让最后一个点连接第一个点,绿色线宽2像素。四个点分别连成四条边,才得到完整二维码框。

参考:OpenCV二维码检测与四角点接口。

用四角点(10,10)、(110,10)、(110,110)、(10,110)代入:i=0连第0→1点,i=1连1→2,i=2连2→3,i=3时(3+1)%4=0,连3→0闭合。reshape只改变角点数组的排列方式,不改变坐标数值。

原课件第6页 / 17页启动扫码,准备YOLO模型

Tutorial 7 原课件第6页
点击原页可放大查看

重新build并source后运行ros2 run cv_robotics_tutorial qr_scanner。同时保持image_publisher在另一个终端运行,二维码节点才能不断收到图片。把二维码置于画面中,查看终端解码文字和窗口边框;文字内容来自码中编码的数据。

进入目标检测部分,先停止旧节点。在课件的 Python 3.12 环境里,可把 OpenCV 与 NumPy 一起锁定到兼容版本:

python3 -m pip install --break-system-packages onnxruntime "opencv-python==4.11.0.86" "numpy==1.26.4"

这里把 OpenCV 固定在兼容 NumPy 1.26 的版本,避免让新版 OpenCV 和旧版 NumPy 在同一个环境中冲突。onnxruntime负责执行ONNX模型,OpenCV处理图像,NumPy处理数组。--break-system-packages是允许pip改动系统Python环境的选项,本教程在课程VM里使用。把给定yolov8n.onnx放入内层包的models目录,再建立coco_classes.py保存标签表;这一步是准备已有模型,不是训练模型。

原课件第7页 / 17页类别表与YOLO节点入口

Tutorial 7 原课件第7页
点击原页可放大查看

本页续完COCO_CLASSES标签列表,共80类,包括人、交通工具、动物、日常用品、食物、家具、电器等。模型输出类别编号,列表把编号变成可读名称;Python从0开始,所以0→person,1→bicycle。列表顺序必须与训练模型一致,不能把它按字母重新排序。

新建yolo_onnx_detector.py。rclpy建节点,CompressedImage收发图,cv2与np处理图像/数组,ort执行模型,os找文件,get_package_share_directory找安装后的资源,.coco_classes导入同包标签。YOLOONNXDetector初始化时先声明model_path参数,留给命令行指定模型位置。

原课件第8页 / 17页参数与模型路径查找

Tutorial 7 原课件第8页
点击原页可放大查看

confidence_threshold=0.5过滤低分候选;iou_threshold=0.45用于后面的重叠框筛选;show_window=True控制显示;input_size=640指定输入图像边长。declare_parameter提供默认值,get_parameter读取最终生效值。

若model_path为空,先查~/cv_ws/src/cv_robotics_tutorial/cv_robotics_tutorial/models/yolov8n.onnx;找不到再查安装包share目录下models。expanduser展开~,join拼路径,exists检查文件。第二条路径要生效,模型文件需在打包配置里安装到share;本教程把模型放在源目录时,第一条路径即可找到。

原课件第9页 / 17页把ONNX文件加载为推理会话

Tutorial 7 原课件第9页
点击原页可放大查看

若几条路径都找不到模型,记录明确路径并抛FileNotFoundError,便于定位缺哪个文件。找到后ort.InferenceSession(model_path,providers=['CPUExecutionProvider'])加载模型,使用CPU计算。

get_inputs()[0].name读取模型第一个输入名字;get_outputs读取输出名字。推理时要以这些名字把数组送到正确接口。标签表存入class_names;创建CvBridge和深度1、BEST_EFFORT的QoS。加载模型发生在节点初始化阶段,不需要每收到一帧都重新读磁盘。

原课件第10页 / 17页输入话题、输出话题与预处理

Tutorial 7 原课件第10页
点击原页可放大查看

节点订阅/camera/image_raw/compressed,发布画框图到/yolo/detections/compressed。输入是相机JPEG,输出是检测标注后的JPEG,两者不是同一话题。

preprocess依次做:①resize到640×640;②BGR转RGB;③转float32并除255,把0–255变成0–1;④transpose将H×W×3改成3×H×W;⑤expand_dims加批次维度,得到1×3×640×640。每一步都为匹配模型输入格式。这里直接拉伸图像;还原检测框时按横纵两个比例缩回。若换成要求letterbox的模型,要同步修改预处理及坐标还原。

把1×3×640×640念成“一张图、三个颜色通道、每个通道640行640列”。原来一个像素的RGB放在一起,transpose后把所有R放一层、所有G放一层、所有B放一层。例如原值255除255得到1.0,原值128除255约0.502;这是数值缩放,不是把图片变暗后再给人看。

原课件第11页 / 17页读懂8400个候选框

Tutorial 7 原课件第11页
点击原页可放大查看

本例预期输出形状(1,84,8400):1张图、每候选84个值、8400个候选。squeeze去掉大小为1的批次维,转置得到(8400,84),每一行就是一个候选。

前4列是中心x、中心y、宽、高;后80列是类别分数。argmax给最高分对应的类别编号,max给该分数;布尔mask只保留高于0.5的候选。它们还是候选框,同一物体可能对应多个框。

设模型输入640×640,原图1280×720,则scale_x=2、scale_y=1.125。中心(320,320)、宽100、高200:左上模型坐标(270,220),缩回为(540,247.5);右下(370,420)缩回为(740,472.5),转整数后用于画框。

对上一算例再算框的宽高:原图左上(540,247)、右下(740,472),宽=740−540=200,高=472−247=225。绘图函数用两个角点;下一页NMS接口用左上角加宽高。两种格式描述同一个框,只是四个数字的含义不同。

原课件第12页 / 17页NMS去重,以及框格式纠正

Tutorial 7 原课件第12页
点击原页可放大查看

上一页得到角点框[x1,y1,x2,y2]。NMS先选分数最高的框,再删与它重叠过大的候选。从剩余候选选出最高分再做一轮,一直重复到候选为空。IoU是交集面积/并集面积,阈值0.45决定“多大重叠算重复”。返回indices是保留项编号,用它同时筛选框、分数和类别,三者才能继续一一对应。

原页把角点框直接传给NMSBoxes,但该接口的Rect格式是[x,y,width,height]。先转换再调用:

nms_boxes = [[x1, y1, x2-x1, y2-y1]
             for x1, y1, x2, y2 in boxes_xyxy]
indices = cv2.dnn.NMSBoxes(
    nms_boxes, confidences.tolist(),
    self.conf_threshold, self.iou_threshold)

画框继续使用保留下来的原xyxy即可。对不同类别分别NMS,可避免位置接近但类别不同的目标互相抑制;本页原写法把全部类别放在一起。

参考:OpenCV NMSBoxes、Rect坐标与宽高定义。

数值例子:框A从(100,100)到(200,200),分数0.9;框B从(110,110)到(210,210),分数0.8。交集宽=200−110=90、高90,面积8100;两框各10000,并集=10000+10000−8100=11900;IoU=8100/11900≈0.681。0.681>0.45,因此保留高分A、去掉低分B。A送给NMS时应写[100,100,100,100]。

原课件第13页 / 17页画标签,再串起单帧处理流程

Tutorial 7 原课件第13页
点击原页可放大查看

draw_detections按zip同时取一个框、分数和类别;rectangle用两个角点画绿色边框;标签形如person: 0.87,.2f保留两位小数。getTextSize算文字占多大区域,再画实心背景和黑字,使标签容易看清。

image_callback的顺序是:msg.data字节→frombuffer建立uint8视图→imdecode解码成BGR帧→记录原图尺寸→preprocess→session.run推理→postprocess筛框→draw_detections画结果。推理参数字典用模型输入名作为键、预处理数组作为值。解码后应先检查frame是否为None,再读取shape,避免无效JPEG导致后续处理失败。

原课件第14页 / 17页发布标注图与退出清理

Tutorial 7 原课件第14页
点击原页可放大查看

检测结果先画到frame.copy(),保留原帧像素。若有目标,把每个类别和分数加入列表,join后打印成一条检测日志。随后新建CompressedImage,复制原header保留拍摄时间,format设jpeg,把标注图重新JPEG编码成字节并发布。

show_window为真才imshow与waitKey;关闭显示时仍可通过输出话题取图。异常由except记录当前帧处理错误。自定义destroy_node先关闭OpenCV窗口,再调用父类清理ROS节点。终端日志、显示窗口、输出图像话题是三条不同的观察路径。

原课件第15页 / 17页注册入口、编译并启动相机

Tutorial 7 原课件第15页
点击原页可放大查看

main先初始化ROS并创建YOLO节点,在try中spin;Ctrl+C触发KeyboardInterrupt后,finally仍会清理节点并关闭ROS。if __name__=='__main__'让脚本直接运行时进入main。

setup.py的console_scripts加入yolo_detector = cv_robotics_tutorial.yolo_onnx_detector:main,注意命令名是yolo_detector,文件模块名是yolo_onnx_detector。回~/cv_ws运行colcon build --packages-select cv_robotics_tutorial,再source install/setup.bash。先在一个终端运行image_publisher,确保相机持续产图,再启动检测节点。

终端A先启动image_publisher并保持运行;终端B再启动yolo_detector。若在同一个终端按Ctrl+C停止发布器后才运行检测器,检测器没有新图可处理,窗口自然不会持续更新。

原课件第16页 / 17页启动检测并理解结果

Tutorial 7 原课件第16页
点击原页可放大查看

另开终端,cd ~/cv_ws,加载install/setup.bash,执行ros2 run cv_robotics_tutorial yolo_detector。它会加载模型、订阅相机图,随后显示检测窗口并输出类别和分数。

完整链条是相机→image_publisher→压缩图像话题→YOLO节点→标注图话题。若模型找不到,可以用ROS参数直接指定:ros2 run cv_robotics_tutorial yolo_detector --ros-args -p model_path:=/完整路径/yolov8n.onnx。看结果时同时检查框是否围住正确物体、类别是否正确、帧是否明显滞后;类别分数是模型评分,不能直接当成“87%的现实正确率”。

原课件第17页 / 17页参考资料分别解决什么问题

Tutorial 7 原课件第17页
点击原页可放大查看

micro-ROS Arduino资料对应前几次ESP32教程的设备通信;ROS2 Jazzy教程对应本次节点、话题、包结构和构建方法。上一页还列OpenCV和YOLO资料,分别用于图像接口与模型说明。

复习本教程时,从一张图追到底:JPEG怎样进话题→怎样解回像素→怎样变成1×3×640×640→模型怎样输出框与分数→怎样过滤、去重并画回原图。只要能逐步说出每一步的数据形状与用途,就掌握了这套视觉节点的主流程。