Example: 01-Camera/08-Readout-Control/100_fps_ir_led_tracking.py

# 本作品采用MIT许可证授权。
# 版权所有 (c) 2013-2023 OpenMV LLC。保留所有权利。
# https://github.com/openmv/openmv/blob/master/LICENSE
#
# 这个示例展示了如何使用读出窗口控制来读取相机的一小部分
# 以非常高的速度读取传感器像素数组并移动该读出窗口。

# 此示例是在使用OV5640传感器的OpenMV Cam H7 Plus上设计和测试的。

import sensor
import time

EXPOSURE_MICROSECONDS = 1000
TRACKING_THRESHOLDS = [(128, 255)]  # 当你降低曝光时，所有东西都会变暗。

SEARCHING_RESOLUTION = sensor.VGA
SEARCHING_AREA_THRESHOLD = 16
SEARCHING_PIXEL_THRESHOLD = SEARCHING_AREA_THRESHOLD

TRACKING_RESOLUTION = sensor.QQVGA
TRACKING_AREA_THRESHOLD = 256
TRACKING_PIXEL_THRESHOLD = TRACKING_AREA_THRESHOLD

TRACKING_EDGE_TOLERANCE = 0.05  # Blob可以移动5%远离中心。

sensor.reset()  # 重置并初始化传感器。
sensor.set_pixformat(sensor.GRAYSCALE)  # 将像素格式设置为灰度
sensor.set_framesize(SEARCHING_RESOLUTION)
sensor.skip_frames(time=1000)  # 等待设置生效。
clock = time.clock()  # 创建一个时钟对象来跟踪FPS。

sensor.set_auto_gain(False)  # 关闭它，因为它会振荡。
sensor.set_auto_exposure(False, exposure_us=EXPOSURE_MICROSECONDS)
sensor.skip_frames(time=1000)

# sensor_w和sensor_h是图像传感器的原始像素宽度/高度（x/y最初为0）。
x, y, sensor_w, sensor_h = sensor.ioctl(sensor.IOCTL_GET_READOUT_WINDOW)

while True:
    clock.tick()
    img = sensor.snapshot()

    # 我们需要找到一个IR对象来跟踪——它可能会非常亮。
    blobs = img.find_blobs(
        TRACKING_THRESHOLDS,
        area_threshold=SEARCHING_AREA_THRESHOLD,
        pixels_threshold=SEARCHING_PIXEL_THRESHOLD,
    )

    if len(blobs):
        most_dense_blob = max(blobs, key=lambda x: x.density())
        img.draw_rectangle(most_dense_blob.rect())

        def get_mapped_centroid(b):
            # 默认情况下，读出窗口设置为整个传感器像素阵列，x/y==0。
            # 你看到的分辨率是通过从读出窗口中获取像素产生的
            # 相机。x/y 位置相对于传感器中心。
            x, y, w, h = sensor.ioctl(sensor.IOCTL_GET_READOUT_WINDOW)

            # 相机驱动程序将尝试缩放以适应您传递给 max 的任何分辨率
            # 适合传感器并保持宽高比的宽度/高度。
            ratio = min(w / float(sensor.width()), h / float(sensor.height()))

            # 参考 cx() 到视口的中心，然后缩放到读数。
            mapped_cx = (b.cx() - (sensor.width() / 2.0)) * ratio
            # 由于我们保持宽高比，x 方向上可能会有偏移。
            mapped_cx += (w - (sensor.width() * ratio)) / 2.0
            # 添加我们从传感器中心的位移。
            mapped_cx += x + (sensor_w / 2.0)

            # 将 cy() 引用到视口的中心，然后缩放到读数。
            mapped_cy = (b.cy() - (sensor.height() / 2.0)) * ratio
            # 由于我们保持宽高比，y 方向可能会有偏移。
            mapped_cy += (h - (sensor.height() * ratio)) / 2.0
            # 添加我们从传感器中心的位移。
            mapped_cy += y + (sensor_h / 2.0)

            return (mapped_cx, mapped_cy)  # 传感器数组上的 X/Y 位置。

        def center_on_blob(b, res):
            mapped_cx, mapped_cy = get_mapped_centroid(b)

            # 切换到 res（如果 res 未更改，则此操作无效）。
            sensor.set_framesize(res)

            # 构建读取窗口。x/y 是从中心开始的偏移量。
            x = int(mapped_cx - (sensor_w / 2.0))
            y = int(mapped_cy - (sensor_h / 2.0))
            w = sensor.width()
            h = sensor.height()

            # 聚焦于质心。
            sensor.ioctl(sensor.IOCTL_SET_READOUT_WINDOW, (x, y, w, h))

            # 检查是否触碰到边缘。
            new_x, new_y, w, h = sensor.ioctl(sensor.IOCTL_GET_READOUT_WINDOW)

            # 你可以使用这些误差值来驱动伺服电机移动摄像头。
            x_error = x - new_x
            y_error = y - new_y

            if x_error < 0:
                print("-X Limit Reached ", end="")
            if x_error > 0:
                print("+X Limit Reached ", end="")
            if y_error < 0:
                print("-Y Limit Reached ", end="")
            if y_error > 0:
                print("+Y Limit Reached ", end="")

        center_on_blob(most_dense_blob, TRACKING_RESOLUTION)

        # 此循环将以更高的读取速度和更低的分辨率跟踪斑点。
        while True:
            clock.tick()
            img = sensor.snapshot()

            # 在较低分辨率的图像中找到斑点。
            blobs = img.find_blobs(
                TRACKING_THRESHOLDS,
                area_threshold=TRACKING_AREA_THRESHOLD,
                pixels_threshold=TRACKING_PIXEL_THRESHOLD,
            )

            # 如果我们丢失了斑点，则需要找到一个新的。
            if not len(blobs):
                # 重置分辨率。
                sensor.set_framesize(SEARCHING_RESOLUTION)
                sensor.ioctl(sensor.IOCTL_SET_READOUT_WINDOW, (sensor_w, sensor_h))
                break

            # 缩小斑点列表并突出显示斑点。
            most_dense_blob = max(blobs, key=lambda x: x.density())
            img.draw_rectangle(most_dense_blob.rect())

            print(
                clock.fps(), "BLOB cx:%d, cy:%d" % get_mapped_centroid(most_dense_blob)
            )

            x_diff = most_dense_blob.cx() - (sensor.width() / 2.0)
            y_diff = most_dense_blob.cy() - (sensor.height() / 2.0)

            w_threshold = (sensor.width() / 2.0) * TRACKING_EDGE_TOLERANCE
            h_threshold = (sensor.height() / 2.0) * TRACKING_EDGE_TOLERANCE

            # 如果斑点开始移出视野，则重新居中（会降低帧率）。
            if abs(x_diff) > w_threshold or abs(y_diff) > h_threshold:
                center_on_blob(most_dense_blob, TRACKING_RESOLUTION)

    print(clock.fps())