sensors_channel.py

# この作品はMITライセンスの下で提供されています。
# Copyright (c) 2026 OpenMV LLC. 全著作権所有。
# https://github.com/openmv/openmv/blob/master/LICENSE
#
# センサーチャンネルの例（ToF + 顔検出）
#
# センサーデータとToF深度マップをCBORプロトコルチャンネル経由で送信します。
# プロトコルライブラリのCBORChannelを使うことで簡単にセットアップできます。

import csi
import tof
import struct
import random
from protocol import CBORChannel
import protocol
import ml
from ml.postprocessing.mediapipe import BlazeFace

# カメラを初期化します。
csi0 = csi.CSI()
csi0.reset()
csi0.pixformat(csi.RGB565)
csi0.framesize(csi.QVGA)

# 組み込みの顔検出モデルを読み込みます。
model = ml.Model(
    "/rom/blazeface_front_128.tflite",
    postprocess=BlazeFace(threshold=0.5),
)
print(model)

# ToFセンサーを初期化します。
tof.init()
tof_w = tof.width()
tof_h = tof.height()

# センサーチャンネルを登録します。
sensors = CBORChannel()
sensors.add("temp", type="label", unit="Cel")
sensors.add("humidity", type="label", unit="%RH")
sensors_ch = protocol.register(name="sensors", backend=sensors)

# 深度チャンネルを登録します。
depth = CBORChannel()
depth.add("depth", type="depth", width=tof_w, height=tof_h)
depth_ch = protocol.register(name="ToF depth", backend=depth)

# シミュレートされたセンサー状態。
temp = 25.0
humidity = 50.0

while True:
    # フレームをキャプチャして顔検出を実行します。
    img = csi0.snapshot()

    for r, score, keypoints in model.predict([img]):
        ml.utils.draw_predictions(img, [r], ("face",), ((0, 0, 255),), format=None)
        ml.utils.draw_keypoints(img, keypoints, color=(255, 0, 0))

    # ランダムなドリフトでセンサー値の読み取りをシミュレートします。
    temp += random.uniform(-0.3, 0.3)
    temp = max(15.0, min(35.0, temp))
    humidity += random.uniform(-0.5, 0.5)
    humidity = max(20.0, min(80.0, humidity))

    # ToF深度マップを読み取ります。
    try:
        depth_data, dmin, dmax = tof.read_depth(vflip=True, hmirror=True)
    except RuntimeError:
        continue

    # 深度データ（float）をバイナリにパックします（1floatあたり4バイト）。
    depth_bytes = struct.pack("<%df" % len(depth_data), *depth_data)

    # チャンネルを更新します。
    sensors["temp"] = round(temp, 1)
    sensors["humidity"] = round(humidity, 1)
    depth["depth"] = depth_bytes

    depth_ch.send_event(0xFFFF)
    sensors_ch.send_event(0xFFFF)

    print(
        "temp=%.1f | humidity=%.1f | depth=%d bytes"
        % (temp, humidity, len(depth_bytes))
    )