blazepalm_detection.py

# Dieses Werk ist unter der MIT-Lizenz lizenziert.
# Copyright (c) 2013-2025 OpenMV LLC. Alle Rechte vorbehalten.
# https://github.com/openmv/openmv/blob/master/LICENSE
#
# Dieses Beispiel demonstriert Googles MediaPipe-Handflächenerkennungsmodell.
#
# HINWEIS: Für dieses Beispiel wird eine OpenMV Cam mit NPU wie die AE3 oder N6 benötigt, um in Echtzeit zu laufen.

import csi
import time
import ml
from ml.postprocessing.mediapipe import BlazePalm

# Sensor initialisieren.
csi0 = csi.CSI()
csi0.reset()
csi0.pixformat(csi.RGB565)
csi0.framesize(csi.VGA)

# BlazePalm benötigt für die besten Ergebnisse ein quadratisches Bild.
csi0.window((400, 400))

# Eingebautes Handflächenerkennungsmodell laden
model = ml.Model("/rom/palm_detection_full_192.tflite", postprocess=BlazePalm(threshold=0.4))
print(model)

# Linienverbindungen zwischen Handgelenken zum Zeichnen des Handskeletts.
palm_lines = ((0, 1), (1, 2), (2, 3), (3, 4), (4, 0), (0, 5), (5, 6))

clock = time.clock()
while True:
    clock.tick()
    img = csi0.snapshot()

    # palms ist eine Liste von ((x, y, w, h), score, keypoints)-Tupeln
    for r, score, keypoints in model.predict([img]):
        ml.utils.draw_predictions(img, [r], ("palm",), ((0, 0, 255),), format=None)

        # keypoints ist ein ndarray der Form (7, 2)
        # 0 - Handgelenk (x, y)
        # 1 - Zeigefinger-Grundgelenk (x, y)
        # 2 - Mittelfinger-Grundgelenk (x, y)
        # 3 - Ringfinger-Grundgelenk (x, y)
        # 4 - Grundgelenk des kleinen Fingers (x, y)
        # 5 - Daumensattelgelenk (x, y)
        # 6 - Daumengrundgelenk (x, y)
        #
        # mcp = Fingergrundgelenk (Metacarpophalangealgelenk) - der Knöchel
        # cmc = Karpometakarpalgelenk - die Basis des Daumens
        ml.utils.draw_skeleton(img, keypoints, palm_lines, kp_color=(255, 0, 0), line_color=(0, 255, 0))

    print(clock.fps(), "fps")