hand_landmarks_single_hand.py

# Questo lavoro è concesso in licenza MIT.
# Copyright (c) 2013-2025 OpenMV LLC. Tutti i diritti riservati.
# https://github.com/openmv/openmv/blob/master/LICENSE
#
# Questo esempio mostra il modello MediaPipe Hand Landmarks Detection di Google per una singola mano.
#
# NOTA: questo esempio richiede una OpenMV Cam con NPU come la AE3 o la N6 per funzionare in tempo reale.

import csi
import time
import ml
from ml.preprocessing import Normalization
from ml.postprocessing.mediapipe import BlazePalm
from ml.postprocessing.mediapipe import HandLandmarks

# Inizializza il sensore.
csi0 = csi.CSI()
csi0.reset()
csi0.pixformat(csi.RGB565)
csi0.framesize(csi.VGA)

# BlazePalm richiede un'immagine quadrata per ottenere i migliori risultati.
# HandLandmarks funziona con immagini non quadrate provenienti dai ritagli di BlazePalm.
csi0.window((400, 400))

# Carica il modello integrato di rilevamento del palmo
palm_detection = ml.Model("/rom/palm_detection_full_192.tflite", postprocess=BlazePalm(threshold=0.4))
print(palm_detection)

# Carica il modello integrato di rilevamento dei punti chiave della mano
hand_landmarks = ml.Model("/rom/hand_landmarks_full_224.tflite", postprocess=HandLandmarks(threshold=0.4))
print(hand_landmarks)

# Connessioni tra le linee delle articolazioni della mano per disegnare lo scheletro della mano.
hand_lines = ((0, 1), (1, 2), (2, 3), (3, 4), (0, 5), (5, 6), (6, 7), (7, 8),
              (5, 9), (9, 10), (10, 11), (11, 12), (9, 13), (13, 14), (14, 15), (15, 16),
              (13, 17), (17, 18), (18, 19), (19, 20), (0, 17))

# Variabili di tracciamento.
n = None

clock = time.clock()
while True:
    clock.tick()
    img = csi0.snapshot()

    if n is None:
        # palms è una lista di tuple ((x, y, w, h), score, keypoints)
        for r, score, keypoints in palm_detection.predict([img]):
            # rect è (x, y, w, h) - ingrandire di 3x per il modello di rilevamento dei punti chiave della mano
            wider_rect = (r[0] - r[2], r[1] - r[3], r[2] * 3, r[3] * 3)
            # Opera solo sulla ROI del palmo rilevato
            n = Normalization(roi=wider_rect)

    else:
        # hands è una lista di tuple ((x, y, w, h), score, keypoints)
        # l'indice 0 (se presente) è la mano sinistra
        # l'indice 1 (se presente) è la mano destra
        hands = hand_landmarks.predict([n(img)])

        # Nessuna mano rilevata, reimposta il tracker.
        if not hands:
            n = None
            continue

        # Disegna i riquadri di delimitazione attorno alle mani rilevate e ai punti chiave.
        for i, detections in enumerate(hands):
            for r, score, keypoints in detections:
                ml.utils.draw_predictions(img, [r], ("right",) if i else ("left",), ((0, 0, 255),), format=None)

                # keypoints: ndarray (21, 3) delle articolazioni della mano (x, y, z)
                # Gli indici seguono la convenzione MediaPipe:
                # 0: polso
                # Pollice: 1 cmc, 2 mcp, 3 ip, 4 tip
                # Indice: 5 mcp, 6 pip, 7 dip, 8 tip
                # Medio: 9 mcp, 10 pip, 11 dip, 12 tip
                # Anulare: 13 mcp, 14 pip, 15 dip, 16 tip
                # Mignolo: 17 mcp, 18 pip, 19 dip, 20 tip
                # (cmc=base, mcp=nocca, pip=medio, dip=distale, ip=articolazione del pollice, tip=punta del dito)
                ml.utils.draw_skeleton(img, keypoints, hand_lines, kp_color=(255, 0, 0), line_color=(0, 255, 0))

                # Centra new_wider_rect sulla mano per il tracciamento
                new_wider_rect = (r[0] + (r[2] // 2) - (wider_rect[2] // 2),
                                  r[1] + (r[3] // 2) - (wider_rect[3] // 2),
                                  wider_rect[2],
                                  wider_rect[3])
                # Opera solo sulla ROI della mano rilevata
                n = Normalization(roi=new_wider_rect)

    print(clock.fps(), "fps")