face_landmarks_single_face.py

# Эта работа лицензирована по лицензии MIT.
# Copyright (c) 2013-2025 OpenMV LLC. Все права защищены.
# https://github.com/openmv/openmv/blob/master/LICENSE
#
# Этот пример демонстрирует модель Google MediaPipe для обнаружения ключевых точек одного лица (Face Landmark Detection).
#
# ПРИМЕЧАНИЕ: для работы в реальном времени этому примеру нужна камера OpenMV с NPU, например AE3 или N6.

import csi
import time
import ml
from ml.preprocessing import Normalization
from ml.postprocessing.mediapipe import BlazeFace
from ml.postprocessing.mediapipe import FaceLandmarks

# Инициализация датчика.
csi0 = csi.CSI()
csi0.reset()
csi0.pixformat(csi.RGB565)
csi0.framesize(csi.VGA)

# Для наилучшего результата BlazeFace требует квадратное изображение.
# FaceLandmarks работает с неквадратными изображениями, полученными из обрезков BlazeFace.
csi0.window((400, 400))

# Загрузить встроенную модель обнаружения лица
face_detection = ml.Model("/rom/blazeface_front_128.tflite", postprocess=BlazeFace(threshold=0.4))
print(face_detection)

# Загрузить встроенную модель ключевых точек лица
face_landmarks = ml.Model("/rom/face_landmarks_192.tflite", postprocess=FaceLandmarks(threshold=0.4))
print(face_landmarks)

# Переменные отслеживания.
n = None

clock = time.clock()
while True:
    clock.tick()
    img = csi0.snapshot()

    if n is None:
        # faces — это список кортежей ((x, y, w, h), score, keypoints)
        for r, score, keypoints in face_detection.predict([img]):
            # rect — это (x, y, w, h) — увеличьте в 2 раза для модели ключевых точек лица
            wider_rect = (r[0] - r[2] // 2, r[1] - r[3] // 2, r[2] * 2, r[3] * 2)
            # Работать только с ROI обнаруженного лица
            n = Normalization(roi=wider_rect)

    else:
        # marks — это список кортежей ((x, y, w, h), score, keypoints)
        marks = face_landmarks.predict([n(img)])

        # Лица не обнаружены, сбросить трекер.
        if not marks:
            n = None
            continue

        # Отрисовать ограничивающие прямоугольники вокруг обнаруженных лиц и ключевые точки.
        for r, score, keypoints in marks:
            ml.utils.draw_predictions(img, [r], ("face",), ((0, 0, 255),), format=None)

            # keypoints — это ndarray формы (468, 3), где каждая ключевая точка — это (x, y, z)
            ml.utils.draw_keypoints(img, keypoints, radius=0, color=(255, 0, 0))

            # Центрировать new_wider_rect по лицу для отслеживания
            new_wider_rect = (r[0] + (r[2] // 2) - (wider_rect[2] // 2),
                              r[1] + (r[3] // 2) - (wider_rect[3] // 2),
                              wider_rect[2],
                              wider_rect[3])
            # Работать только с ROI обнаруженного лица
            n = Normalization(roi=new_wider_rect)

    print(clock.fps(), "fps")