blazepalm_detection.py

# هذا العمل مرخص بموجب ترخيص MIT.
# حقوق النشر (c) 2013-2025 لشركة OpenMV LLC. جميع الحقوق محفوظة.
# https://github.com/openmv/openmv/blob/master/LICENSE
#
# يوضح هذا المثال نموذج MediaPipe من Google لاكتشاف راحة اليد.
#
# ملاحظة: يتطلب هذا المثال كاميرا OpenMV مزودة بوحدة NPU مثل AE3 أو N6 للعمل في الوقت الفعلي.

import csi
import time
import ml
from ml.postprocessing.mediapipe import BlazePalm

# تهيئة المستشعر.
csi0 = csi.CSI()
csi0.reset()
csi0.pixformat(csi.RGB565)
csi0.framesize(csi.VGA)

# يتطلب BlazePalm صورة مربعة للحصول على أفضل النتائج.
csi0.window((400, 400))

# تحميل نموذج اكتشاف راحة اليد المدمج
model = ml.Model("/rom/palm_detection_full_192.tflite", postprocess=BlazePalm(threshold=0.4))
print(model)

# خطوط الاتصال بين مفاصل اليد لرسم هيكل اليد.
palm_lines = ((0, 1), (1, 2), (2, 3), (3, 4), (4, 0), (0, 5), (5, 6))

clock = time.clock()
while True:
    clock.tick()
    img = csi0.snapshot()

    # palms عبارة عن قائمة من الصفوف (tuples) بالشكل ((x, y, w, h), score, keypoints)
    for r, score, keypoints in model.predict([img]):
        ml.utils.draw_predictions(img, [r], ("palm",), ((0, 0, 255),), format=None)

        # keypoints هي مصفوفة ndarray بشكل (7, 2)
        # 0 - المعصم (x, y)
        # 1 - مفصل السبابة الأساسي (mcp) (x, y)
        # 2 - مفصل الوسطى الأساسي (mcp) (x, y)
        # 3 - مفصل البنصر الأساسي (mcp) (x, y)
        # 4 - مفصل الخنصر الأساسي (mcp) (x, y)
        # 5 - مفصل الإبهام السنعي الرسغي (cmc) (x, y)
        # 6 - مفصل الإبهام الأساسي (mcp) (x, y)
        #
        # mcp = المفصل السنعي السلامي - عقلة الإصبع
        # cmc = المفصل الرسغي السنعي - قاعدة الإبهام
        ml.utils.draw_skeleton(img, keypoints, palm_lines, kp_color=(255, 0, 0), line_color=(0, 255, 0))

    print(clock.fps(), "fps")