dual_core_vision_and_speech.py

# Este trabalho está licenciado sob a licença MIT.
# Copyright (c) 2013-2026 OpenMV LLC. Todos os direitos reservados.
# https://github.com/openmv/openmv/blob/master/LICENSE
#
# Exemplo de Visão e Voz Dual-Core
#
# Este exemplo executa a detecção facial BlazeFace no núcleo HP e o detector de
# palavras-chave MicroSpeech no núcleo HE simultaneamente. A palavra-chave ouvida
# mais recentemente é desenhada na imagem da câmera.
#
# O modelo MicroSpeech embutido só reconhece as palavras-chave "Yes" e "No".

import csi
import time
import openamp
import ml
from ml.postprocessing.mediapipe import BlazeFace


label = None
label_ticks = 0
LABEL_HOLD_MS = 2000


def task_callback(src_addr, data):
    global label, label_ticks
    label = data.decode()
    label_ticks = time.ticks_ms()


# Esta função assíncrona roda no núcleo HE.
@openamp.async_remote(task_callback)
async def task1(ept):
    from ml.apps import MicroSpeech
    speech = MicroSpeech(gain_db=24)
    while True:
        l, scores = speech.listen(timeout=0, threshold=0.70)
        if l:
            ept.send(l)


# Inicie o núcleo HE antes de inicializar a câmera no núcleo HP.
rproc = openamp.RemoteProc(0x80320000)
rproc.start()

csi0 = csi.CSI()
csi0.reset()
csi0.pixformat(csi.RGB565)
csi0.framesize(csi.VGA)

# O BlazeFace requer uma imagem quadrada para os melhores resultados.
csi0.window((400, 400))

model = ml.Model("/rom/blazeface_front_128.tflite", postprocess=BlazeFace(threshold=0.4))
print(model)

clock = time.clock()
while True:
    clock.tick()
    img = csi0.snapshot()

    # faces é uma lista de tuplas ((x, y, w, h), score, keypoints)
    for r, score, keypoints in model.predict([img]):
        ml.utils.draw_predictions(img, [r], ("face",), ((0, 0, 255),), format=None)
        ml.utils.draw_keypoints(img, keypoints, color=(255, 0, 0))

    if label is not None:
        if time.ticks_diff(time.ticks_ms(), label_ticks) < LABEL_HOLD_MS:
            img.draw_string((4, 4), f"Heard: {label}", color=(255, 0, 0), scale=2)
        else:
            label = None

    print(clock.fps(), "fps")