OpenCV Dlib

Rotoscopio: probando Dlib con OpenCV

Probando la posición de la cabeza, pestañeo y si se abre la boca.

La idea es generar un rotoscopio digital de la cara para futuras animaciones, el rotoscopio es una técnica muy antigua en la cual se calcan los movimientos de un video para generar una animación.

Un ejemplo clásico de esto son los Viajes de Gulliver de los Fleichers, de hecho usaban mucho esa técnica muchos de los bailes de Betty Boop eran rotoscopios de artistas muy famosos en la época.

Últimamente vi ejemplos en los que se toma la cara de una persona para animar esto antiguamente era un poco tosco y siempre se notaba que era un video dibujado o pintado.
Pero con las actuales computadoras algunos resultados son sorprendentes y creo que hay poco software libre destinado a esto.

En mis pruebas actuales estoy tomando de modo muy simple la posiciones de la cabeza con números de -1 a 1 para las posiciones y 0 o 1 para la apertura de la boca.

La idea es enviar estos datos  a otros programas por ejemplo blender, synfigstudio, opentoonz o generar una animación al vuelo usando ffmpeg para generar una marionetas en vivo para transmisiones tipo streaming.

Ejemplo mover el mouse con la cabeza:

python3 expresion.py | while read A; do
eval "$A"
xdotool mousemove_relative -- "$(echo "scale=0; 10*$RH" | bc )" "$(echo "scale=0; -10*$RV" | bc )"
done

Código fuente

Publicado en Experimento, Tutoriales y etiquetado , , , .

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *