Un rotoscopio es una animación calcada de una película es una técnica de la que se abusó mucho, sobre todo con el mocap (captura de movimiento en 3D) pero que también tiene muy buenos resultados, a mí me encantan los bailes de Bety Boop en los que los animadores además de usar el rotoscopio creaban delirantes animaciones encimas de ella.

El rotoscopio sirve para dos cosas, una animar cosa difíciles, como en el ejemplo anterior, un baile es difícil de animar, miren cualquier animación 2D y convierten los bailes en simples repeticiones de un solo movimiento.
Otra de las razones es ahorrar tiempo, en mi caso pienso que una buena interpretación de gestos puedo ahorrarme mucho tiempo de animación en sincro-labiales. Por eso comencé este proyecto.

Quinema rotoscopio intenta imitar a grandes rasgos lo que hace la persona que interpreta al personaje, dejando el sincro-labial para otros programas. Los movimientos en lugar de ser copias exactas intentan ser versiones simples y caricaturescas.

Descargar

wget https://download.tuxfamily.org/4232/software/quinema-rotoscopio
wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
bunzip2 shape_predictor_68_face_landmarks.dat.bz2
pip install opencv-python dlib imutils numpy sys pickle tk
chmod +x quinema-rotoscopio

Probarlo

python quinema-rotoscopio

Ahora podemos probarlo, debería verse nuestra cara y al moverla ir cambiando los puntos rojos de lugar.
Presionando las teclas del 0 al 9 podemos almacenar la expresión y salvarlo con “s”, abrir el archivo con “o” y la ayuda es con “h”.

Otra opción es capturar los movimientos de una cara de un video

python quinema-rotoscopio video.webm

Conectado a Blender

Ahora necesitamos conectarlo a un programa, yo uso Blender

Para eso necesitamos el complemento AddRoutes que va a recibir la posiciones de la cara a través de OSC, un formato libre increíble para interconectar programas y dispositivos.

Los datos se pasan por la red interna con la dirección “/quinema/p” para la posición, “/quinema/r” para la rotación y “/quinema/e” para el número de expresión.

Una vez instalado solo tenemos que configurar la rotación y posición del objeto que queremos mover usando el Complemento.

Podés bajar mi ejemplo simple.

Una vez conectados y si responde en tiempo real, podemos grabar nuestras actuaciones frente a la cámara.

Presionando el botón de grabar y poner reproducir comenzar a capturar nuestros movimientos.

Nota: En caso de querer captura menos datos se puede separar los x,y,z en usando el filtro de AddRouters.