Gran importancia se le concede a los gestos y movimientos de un músico, ya que inciden grandemente en el resultado final de su ejecución. Por tal motivo, un grupo de profesionales, a los que le es insuficiente ser “bastante buenos” se sienten motivados en que su técnica sea cada día mejor. Es por ello que eventualmente sienten la necesidad de utilizar tecnologías de captura de movimiento, que detectan con fidelidad sus detalles gestuales.
A pesar del gran avance que esto representa, para investigadores como David Dalmazzo y Rafael Ramírez, miembros del Music and Machine Learning Lab de la Universidad Pompeu Fabra, es aún insuficiente, por lo que han decidido utilizar la inteligencia artificial como herramienta para llevar esta técnica a otro nivel, ya que su uso les permitirá clasificar automáticamente las técnicas de arco a partir de los movimientos de un violinista.
Para llevar a cabo la captura del movimiento utilizaron un brazalete de control por gestos Myo, que tendrá la función de registrar los movimientos del brazo derecho de un violinista profesional.
“Grabamos datos de movimiento y audio correspondientes a siete técnicas de arco representativas (Détaché, Martelé, Spiccato, Ricochet, Sautillé, Staccato y Bariolage) […]. Obtuvimos información del movimiento inercial desde el antebrazo derecho y lo sincronizamos con grabaciones de audio”.
Los algoritmos de machine learning realizan comparaciones entre los movimientos del brazo y el audio que corresponde a cada uno, lo cual permite definir qué movimiento es creado por cada sonido, dentro de cada una de las técnicas.
“Nuestros hallazgos ya han sido generalizados a otros instrumentos musicales y aplicados en entornos de educación musical”, agregó Rafael Ramírez, investigador principal del proyecto.
El modelo en cuestión es de una alta precisión, muy superior al 94%, capaz de determinar las siete técnicas de interpretación mencionadas.
Lo anterior es muy ventajoso para los estudiantes de violín, pues les permite beneficiarse en tiempo real del feedback que aporta este sistema, e incluso comparar sus interpretaciones con las de expertos de primer nivel, lo cual les permite conocer las diferencias que existen entre sus movimientos y los de ellos.
El estudio fue recién publicado en la revista Frontiers in Psychology, en el marco del proyecto TELMI (Technology Enhanced Learning of Musical Instrument Performance) y tiene como objetivo investigar de qué manera la tecnología (sensores, datos multimodales, inteligencia artificial, y sistemas computacionales) inciden positivamente en las prácticas de los estudiantes de música, mejorando su concentración en el desarrollo preciso de los buenos hábitos.
En su ‘paper’, los científicos dialogan acerca del Internet de las Cosas Musicales (IoMusT) como “un campo emergente” y “extensión de la Internet de las Cosas (IoT)”, en el que “los nuevos modelos que utilizan dispositivos portátiles basados en magnetómetros, giroscopios y acelerómetros, conjuntamente con algoritmos de aprendizaje automático se reportan como soluciones eficientes y de bajo costo para el análisis de movimiento del cuerpo y la información gestual”.
