Кистьовий екзоскелет передав учневі рухи досвідченого піаніста

Інженери з компанії Sony створили прототип системи, що дозволяє викладачам і досвідченим музикантам безпосередньо передавати рухи пальців під час гри на фортепіано учневі. Ролик з описом системи опублікований на YouTube-каналі Sony.

При навчанні гри на більшості музичних інструментів учні можуть відтворити техніку спираючись лише на свій зір, слух і загальне розуміння принципів гри на інструменті. Крім того, зазвичай при виконанні сам музикант зазвичай не може в повній мірі контролювати кожен аспект рухів пальців і завдяки цьому аналізувати свої помилки або коригувати стиль.

Японські інженери з компанії Sony під керівництвом Сініті Фуруя (Shinichi Furuya) створили систему, що дозволяє безпосередньо переносити руху між учнем і вчителем. Ця група дослідників займається вивченням аспектів гри на фортепіано з допомогою технічних засобів протягом деякого часу. Наприклад, недавно за допомогою рукавички-екзоскелета вони з’ясували , що тривала практика гри на фортепіано підсилює злагодженість роботи соматосенсорної і моторної систем.

Тепер вони створили пов’язану систему, що складається з модифікованого фортепіано, рукавички для запису гри і рукавички-екзоскелета для відтворення записаних партій. У фортепіано під клавішами інженери встановили оптичні датчики, здатні вимірювати силу і швидкість натискання. Як кистьовий екзоскелет інженери взяли готовий пристрій від компанії exiii, здатне згинати кожен палець на потрібний кут. Піаніст-учитель при цьому одягає легшу рукавичку, яка тільки вимірює кути згину пальців.

Всі ці дані збираються в комп’ютер, який займається обробкою даних і передає сигнал від рукавички вчителя до рукавички учня. Інженери показали, що система може працювати в реальному часі, переносячи руху пальців між двома людьми, а також відтворювати записані послідовності, наприклад, щоб аналізувати власні рухи після гри. Також система вміє в реальному часі візуалізувати виконання на моніторі поруч з фортепіано.