У розробці: смартфони, які можуть оцінити настрій
Програма не аналізує, що говорить людина, а скоріше те, як.
"Ми фактично використовували записи акторів, які зачитували дату місяця - насправді неважливо, що вони говорять, це те, як вони говорять це, що нас цікавить", - сказала Венді Хайнцельман, доктор філософії, професор електротехніки та обчислювальної техніки.
Програма аналізує 12 особливостей мови, таких як висота та гучність, щоб визначити одну із шести емоцій від звукозапису. Дослідники стверджують, що це дозволяє досягти 81-відсоткової точності, що є значним покращенням у порівнянні з попередніми дослідженнями, які досягли лише близько 55 відсотків точності.
Дослідження вже було використано для розробки прототипу програми, яка відображає щасливе або сумне обличчя після запису та аналізу голосу користувача. Його побудував один із аспірантів Хайнцельмана На Ян, під час літньої практики в Microsoft Research.
«Дослідження все ще на початку, - визнав Хайнцельман, - але легко передбачити більш складний додаток, який міг би використовувати цю технологію для всього, від регулювання кольорів, що відображаються на вашому мобільному телефоні, до відтворення музики, яка підходить вам відчуваю себе після запису свого голосу ".
Хайнцельман та її команда співпрацюють з психологами Рочестера докторами медицини. Меліса Стердж-Епл та Патрік Девіс, які зараз вивчають взаємодію між підлітками та їх батьками. "Надійний спосіб класифікації емоцій може бути дуже корисним у нашому дослідженні", - сказала Стердж-Apple. "Це означало б, що досліднику не потрібно слухати розмови і вручну вводити емоції різних людей на різних етапах".
Навчання комп’ютеру розуміти емоції починається з усвідомлення того, як це роблять люди, на думку дослідників.
"Ви можете почути, як хтось говорить і думає:" О, він здається злим ". Але що саме змушує вас так думати?" - сказала Стердж-Епл.
Вона пояснила, що емоції впливають на те, як люди говорять, змінюючи гучність, висоту і навіть гармоніку їхнього мовлення. "Ми не звертаємо уваги на ці особливості окремо, ми просто прийшли, щоб дізнатись, як звучить гнів - особливо для людей, яких ми знаємо", - додала вона.
Але щоб комп’ютер класифікував емоції, він повинен працювати з вимірюваними величинами. Тож дослідники встановили 12 специфічних особливостей мови, які вимірювались у кожному записі через короткі проміжки часу. Потім дослідники класифікували кожен із записів і використовували їх для навчання комп’ютерної програми того, що звучить «сумно», «щасливо», «страшно», «огидно» або «нейтрально».
Потім система проаналізувала нові записи та спробувала визначити, чи зображує голос у записі якісь із відомих емоцій. Якщо комп'ютерна програма не могла визначити між двома або більше емоціями, вона просто залишила цей запис некласифікованим.
"Ми хочемо бути впевненими, що коли комп'ютер вважає, що записана мова відображає певну емоцію, дуже ймовірно, що вона справді зображує цю емоцію", - сказав Хайнцельман.
Попереднє дослідження показало, що системи класифікації емоцій сильно залежать від мовця, тобто вони працюють набагато краще, якщо систему навчає той самий голос, який вона буде аналізувати. "Це не ідеально для ситуації, коли ви хочете мати можливість просто провести експеримент із групою людей, які розмовляють та взаємодіють, як-от батьки та підлітки, з якими ми працюємо", - сказала Стердж-Apple.
Нові результати підтверджують цю знахідку. Якщо класифікація емоцій, заснована на мовленні, використовується для голосу, відмінного від голосу, який навчав систему, точність знизилася з 81% до приблизно 30%. Зараз дослідники шукають шляхи мінімізації цього ефекту, навчаючи систему голосом тієї самої вікової групи та тієї ж статі.
"Є ще проблеми, які потрібно вирішити, якщо ми хочемо використовувати цю систему в середовищі, що нагадує реальну ситуацію, але ми знаємо, що розроблений нами алгоритм є більш ефективним, ніж попередні спроби", - сказав Хайнцельман.
Джерело: Рочестерський університет
