Гумор проти алгоритмів: вчені розкрили, чому ШІ губиться у жартах

Науковці з університетів Великої Британії та Італії з'ясували, що великі мовні моделі штучного інтелекту не здатні повноцінно розуміти каламбури й часто сприймають за жарт те, що не є ним.

Як повідомляє The Guardian, вони дійшли висновку, що алгоритми розпізнають структуру гри слів, але не зчитують її зміст. 

Дослідження, деталі якого були оприлюднені в науковій статті Pun Unintended: LLMs and the Illusion of Humor Understanding, очолили науковці Кардіффського університету та Венеційського університету Ка'Фоскарі. Вони протестували низку жартів і з’ясували, що моделі майже завжди сприймали каламбур, навіть якщо подвійне значення повністю зникало. Дослідники пояснюють це тим, що системи орієнтуються на знайомі мовні шаблони, а не на сенс, яке має висловлювання.

"Одним із прикладів був жарт "Я колись був коміком, але моє життя перетворилося на жарт". Навіть коли "життя перетворилося на жарт" змінювали на "моє життя стало хаотичним", моделі все одно вбачали каламбур", — зазначили вчені.

Професор Хосе Камачо Колладос зі школи комп’ютерних наук та інформатики Кардіффського університету наголосив, що загалом мовні моделі ШІ схильні запам’ятовувати те, що вони вивчили під час навчання. У такий спосіб вони добре вловлюють наявні каламбури, але це не означає, що справді їх розуміють.У ході дослідження вчені змінювали основні елементи жартів і виявляли, що моделі продовжують шукати подвійні значення, яких не існує. Науковці зазначили, що розуміння гумору штучним інтелектом є лише ілюзією.

Рівень успішності моделей у відрізненні справжніх каламбурів від звичайних речень при незнайомій грі слів інколи падав до 20%. Науковці були здивовані креативністю відповідей, але наголосили, що це не компенсує відсутність реального розуміння гумору. Відповідні обмеження важливо розуміти, коли йдеться про застосування моделей у сферах, де потрібні емпатія, чутливість до культурних відмінностей чи точне трактування жартів.

Нагадаємо, раніше видання The Guardian повідомляло, що розвиток штучного інтелекту у сфері охорони здоров’я може створити серйозні юридичні труднощі у випадках медичних помилок. Використання таких технологій у клінічних системах зростає вибуховими темпами.