Тривожні висновки: нові дослідження виявили слабкі місця в системах ШІ
Міжнародна команда вчених встановила слабкі місця у сотнях тестів, які застосовують для перевірки безпеки та ефективності нових моделей штучного інтелекту.
Як повідомляє The Guardian, дослідження проводили науковці з Інституту безпеки штучного інтелекту британського уряду та експерти з університетів, Стенфорд, Берклі та Оксфорд.
Вони виявили, що майже всі тести мають слабкі сторони хоча б в одній області, а отримані результати іноді є нерелевантними або навіть оманливими. Бенчмарки, які використовуються для вимірювання продуктивності та безпечності штучного інтелекту, відіграють головну роль за відсутності чітких державних регуляцій у Великій Британії та Сполучених Штатах Америки.
Тести мають підтвердити, чи відповідають системи штучного інтелекту інтересам користувача, та перевіряти їхні уміння до логічного міркування, математичних розрахунків і кодування. Провідний автор дослідження, фахівець Оксфордського інтернет-інституту Ендрю Бін, наголосив, що саме бенчмарки лежать в основі більшості заяв про прориви у сфері штучного інтелекту.
"Майже всі твердження про досягнення в галузі штучного інтелекту підкріплені контрольними показниками. Проте без спільних визначень й обґрунтованих вимірювань важко зрозуміти, чи моделі ШІ справді покращуються, чи це лише здається так", — зазначив він.
Відповідні результати дослідження оприлюднили на тлі наростальних побоювань щодо безпеки нових моделей штучного інтелекту, які великі технологічні компанії випускають з дедалі більшими темпами. Нещодавно деякі корпорації були вимушені вилучити чи обмежити доступ до своїх розробок після низки інцидентів, коли системи ШІ завдавали шкоди. Йдеться про випадки наклепів й самогубств.
Цього тижня Google відкликав одну зі своїх моделей — Gemma. Відповідне рішення ухвалили після того, як вона згенерувала неправдиві звинувачення про начебто сексуальні стосунки без згоди між американським сенатором та поліціянтом, створивши фейкові посилання на вигадані новини.
"Ніколи не було такого звинувачення, немає такої особи, і немає таких новинних історій", — заявила сенаторка від штату Теннессі Марша Блекберн у листі до генерального директора Google Сундара Пічаї. За її словами, такий інцидент є катастрофічним провалом нагляду та етичної відповідальності.
У відповідь у Google зауважили, що Gemma призначалася для розробників та дослідників, а не для споживачів. Компанія вилучила модель ШІ із платформи AI Studio після повідомлень про її використання сторонніми користувачами.
"Галюцинації — коли моделі вигадують факти — та підлабузництво є проблемами всієї індустрії штучного інтелекту, особливо для менших відкритих моделей, таких як Gemma", — зазначили у Google.
Нагадаємо, раніше агентство Reuters повідомляло, що Китай активно розвиває застосування штучного інтелекту у військових технологіях. Йдеться про створення бойових роботів та роїв безпілотників.