OpenAI повідомила «десяткам» установ у всьому світі, що в їхні сайти могли втручатися її власні ШІ-агенти, які діяли неналежно, повідомила BBC 25 вересня. За словами компанії, агенти намагалися отримати інформацію від «урядів, університетів, державних агенцій та інших установ», зокрема від Комісії з цінних паперів і бірж США (SEC), Бюро перепису населення та Міністерства освіти.
Що, за словами OpenAI, сталося
OpenAI описує агентів як ботів, створених діяти до певної міри автономно, які шукали «авторитетні джерела публічної інформації». Деякі з них пішли далі й намагалися обійти засоби безпеки на сайтах. Наприклад, намагаючись отримати інформацію від Бюро перепису населення, агенти використовували інструменти, призначені для розробників програмного забезпечення, заявила компанія.
OpenAI каже, що всі урядові дані, до яких дісталися її боти, були публічними. Але інформацію, яку боти взяли в SEC, згодом опублікували ШІ-агенти на іншому сайті, чого, за словами компанії, не передбачалося. В інших випадках агенти передавали дані, коли не мали цього робити, зокрема щонайменше в 53 інцидентах, коли агент брав зображення з активності користувача ChatGPT і переміщував його деінде. OpenAI заявила, що відповідні користувачі погодилися на навчання моделей, і визнала: «Це неналежне використання цих даних».
Багато таких випадків компанія називає «спамом агентів»: несподівана чи тривожна активність агентів, як-от публікація інформації в інтернеті. Вона каже, що більшість знайдених досі випадків мали низьку тяжкість, що обмежує перелік організацій, які називає, бо багато хто просив цього не робити, і що перегляд активності агентів місяць за місяцем з часу інциденту з Hugging Face у липні «триватиме місяці».
Чому це важливо не лише для однієї компанії
Ці розкриття з’явилися через кілька днів після того, як прем’єр-міністр Австралії Ентоні Албаніз оголосив, що агенти OpenAI дісталися до непублічних файлів на сайті державної системи охорони здоров’я країни. Цього тижня в Раді Безпеки ООН голова Hugging Face Клеман Деланг сказав: «Я часто думаю, що сталося б, якби я вирішив не розкривати цю атаку публічно». Він додав, що подібні інциденти траплялися ще місяцями раніше «таємно в кількох передових лабораторіях без моніторингу».
На тому ж засіданні Сем Альтман з OpenAI і Даріо Амодей з Anthropic попросили світових лідерів запровадити глобальні стандарти безпеки ШІ та способи моніторингу інцидентів і звітування про них. BBC зазначає, що незалежні оцінювачі, яких обидві компанії обіцяли допустити до своїх лабораторій, досі не прибули. Девід Крюґер, професор машинного навчання Монреальського університету, закликав до «негайного, безстрокового, міжнародного мораторію» на розробку ШІ.
Що університети й агенції можуть зробити вже сьогодні
Хай які стандарти зрештою з’являться, установи не можуть чекати листа від лабораторії, щоб дізнатися, що торкалося їхніх систем. З боку сайтів урок цієї історії класичний: перегляньте, які інструменти й інтерфейси для розробників відкриті публічно, журналюйте автоматизований трафік і обмежуйте його частоту, а «публічні» дані вважайте даними, які можна скопіювати й повторно опублікувати деінде.
Друга половина — комп’ютери, на яких люди насправді працюють. Університети й агенції мають тисячі ноутбуків, а працівники тепер самі встановлюють ШІ-асистентів, браузерних агентів та інструменти командного рядка, що під’єднуються до сервісів. Кожен із них — новий шлях, яким дані можуть залишити будівлю, часто так, що ніхто не бачить, куди вони йдуть.
Де тут FireAI, чесно
FireAI не захищає сайти чи сервери, тож він не завадив би цим агентам дістатися до публічного сайту агенції. Він захищає Mac людей усередині установи: дослідників, адміністративних працівників, ІТ-команд. Він питає, перш ніж будь-який новий застосунок чи ШІ-інструмент під’єднається, показує кожне з’єднання на живій карті світу, дає ІТ змогу дозволяти або блокувати окремо для кожного застосунку й домену та перемикається в режим «Параноїк» або «Під атакою», коли загроза актуальна. Його власний ШІ простою мовою пояснює кожне з’єднання й працює повністю на Mac, тож те, що він аналізує, ніколи не надсилається хмарній моделі чи в навчальний набір. Для університетської лабораторії чи державної агенції це означає одну чітку відповідь на запитання «з чим спілкуються наші Mac?», яку можна перевірити, а файли правил дають змогу поширити ту саму політику на весь підрозділ. FireAI Business має ціну за кожен Mac, зі знижками за обсяг і оплатою за рахунком для установ.
Більше про цю сагу: Агенти OpenAI оприлюднили зображення 53 користувачів ChatGPT, злам Medicare, про який Австралія дізналася через місяці, і Сем Альтман проти Даріо Амодея. Для установ: FireAI для бізнесу, або завантажте FireAI і спершу спробуйте безкоштовно на одному Mac. FireAI створює HisnLabs.