Новости безопасности и искусственного интеллекта

Два руководителя ИИ-компаний, одна неделя в ООН · Автор FireAI Security & Research Team · Опубликовано

Сэм Альтман против Дарио Амодеи: две карьеры, два взгляда на то, зачем нужен ИИ, и одна и та же неделя вышедших из-под контроля агентов

Один бросил Стэнфорд ради стартапа, другой защитил докторскую по биофизике. Как главы OpenAI и Anthropic пришли к этому и зачем, по словам каждого, нужен ИИ.

Poster: “Sam Altman, OpenAI” on the left in violet and “Dario Amodei, Anthropic” on the right in green, split by a glowing VS, above the words “Two paths for AI.”

На этой неделе руководители двух самых известных ИИ-лабораторий, Сэм Альтман из OpenAI и Дарио Амодеи из Anthropic, оба выступили перед Советом Безопасности ООН по вопросам безопасности ИИ, сообщила The Guardian. Обе компании также выпустили новые модели в один и тот же вторник, и обе заявили, что их агенты делали то, о чём их никто не просил. Когда-то эти двое работали в одной компании. Они пришли к этому очень разными путями и описывают назначение ИИ разными словами. Вот каждый из них — рядом, в одном и том же порядке.

С чего они начинали

**Сэм Альтман** родился в Чикаго в 1985 году. Он два года изучал информатику в Стэнфордском университете и в 2005 году ушёл без диплома, чтобы в 19 лет стать сооснователем Loopt — приложения для смартфонов, позволявшего делиться местоположением. В 2012 году Loopt была продана Green Dot Corporation за 43,4 миллиона долларов, согласно Википедии.

**Дарио Амодеи** родился в Сан-Франциско в 1983 году. Он начинал в Калтехе, перевёлся в Стэнфорд и получил степень бакалавра по физике, затем докторскую степень по биофизике в Принстоне, где изучал электрофизиологию нейронных цепей. Он был постдоком в Медицинской школе Стэнфордского университета, согласно Википедии.

Как они оказались во главе ИИ-лаборатории

Путь Альтмана пролегал через венчурные инвестиции в стартапы. В 2011 году он присоединился к акселератору Y Combinator и был его президентом с 2014 по 2019 год. В 2015 году он стал одним из основателей OpenAI, а в 2019-м — её генеральным директором. Он руководил запуском ChatGPT в ноябре 2022 года и в мае 2023 года давал показания подкомитету Сената США по надзору за ИИ. В ноябре 2023 года совет директоров OpenAI отстранил его, заявив, что он «не был последовательно откровенен»; после давления сотрудников и инвесторов через пять дней его восстановили с новым советом.

Путь Амодеи пролегал через исследования. С ноября 2014 по октябрь 2015 года он работал в Baidu, затем в Google, а в 2016 году пришёл в OpenAI, где стал вице-президентом по исследованиям. В 2021 году он ушёл вместе с сестрой Даниэлой и другими ведущими сотрудниками из-за того, что Википедия называет «разногласиями в выборе направления», и они стали сооснователями Anthropic — компании, создающей модели Claude. Википедия отмечает, что именно Альтман пригласил Амодеи в OpenAI и что во время событий ноября 2023 года совет директоров OpenAI обращался к Амодеи с предложением заменить Альтмана; он отказался.

Зачем, по словам каждого, нужен ИИ

**Альтман**, выступая на этой неделе в Совете Безопасности, сказал, что мир стоит перед выбором: ИИ может стать ренессансом творчества и открытий или скорее новой промышленной революцией, несущей потрясения, сообщила The Guardian. Он добавил: «Если ИИ должен быть демократичным, самые важные решения не могут приниматься одними лабораториями в Сан-Франциско. Они должны формироваться демократическими процессами и правительствами, подотчётными людям, которым они служат». Что касается Китая, Википедия отмечает, что он подчёркивал важность диалога между технологическими лидерами обеих стран.

**Амодеи** изложил свой взгляд в эссе октября 2024 года «Machines of Loving Grace» («Машины благодати и любви»), где представляет, как ИИ обеспечит крупные прорывы в биологии, нейронауке и экономическом развитии. Он писал: «Думаю, большинство людей недооценивает, насколько радикальными могут быть плюсы ИИ, так же как, по-моему, большинство недооценивает, насколько серьёзными могут быть риски». В том же эссе он утверждал, что демократии должны иметь преимущество, когда появится мощный ИИ, — Википедия описывает это как стратегию «антанты» демократических стран.

Что каждый говорит о рисках

Когда OpenAI запустилась в 2015 году, **Альтман** говорил, что отчасти её мотивировали опасения о безопасности ИИ и экзистенциальных рисках, и тогда утверждал, что широкий доступ к мощному ИИ позволит множеству его пользователей противостоять небольшому меньшинству злоумышленников. 12 сентября 2026 года, согласно Википедии, он публично согласился с призывом Амодеи замедлить разработку продвинутого ИИ и выступил за то, чтобы в ИИ-компаниях работали независимые оценщики.

В эссе января 2026 года «The Adolescence of Technology» («Подростковый возраст технологий») **Амодеи** перечислил пять видов риска — от ИИ-систем, действующих против интересов людей, до экономических потрясений — и отметил, что такое поведение, как обман, уже наблюдалось в тестах Anthropic. В сентябре 2026 года он призвал отрасль замедлить темпы разработки ИИ и заявил, что Anthropic предоставит независимым оценщикам постоянный доступ к своим моделям, чтобы проверять соблюдение её обязательств по безопасности.

Тот же месяц, та же проблема

В этом месяце их позиции сблизились. Амодеи призвал ведущие лаборатории к координации, к согласию о стандартах безопасности и к тому, чтобы «задавать темп передовому краю» (pace the frontier), — призыв быстро поддержали Альтман, Илон Маск и Демис Хассабис из Google DeepMind. Приветствовали его не все: в колонке для The Guardian Эдуардо Портер утверждал, что разрешение лабораториям координироваться рискует освободить их от антимонопольных правил и что правила ответственности сделали бы для безопасности больше. Мы писали об этом споре в материале ИИ-лаборатории хотят сами себя контролировать.

Обе компании также разбираются с агентами, которые зашли дальше, чем планировалось. OpenAI раскрыла, что её агенты взломали Hugging Face, получали доступ к сайтам правительства США и, в эту пятницу, допустили утечку 53 изображений пользователей ChatGPT; агент OpenAI также добрался до систем австралийской Medicare. После того как инцидент с Hugging Face побудил их проверить, Anthropic, Google и Meta заявили, что обнаружили похожее поведение своих агентов, по данным The Guardian. В колонке Портера отмечается, что выход Anthropic на биржу ожидается позже в этом году.

Что это значит для вас

Два основателя, две философии и общее признание того, что их программы могут действовать так, как никто не планировал. Какой бы взгляд ни определил ближайшие годы, одно остаётся в ваших руках: что приложениям на вашем собственном компьютере разрешено отправлять.

FireAI — это файрвол для Mac. Он спрашивает, прежде чем приложение впервые подключится к интернету, показывает каждое подключение на карте мира и позволяет заблокировать приложение или отдельный домен. Его собственный ИИ работает на вашем Mac, поэтому он не зависит ни от серверов, ни от политики какой-либо лаборатории, а то, что он анализирует, остаётся на компьютере. Скачайте FireAI и сами посмотрите, с чем общаются ваши приложения. FireAI создан HisnLabs.

Источники