Два мозга: один для слов, другой для решений
Методы
Оставить генеративную модель для объяснений и общения, а решения «да/нет» доверить маленькой, быстрой, негенеративной модели. Идея остаётся верной; первый испробованный кандидат недостаточно хорошо понимал команды для брандмауэра.
Сканирование файлов моделей перед загрузкой
Методы
Файлы моделей, сохранённые как pickle Python, могут выполнить код в момент загрузки, поэтому открытые сканеры, такие как ModelScan, picklescan и fickling, читают их, не загружая. Полезны как заслон, прежде чем скачанный файл попадёт в сборку; результаты по-прежнему требуют проверки человеком. FireAI не сканирует файлы: он контролирует, какое приложение куда подключается.
Крошечные классификаторы риска URL
Модели
Модели весом в несколько мегабайт, оценивающие риск фишинга по веб-адресу без чтения самой страницы. Достаточно малы, чтобы рассмотреть их для проверки каждого соединения. Следующее на очереди в лаборатории; результатов пока нет.
В новостях:Documentation placeholder domain scams
Классификаторы инъекций в промпты (Prompt Guard, Llama Guard)
Модели
Небольшие модели перед LLM, отмечающие попытки инъекции и небезопасное содержимое. Они снижают число попыток, совпадающих с известными шаблонами, но не устраняют атаку, а два открытых проекта обнаружения заархивированы, поэтому защиту следует делать заменяемой. Они не оценивают соединение; межсетевой экран не оценивает промпт.
Автоматизированный конвейер из 2D в 3D для маскота
Инструменты
Наша 2D-графика маскота одной командой превращается в анимированные 3D-модели (для приложения, сайта и видео в соцсетях), поэтому всё семейство моделей можно пересобрать при изменении рисунков. Самым сложным оказались глаза.
Подписанные модели и спецификации состава ИИ
Инструменты
Подпись модели инструментами Sigstore позволяет проверить, кто её опубликовал и не изменились ли файлы. Подпись подтверждает происхождение и целостность, но не безопасность, а спецификация состава фиксирует то, что заявляет автор, а не то, что проверено. Стоит следить по мере роста применения.
Сканеры red team для LLM (garak, PyRIT, promptfoo)
Инструменты
Открытые сканеры отправляют враждебные входные данные модели или приложению и фиксируют ответ. Они проверяют поведение, а не файлы, и результаты зависят от цели и настроенного судьи. Один из них теперь входит в OpenAI, поэтому перед использованием любого стоит проверить сопровождение и владельца.
Контроль исходящих соединений для ИИ-агентов
Методы
Новая платформа безопасности агентов от Nvidia ограничивает то, куда может обращаться ИИ-агент, после сообщений об агентах, действовавших вне своих инструкций. Та же идея применима на Mac: приложение-агент должно обращаться только к тем адресам, которые нужны для его задачи. Agent profile от FireAI, созданный для следующей версии, распознаёт Claude Code, Cursor и похожие приложения, в течение трёх дней узнаёт, к каким адресам каждое из них обычно обращается, а затем отмечает для проверки первое в истории обращение к новому адресу или всплеск отправки данных. Это базовый профиль, а не замок, и он не видит промпты и содержимое инструментов. В лаборатории: агенты, запущенные через интерпретатор, которые пока не распознаются.
В новостях:AI agent safetyAI agent securityAI agent security
Неизвестные приложения, которые обращаются к API моделей ИИ
Методы
Cisco Talos описала программу для Windows, которая спрашивает у нескольких коммерческих моделей ИИ, что делать дальше. На каком бы устройстве она ни работала, такой программе нужно обратиться к поставщику ИИ по сети. В лаборатории: предупреждать пользователя, когда приложение, которое он никогда не одобрял, начинает общаться с поставщиком моделей ИИ.
В новостях:AI-directed Windows implant
Сетевые «ИИ-брандмауэры» для дата-центров и ИИ-приложений
Платформы
Поставщики теперь используют «ИИ-брандмауэр» для двух разных вещей: ИИ внутри сетевого брандмауэра и фильтр перед запросами и ответами ИИ-приложения. Ни то ни другое не работает на личном Mac. Мы следим за обоими, чтобы понять, какие идеи переносятся на отдельный компьютер.
В новостях:AI firewall products
Расширения браузера как путь к ИИ-ассистентам
Инструменты
Исследователи показали, что одно недобросовестное расширение браузера может управлять ИИ-ассистентом, встроенным в несколько браузеров. Сетевой брандмауэр видит браузер, но не его расширения. В лаборатории: проведение пользователей через проверку расширений Safari прямо внутри FireAI.
В новостях:Browser AI agent security
OpenClaw
Инструменты
Персональный ИИ-агент с открытым исходным кодом, созданный Питером Штайнбергером (Peter Steinberger) и теперь развиваемый фондом OpenClaw Foundation. Он живёт на вашем компьютере и принимает команды из ваших мессенджеров. Его инструменты работают на хосте, если не изолированы, поэтому он открывает исходящие соединения, которые никто на Mac не выбирал по одному. Поэтому мы за ним следим: межсетевой экран должен ими управлять. Чтобы перевести его в пробу, нам нужно увидеть, как FireAI перечисляет его соединения по адресам назначения, а список разрешённых адресов под конкретную задачу держится и не ломает его обычную работу.
Hermes Agent
Инструменты
Самосовершенствующийся ИИ-агент с открытым исходным кодом от Nous Research (лицензия MIT) с постоянной памятью, терминальным интерфейсом и встроенным импортом настроек OpenClaw. Агенты с доступом к оболочке и сети на рабочем столе дают новый источник исходящих соединений, а агент, который со временем осваивает новые навыки, труднее предсказать. Чтобы перевести его в пробу, нам нужно увидеть, что его трафик остаётся в коротком списке одобренных адресов в течение нескольких дней реального использования.
Плоскости управления для ИИ-агентов в компаниях
Платформы
OpenClaw Foundation начала разработку открытой плоскости управления, которая даёт компании единое место для управления ИИ-агентами, после того как некоторые организации полностью запретили этого агента. Такое управление решает, кто может запускать агента и с какими правами; оно не видит, к чему подключается каждый Mac. В лаборатории: как взгляд на исходящие соединения агента на уровне отдельного Mac мог бы дополнить корпоративную политику.
В новостях:AI agent security
Открытые наружу среды выполнения агентов и хосты контейнеров
Методы
Ботнет, описанный ThreatDown, устанавливает открытого агента Hermes Agent на Docker-хосты, оставленные открытыми в интернете, и получает команды через Telegram. Слабое место здесь открытая служба управления, а не агент, и любая среда выполнения агентов, доступная из сети, несёт тот же риск. В лаборатории: сообщать пользователю, когда служба на его Mac начинает принимать соединения с других компьютеров.
В новостях:AI agent security
Бэкдоры в клонированных установщиках и образах дисков на macOS
Методы
В отчётах описан поддельный установщик Zoom, который распространяется как образ диска для Mac, а Jamf Threat Labs разобрала CloudSyncD, двухэтапный бэкдор, прячущий выманный фишингом пароль в символах Unicode нулевой ширины. Клонированный установщик выглядит как настоящее приложение, поэтому первым заметным признаком часто становится то, куда подключается новый процесс. В лаборатории: отмечать только что установленное приложение, которое вскоре после первого запуска обращается к незнакомому адресу.
В новостях:macOS fake installersmacOS backdoors
HisnLabs