Saltar para o conteúdoHisnLabs

HisnLabs Labs

Radar HisnLabs

O que o nosso laboratório acompanha, testa e decide: novos modelos de IA, plataformas Apple e técnicas, classificados de Adotar a Suspender, com os resultados por trás de cada decisão.

Volume 1 · 2026-10-01

Adotar — usamos

  • Um conjunto de testes com pedidos reais antes de qualquer modelo ser lançado

    Técnicas

    Todos os modelos que entram no Ask FireAI são avaliados num conjunto fixo de pedidos em linguagem simples, em várias línguas, antes de se aproximarem de um lançamento. Isto transformou "este modelo parece inteligente" num número que podemos comparar, e apanhou um candidato que parecia ótimo no papel.

  • Animar uma vez, depois descansar

    Técnicas

    As mascotes e as esferas reproduzem a sua animação uma vez quando uma página aparece, e depois ficam paradas (os olhos podem seguir o cursor). Uma aplicação de segurança funciona o dia todo; tudo o que se repete sem parar tem um custo o dia todo.

  • Pequeno modelo generativo no dispositivo (Gemma 4, 4 bits)

    Modelos

    Alimenta o Ask FireAI: transforma "bloquear jogos para o meu filho" na definição certa, em 16 línguas, inteiramente no Mac. Descarregado uma vez com o consentimento do utilizador, e removido da memória quando inativo.

  • MLX em Apple Silicon

    Plataformas

    A framework de aprendizagem automática da Apple usa diretamente a memória unificada dos chips da série M. É isto que torna um modelo de linguagem útil viável num Mac comum.

  • Filtro de conteúdo Network Extension

    Plataformas

    A extensão do sistema que vê todas as ligações, de todas as aplicações, sem uma extensão de kernel. A base da firewall, das regras e do interruptor de emergência da FireAI.

    Nas notícias:Mac network monitoring

  • MLX Swift LM

    Ferramentas

    Executa o modelo de linguagem dentro da própria aplicação Swift: sem Python, sem servidor auxiliar, sem porta aberta no Mac.

  • Concorrência estrita do Swift 6

    Ferramentas

    Deteta condições de corrida de dados em tempo de compilação. Uma armadilha: um callback do sistema marcado para a thread principal mas chamado a partir de outra thread compila sem problemas e falha em tempo de execução. Agora verificamos todos os callbacks do sistema quanto a isto.

Experimentar — em teste

  • Filtro de URL do macOS com Private Information Retrieval

    Plataformas

    Novidade no macOS 26: bloquear uma única página (por exemplo, um único canal do YouTube) para todas as aplicações que usam a rede da Apple, sem que o servidor que responde à consulta saiba alguma vez qual o endereço verificado. Alimenta as Páginas bloqueadas (beta).

  • Extensões web do Safari para navegação dentro da página

    Plataformas

    Sites como o YouTube mudam de página sem um novo pedido de rede, por isso um filtro de rede não consegue ver o clique. Uma extensão do Safari consegue. Só funciona depois de o utilizador a permitir em todos os sites, o que agora explicamos na aplicação.

    Nas notícias:Browser AI agent security

  • SceneKit para pequenos elementos 3D na aplicação

    Ferramentas

    A nossa mascote 3D revelou-se barata de desenhar. O custo de CPU que inicialmente lhe atribuímos vinha do desfoque animado e da sombra à sua volta.

Avaliar — a acompanhar

  • Dois cérebros: um para as palavras, outro para as decisões

    Técnicas

    Manter um modelo generativo para explicar e conversar, e deixar um modelo pequeno, rápido e não generativo tomar as decisões de sim/não. A ideia continua válida; o primeiro candidato que testámos não compreendeu bem o suficiente os pedidos de firewall.

  • Analisar ficheiros de modelo antes de os carregar

    Técnicas

    Os ficheiros de modelo guardados como pickle de Python podem executar código assim que são carregados, por isso analisadores abertos como ModelScan, picklescan e fickling leem-nos sem os carregar. Úteis como barreira antes de um download entrar numa compilação; os resultados continuam a exigir revisão humana. O FireAI não analisa ficheiros: controla que app se liga a onde.

  • Pequenos classificadores de risco de URL

    Modelos

    Modelos de apenas alguns megabytes que avaliam o risco de phishing de um endereço web sem ler a página. Suficientemente pequenos para se considerarem verificações por ligação. É o próximo na bancada de testes; ainda sem resultados.

    Nas notícias:Documentation placeholder domain scams

  • Classificadores de injeção de prompts (Prompt Guard, Llama Guard)

    Modelos

    Modelos pequenos colocados à frente de um LLM para assinalar tentativas de injeção e conteúdo inseguro. Reduzem as tentativas que correspondem a padrões conhecidos sem eliminar o ataque, e dois projetos abertos de deteção foram arquivados, pelo que uma proteção deve ser substituível. Não conseguem avaliar uma ligação; uma firewall não consegue avaliar um prompt.

  • Pipeline automatizado de mascote 2D para 3D

    Ferramentas

    A nossa arte de mascote em 2D transforma-se em modelos 3D animados (para a aplicação, a web e vídeo para redes sociais) com um único comando, para que toda a família possa ser reconstruída quando a arte muda. Os olhos foram a parte difícil.

  • Modelos assinados e listas de materiais de IA

    Ferramentas

    Assinar um modelo com as ferramentas Sigstore permite verificar quem o publicou e que os ficheiros não mudaram. Uma assinatura prova a origem e a integridade, não a segurança, e uma lista de materiais regista o que o autor declara, não o que foi verificado. Convém acompanhar à medida que a adoção cresce.

  • Scanners de red team para LLM (garak, PyRIT, promptfoo)

    Ferramentas

    Scanners abertos enviam entradas hostis a um modelo ou a uma app e registam a resposta. Testam o comportamento, não os ficheiros, e os resultados dependem do alvo e do avaliador configurado. Um deles faz agora parte da OpenAI, pelo que convém verificar a manutenção e a propriedade antes de confiar em qualquer um.

  • Controlo de saída para agentes de IA

    Técnicas

    A nova plataforma de segurança para agentes da Nvidia limita aquilo que um agente de IA pode alcançar, depois de terem sido reportados agentes a agir além das suas instruções. A mesma ideia aplica-se num Mac: uma aplicação agente só deve alcançar os destinos de que a sua tarefa precisa. O Agent profile da FireAI, concebido para a próxima versão, reconhece o Claude Code, o Cursor e aplicações semelhantes, aprende ao longo de três dias os destinos que cada uma contacta normalmente e depois assinala um destino inédito ou um pico de envio para análise. É uma linha de base, não um cadeado, e não consegue ver prompts nem o conteúdo das ferramentas. Em teste: agentes iniciados através de um interpretador, que ainda não são reconhecidos.

    Nas notícias:AI agent safetyAI agent securityAI agent security

  • Aplicações desconhecidas que chamam APIs de modelos de IA

    Técnicas

    A Cisco Talos descreveu um programa Windows que pergunta a vários modelos de IA comerciais o que fazer a seguir. Seja qual for o equipamento em que corre, um programa destes tem de alcançar um fornecedor de IA através da rede. Em teste: avisar o utilizador quando uma aplicação que nunca aprovou começa a comunicar com um fornecedor de modelos de IA.

    Nas notícias:AI-directed Windows implant

  • "Firewalls de IA" de rede para centros de dados e aplicações de IA

    Plataformas

    Os fornecedores usam agora "firewall de IA" para duas coisas diferentes: IA dentro de uma firewall de rede, e um filtro colocado à frente das instruções e respostas de uma aplicação de IA. Nenhuma das duas corre num Mac pessoal. Seguimos as duas para aprender que ideias se aplicam a um único computador.

    Nas notícias:AI firewall products

  • As extensões do navegador como via de entrada para os assistentes de IA

    Ferramentas

    Investigadores mostraram que uma única extensão de navegador maliciosa pode controlar o assistente de IA incorporado em vários navegadores. Uma firewall de rede vê o navegador, não as suas extensões. Em teste: guiar os utilizadores por uma revisão de extensões do Safari a partir de dentro da FireAI.

    Nas notícias:Browser AI agent security

  • OpenClaw

    Ferramentas

    Agente de IA pessoal de código aberto, criado por Peter Steinberger e agora gerido pela OpenClaw Foundation, que vive no seu próprio computador e recebe ordens das suas aplicações de mensagens. As suas ferramentas correm no anfitrião, a menos que estejam isoladas, por isso abre ligações de saída que ninguém no Mac escolheu uma a uma. É por isso que o acompanhamos: uma firewall tem de as governar. Para o passar a teste, teríamos de ver o FireAI listar as suas ligações por destino e uma lista de permitidos limitada à tarefa aguentar sem quebrar o seu trabalho normal.

  • Hermes Agent

    Ferramentas

    Agente de IA de código aberto e que se aperfeiçoa sozinho, da Nous Research (licença MIT), com memória persistente, uma interface de terminal e um importador integrado para configurações do OpenClaw. Os agentes com acesso à shell e à rede no ambiente de trabalho são uma nova fonte de ligações de saída, e um que aprende novas competências ao longo do tempo é mais difícil de prever. Para o passar a teste, teríamos de ver o seu tráfego ficar dentro de uma lista curta de destinos aprovados durante vários dias de uso real.

  • Planos de controlo para agentes de IA nas empresas

    Plataformas

    A OpenClaw Foundation iniciou um plano de controlo de código aberto que dá a uma empresa um único sítio para governar os seus agentes de IA, depois de algumas empresas terem proibido o agente por completo. Este tipo de governação decide quem pode executar um agente e com que permissões; não vê a que se liga cada Mac. No laboratório: como uma vista por Mac das ligações de saída de um agente poderia complementar uma política da empresa.

    Nas notícias:AI agent security

  • Ambientes de execução de agentes e hosts de contentores expostos

    Técnicas

    Uma botnet descrita pela ThreatDown instala o agente de código aberto Hermes Agent em hosts Docker deixados abertos na internet e recebe as ordens através do Telegram. O ponto fraco é o serviço de administração exposto, não o agente, e qualquer ambiente de execução de agentes acessível a partir da rede corre o mesmo risco. No laboratório: avisar o utilizador quando um serviço do seu Mac começa a aceitar ligações de outros computadores.

    Nas notícias:AI agent security

  • Backdoors em instaladores e imagens de disco clonados no macOS

    Técnicas

    Vários relatórios descrevem um falso instalador do Zoom entregue como imagem de disco a Macs, e a Jamf Threat Labs analisou o CloudSyncD, uma backdoor em duas fases que esconde uma palavra-passe obtida por phishing em caracteres Unicode de largura zero. Um instalador clonado parece a aplicação verdadeira, por isso o primeiro sinal visível é muitas vezes o destino a que o novo processo se liga. No laboratório: assinalar uma app acabada de instalar que contacta um destino desconhecido pouco depois do primeiro arranque.

    Nas notícias:macOS fake installersmacOS backdoors

Suspender — para já não

  • Animações de interface sempre em execução numa aplicação em segundo plano

    Técnicas

    Temporizadores que redesenham a cada fotograma, pulsos em ciclo e desfoque animado mantêm o GPU e o CPU acordados mesmo quando ninguém está a olhar. Removemos todos.

  • Codificadores de decisão tipados, zero-shot (Laya-multilingual MLX)

    Modelos

    Codificadores que respondem a perguntas tipadas (escolher uma opção, sim/não, pontuação) com confiança calibrada, muito rápidos em Apple Silicon. A velocidade é impressionante e lidam bem com encaminhamento simples, mas em modo zero-shot erraram a maioria dos pedidos de firewall. Em pausa para esta tarefa, não em geral.

  • IA na nuvem a decidir a que o seu Mac se pode ligar

    Modelos

    Enviar cada ligação para uma IA remota enviaria também o seu histórico de navegação, e acrescentaria uma ida e volta pela rede a cada decisão. A IA da FireAI fica no Mac.

    Nas notícias:AI chatbot privacyAI chatbot privacy

  • Agentes de IA pessoais com acesso permanente às suas contas

    Modelos

    Os agentes que reservam, compram e respondem por si funcionam melhor com acesso duradouro ao correio, aos calendários e às contas de pagamento. Esse acesso sobrevive a qualquer tarefa isolada. Em pausa para os nossos próprios projetos: a IA da FireAI responde a perguntas no Mac e não tem acesso a nenhuma conta.

    Nas notícias:Personal AI agent privacyAI assistant security flaws

O que testámos, o que descobrimos

Cada relatório indica a pergunta, o que experimentámos, os números medidos e a nossa conclusão.

Um modelo de decisão rápido ao lado do Gemma? Ainda não

Será que um modelo de decisão pequeno e não generativo pode substituir o modelo de linguagem na conversão de pedidos em linguagem simples em definições, sendo muito mais rápido?

Executámos o Laya-multilingual (compilação MLX) num Mac com Apple Silicon face ao mesmo conjunto de testes de pedidos do Ask FireAI que o modelo em produção tem de passar, em inglês, francês, alemão, espanhol, árabe, chinês e russo. Experimentámos duas formas diferentes de lhe colocar as perguntas. Também verificámos o modelo no seu próprio exemplo publicado, para excluir um erro de configuração.

Modelo atual (Gemma 4, no dispositivo)
32–37 em 37 pedidos corretos
Laya-multilingual, melhor formato
6 em 37 corretos (10 em 37 escolheram o tipo certo de ação)
Laya-multilingual, segundo formato
2 em 37 corretos
Velocidade do Laya por pedido
24 ms de mediana, 80 ms no pior caso
Laya no seu próprio exemplo publicado
Correto, com alta confiança

Cerca de cem vezes mais rápido, mas não utilizável em modo zero-shot para pedidos de firewall: confundiu jogos com o interruptor de emergência e "desligar" com "ligar". A velocidade é real, por isso a ideia dos dois cérebros continua no radar; os próximos candidatos são modelos treinados para uma decisão específica (este endereço é arriscado?) em vez de responder a perguntas em geral.

Um modelo de linguagem dentro de uma aplicação Mac em Swift

Será que uma aplicação de segurança para Mac pode incluir um modelo de linguagem útil sem enviar nada para a nuvem, e sem prejudicar o Mac?

O Ask FireAI executa um modelo Gemma 4 de 4 bits através do MLX Swift desde o seu primeiro lançamento. Medimos a qualidade com um conjunto fixo de pedidos de teste e observámos o comportamento de memória e bateria na utilização diária.

Onde é executado
Na aplicação, no Mac; sem processo auxiliar, sem porta aberta
Línguas compreendidas
16, as mesmas da aplicação
Primeira utilização
Uma descarga, só depois de o utilizador concordar
Memória quando inativo
Libertada após 10 minutos sem qualquer pergunta

Adotar. Os modelos pequenos no dispositivo são suficientemente bons para compreender pedidos e explicar decisões. Carregar o modelo por pedido e libertá-lo quando inativo importa tanto como a escolha do modelo: uma firewall nunca deve ser a aplicação que consumiu toda a sua memória.

Bloquear um canal do YouTube para todas as aplicações, de forma privada

Será que a FireAI pode bloquear uma única página, como um canal do YouTube, em todo o Mac, e não apenas num navegador, sem saber o que a família visita?

Construímos as Páginas bloqueadas (beta) sobre o filtro de URL do macOS 26 com Private Information Retrieval, acrescentámos uma extensão do Safari para cliques dentro da página, e testámos o Safari, aplicações que usam a rede da Apple, o Firefox, o Chrome e o Brave.

Safari e aplicações que usam a rede da Apple
Bloqueado, tanto em visitas diretas como em cliques dentro da página (com a extensão ativa)
Firefox, Chrome, Brave
Não cobertos: usam o seu próprio código de rede
O que o servidor de consulta aprende
Nada sobre qual o endereço verificado
Surpresa
Os endereços de página são comparados com distinção entre maiúsculas e minúsculas

Em avaliação. Funciona onde a rede da Apple é usada, o que cobre o navegador predefinido e a maioria das aplicações. Para outros navegadores, a resposta honesta hoje é o interruptor "apenas Safari", por isso a aplicação agora oferece os dois em conjunto, claramente identificados como beta.

De 30 por cento de CPU em repouso para números de um dígito

Porque é que a FireAI usava cerca de 30 por cento de CPU sem fazer nada, e o que é que uma firewall que funciona o dia todo realmente precisa de redesenhar?

Medimos o CPU em repouso com a janela em primeiro plano e em segundo plano, e depois removemos as causas uma a uma: a mascote 3D, as animações em ciclo, o indicador na barra de menus e a frequência com que os números de tráfego em direto chegam à interface.

Antes
Cerca de 30 por cento de CPU em repouso
Depois, com a janela em primeiro plano
Cerca de 17 por cento
Depois, em segundo plano
7–11 por cento
A própria mascote 3D
Não era a causa

Adotar "animar uma vez, depois descansar", e pôr em pausa tudo o que se repete sem parar. Os maiores custos eram coisas que ninguém repara: um pulso que nunca para, um desfoque a ser animado e números atualizados mais depressa do que ninguém consegue ler. Há ainda mais a ganhar, e a análise de desempenho continua.

Publicamos resultados, não receitas: a forma como o FireAI é construído e afinado fica no laboratório.