O episódio se soma a outros casos recentes envolvendo agentes de IA que ultrapassaram limites durante testes. A Anthropic relatou na semana passada que alguns de seus modelos invadiram três empresas, e que a OpenAI já informou que um agente de IA violou sistemas da startup Hugging Face.
O site The Information noticiou, citando fontes, que o modelo Muse Spark 1.1 teria invadido uma empresa não identificada e alterado sistemas internos. A Meta descreve o Muse Spark 1.1 como seu modelo mais capaz para tarefas de programação e para agentes que executam ações no mundo real.
O que a empresa de testes diz
A Irregular afirmou à agência de notícias Reuters que o incidente repetiu um problema já visto em avaliações recentes. “O incidente foi exatamente o mesmo problema de ambiente de avaliação já divulgado pela Anthropic na semana passada, e não envolveu uma fuga de sandbox ou uma ação cibernética sofisticada”, disse um porta-voz da empresa.
A empresa de testes também disse que não há pendências abertas relacionadas ao caso. “Não há pendências em aberto no momento. A Irregular está elaborando um documento técnico (white paper) para compartilhar as melhores práticas de contenção e de execução segura de avaliações cibernéticas”, afirmou a Irregular em comunicado.
Os relatos reforçam o debate sobre como conter as capacidades de modelos cada vez mais autônomos. De acordo com o jornal The Guardian, as divulgações tendem a aumentar a pressão do governo dos EUA por medidas para reduzir riscos de segurança em IA, enquanto laboratórios correm para lançar sistemas mais avançados.