*A diferença entre os dois não é só de nomenclatura. Modelos de nível alto precisam de salvaguardas suficientes antes de serem lançados. Modelos de nível crítico exigem salvaguardas já durante o desenvolvimento, independentemente de haver ou não plano de lançamento.
*O documento monitora de perto três áreas, chamadas de Categorias Rastreadas: capacidades biológicas e químicas, cibersegurança e autoaperfeiçoamento da IA — a habilidade de um sistema acelerar a pesquisa em IA, inclusive a própria.
*Para uma capacidade entrar nessa lista, o risco precisa cumprir cinco critérios: ser plausível, mensurável, severo, inédito (não realizável com as ferramentas disponíveis até 2021) e instantâneo ou irremediável.
*No caso da cibersegurança, o limiar crítico está definido com precisão no documento: um modelo com ferramentas acopladas capaz de identificar e desenvolver falhas zero-day funcionais de todos os níveis de gravidade em muitos sistemas críticos reais bem protegidos, sem intervenção humana — ou capaz de conceber e executar estratégias inéditas de ataque de ponta a ponta contra alvos endurecidos, recebendo apenas um objetivo geral.
*O risco associado, segundo a própria OpenAI, é de “catástrofe por atores unilaterais, invasão de sistemas militares ou industriais, ou da infraestrutura da OpenAI”.
*A salvaguarda prevista no papel para esse patamar é dura: interromper o desenvolvimento até que estejam especificados padrões de proteção e controles de segurança à altura do nível crítico. Foi o que a OpenAI diz ter feito: depois do incidente com a Hugging Face, a empresa pausou por duas semanas parte do treinamento de fronteira, inclusive do Astra, para reforçar isolamento, controles de rede e monitoramento.