Microsoft alerta para a integridade dos modelos usados por agentes de IA
A investigação mostrou que um modelo adulterado pode passar avaliações comportamentais. A empresa diz que ainda não observou uso da técnica em ataques.
A Microsoft Threat Intelligence publicou em 10 de novembro uma análise sobre o risco de adulteração dos modelos que alimentam agentes de inteligência artificial. Numa demonstração de investigação, alterações localizadas a menos de dez neurónios foram suficientes para modificar o comportamento de um modelo em condições específicas. A empresa diz que ainda não observou a técnica a ser usada por atacantes.
Os pesos são valores internos que determinam como o modelo responde a uma entrada. A experiência mostra por que razão um conjunto de testes de comportamento pode deixar passar um artefacto adulterado: a amostra de interações usada para aprovar o modelo pode nunca conter a condição em que a mudança se torna visível. Isso dá importância à origem da versão instalada e à possibilidade de a verificar contra uma referência de confiança.
O risco também depende da arquitetura do serviço. Um modelo que apenas produz texto tem uma superfície de ação diferente da de um agente autorizado a escrever ficheiros ou operar serviços. Restringir as permissões à tarefa, isolar o ambiente e manter registos de ações reduz o alcance de um comportamento indevido. A validação da proveniência atua antes desse ponto, durante a distribuição e instalação.
A Microsoft descreve ainda a deteção de alterações anómalas na sua investigação. A demonstração torna defensável uma exigência concreta para equipas que distribuem agentes: manter uma referência verificável dos artefactos e poder explicar que ações o agente efetivamente executou. A cobertura dos métodos de deteção em arquiteturas e fluxos diferentes permanece por estabelecer.