Anthropic dá acesso interno a seis avaliadores da METR e explicita limites de publicação
Termos clarificados em 16 de outubro permitem publicar conclusões sem veto, com categorias de informação sujeitas a supressão.
Seis colaboradores da METR começaram a receber equipamento, espaço de trabalho e acesso a ferramentas internas da Anthropic, num modelo de avaliação anunciado em 15 de outubro e clarificado no dia 16. A empresa descreve um acesso próximo do das suas próprias equipas de avaliação de risco.
Observar processos além de testar respostas
A METR é uma organização sem fins lucrativos que avalia sistemas de inteligência artificial. O acesso interno pode permitir examinar decisões, incidentes e salvaguardas que uma bateria de perguntas feita ao produto público não revela.
A organização já publica avaliações e revisões de relatórios de risco. Na sua página de trabalho, distingue avaliações de capacidades, revisões de avaliações das empresas e propostas de análise de riscos de perda de controlo.
Essa distinção ajuda a perceber o que poderá ser aprendido: medir desempenho num teste e avaliar se uma empresa identifica e gere os seus riscos são atividades relacionadas, com objetos e exigências diferentes.
Publicação sem veto, com limites definidos
Segundo os termos descritos pela Anthropic, a METR pode publicar as suas conclusões sem veto da empresa. A Anthropic pode exigir a supressão de informação que enquadre em categorias previamente definidas, como dados de clientes e material protegido por sigilo jurídico.
A empresa conserva a decisão final sobre o enquadramento nessas categorias. A METR reserva o direito de fazer certas declarações sobre o acesso e a informação recebidos. Assim, a independência de publicar precisa de ser lida juntamente com a possibilidade de limitar o material divulgado.
A arquitetura dos modelos também está entre as categorias normalmente excluídas. O acesso pertence a uma pequena equipa sujeita a acordos; não se estende automaticamente a todos os investigadores da METR.
O teste público será o relatório resultante
A Anthropic descreve três níveis de parceria. No primeiro, a divulgação depende de aprovação. No segundo, é possível publicar sem aprovação, com limites de confidencialidade. O terceiro acrescenta acesso semelhante ao de um trabalhador, como o atribuído à equipa da METR.
A novidade concreta é essa ampliação de acesso e a explicitação dos termos. O anúncio não fornece um resultado de segurança que permita concluir que os modelos se tornaram mais seguros.
Os relatórios futuros deverão permitir avaliar o que foi observado, que informação ficou de fora e como as limitações afetam as conclusões. O ganho de transparência será mais fácil de medir quando existirem análises públicas produzidas sob estas condições.