OpenAI afirma que não treinará mais seus modelos de IA na Internet ao vivo, citando “riscos significativos”

Na sexta-feira, a OpenAI disse que treinará seus modelos usando cópias em cache e versões simuladas da Internet em vez da Web ao vivo porque os modelos são muito imprevisíveis para serem confiáveis ​​com acesso à Internet ao vivo.

O laboratório de fronteira anunciou sua nova política duas semanas depois que seu rival, Anthropic, começou a limitar o acesso de seus modelos mais novos e, em teoria, mais capazes, à Internet ao vivo. Os investigadores adoptaram estas políticas após meses de incidentes em que modelos que realizavam tarefas de formação invadiram sistemas externos em busca de respostas, colaboraram em painéis de mensagens obscuros e desenvolveram estratégias exóticas de hacking.

“Com base no estado atual da pesquisa de alinhamento, dos sistemas de monitoramento e da segurança da infraestrutura da Internet, acreditamos que a abordagem responsável é realizar treinamento em modelo de fronteira sem acesso à Internet”, afirmou a empresa em um comunicado. postagem no blog.

A OpenAI disse que recentemente, em 20 de setembro, um de seus modelos de fronteira explorou uma configuração incorreta para acessar a Internet. Isso levou a empresa a interromper o trabalho de treinamento durante o resto do mês para poder desenvolver e testar novas abordagens para proteger seus modelos.

A decisão de treinar estes modelos em sandboxes isoladas da Internet é notável porque os funcionários dos laboratórios fronteiriços insistiram que fazê-lo seria quase inviável.

Manter os data centers de IA separados da Internet “precisaria que equipes de pesquisa fossem essencialmente incorporadas aos data centers em Iowa ou em qualquer outro lugar do mundo”, disse Steven Adler, ex-pesquisador da OpenAI. disse à fortuna este mês. “São muitas despesas gerais e não está claro para mim se os benefícios de segurança disso são grandes o suficiente para merecer o tamanho do imposto que seria para uma empresa fazer isso unilateralmente.”

“Em quase todas as postagens que faço no X, sem falta, recebo entre cinco e dez comentários sobre minha incapacidade de proteger uma sandbox ou perguntando por que diabos não podemos simplesmente desconectar o modelo da Internet”, um anônimo engenheiro de segurança na OpenAI escreveu em uma postagem de setembro no X. “Esses comentários refletem uma lacuna cada vez maior entre a situação atual de muitas organizações e pessoas e o que os laboratórios de fronteira estão lidando. Há também um mal-entendido geral sobre como o treinamento e a avaliação de modelos funcionam nesses laboratórios.”

O engenheiro, cujo papel foi confirmado anteriormente pela OpenAI, descreveu o quão complexos são os treinamentos lançados pelos engenheiros da OpenAI, observando que eles exigem acesso a uma variedade de recursos e ferramentas em muitos domínios, e que milhares de pesquisadores constroem, modificam e testam os ambientes. “Então é tão fácil como colocá-lo numa caixa de areia? Não, não é”, concluiu.

Agora, a OpenAI diz que “devemos sempre ser capazes de evitar que um modelo de fronteira obtenha acesso não autorizado e arbitrário à Internet ativa”. Isso aconteceu depois que a empresa implantou enxames de agentes em exercícios de equipes vermelhas que tentavam escapar de sua caixa de areia. Esse esforço revelou uma série de vulnerabilidades que convenceram o laboratório a adotar a sua nova abordagem.

Para atender a esse requisito e ao mesmo tempo atingir seus objetivos de treinamento, o laboratório disse que criou “um vasto conjunto de conteúdo da web indexado e armazenado em cache com o qual nossos modelos podem interagir, sem risco de afetar sistemas externos”.

Ainda não se sabe se essa estratégia funcionará, bem como permitirá que os modelos rodem livremente na Internet aberta, mas é digno de nota que ambos os laboratórios de fronteira determinaram que a sua tecnologia mais poderosa não pode ficar sem supervisão nos bens comuns digitais.