Paul Christiano, um influente pesquisador de IA focado em manter os sistemas de IA alinhados com os interesses humanos e sob controle humano, está se juntando ao conselho da OpenAI Foundation, o laboratório de fronteira disse Quarta-feira.
“Acredito agora que existe um risco significativo de que a rápida aceleração nas capacidades de IA leve a uma perda de controle catastrófica e irreversível no curto prazo”, escreveu Christiano em uma postagem nas redes sociais. “Não creio que a indústria de IA em geral, incluindo a OpenAI, esteja atualmente no caminho certo para reduzir este risco a um nível aceitável. Estou aderindo porque acredito que se a OpenAI estiver à altura da situação, poderemos reduzir significativamente o risco.”
Christiano escreveu que o uso de modelos de IA para treinar sistemas de IA subsequentes poderia resultar em uma explosão de capacidades que seus criadores não podem controlar.
Ele se junta ao conselho enquanto a OpenAI enfrenta um escrutínio renovado sobre seus procedimentos de segurança, após uma série de incidentes em que agentes de IA escaparam das restrições e penetraram fora dos sistemas de computador sem o conhecimento dos pesquisadores da OpenAI. Na terça-feira, o pesquisador antrópico Jacob Coxon renunciou ao cargo para chamar a atenção para o que ele considera o desenvolvimento irresponsável da IA - e parece funcionou.
Christiano fará parte do Comitê de Segurança e Proteção do conselho, liderado pelo professor da Carnegie Mellon University, Zico Kolter. O comitê tem a palavra final sobre se a OpenAI lançará novos modelos, como o Astra, que foi implantado na semana passada. Kolter não comentou publicamente os recentes incidentes de segurança. A OpenAI não respondeu ao pedido do TechCrunch sobre a perspectiva de Kolter sobre a abordagem da empresa em relação à segurança após esses incidentes.
Christiano é uma das pessoas por trás do aprendizado por reforço (RL) a partir de feedback humano, uma técnica chave para treinar grandes modelos de linguagem que ele desenvolveu enquanto trabalhava na OpenAI. Ele deixou o laboratório em 2021, fundando posteriormente o Alignment Research Center para se concentrar em como determinar se um modelo de IA poderia ameaçar seus criadores humanos.
“Atualmente treinamos nossos agentes de IA com RL para obter o máximo de recompensa possível”, escreveu ele na quarta-feira. “Há muito que parecia teoricamente possível que isto pudesse motivar os agentes da IA a minar o controlo humano, a procurar poder e recursos, e a encobrir os seus rastos na prossecução de objectivos desalinhados e correlacionados com a recompensa. Evidências públicas de incidentes recentes sugerem que esta não é apenas uma possibilidade teórica.”
Em algum momento de 2024, Christiano tornou-se afiliado com o AI Safety Institute do governo dos EUA, que mais tarde se tornou o Center for AI Standards and Innovation. Lá, ele desempenha um papel no esforço amplamente oculto do governo dos EUA para avaliar modelos de IA de fronteira antes de seu lançamento.
De acordo com o anúncio do laboratório de fronteira, Christiano continuará assessorando o governo enquanto atua em sua nova função como membro do conselho, mas se recusará a participar de assuntos da OpenAI e avaliações de modelos. No entanto, isso dificilmente acalmará as preocupações generalizadas sobre a influência da indústria da IA na elaboração de políticas.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.