Como os modelos de decisão de IA podem mudar a moderação de conteúdo

À medida que os modelos de decisão se espalham pela indústria, uma empresa chamada Musubi tem uma nova ideia sobre como colocá-los em prática: moderar conteúdo. Na terça-feira, Musubi anunciou um modelo de decisão leve feito para moderação em tempo real chamado PolíticaLM-1.7Blançado com pesos abertos.

A ideia é pegar uma política de conteúdo escrita em inglês simples e aplicá-la às mensagens em menos de 50 milissegundos. O modelo de Musubi foi projetado para ser semelhante em custo e velocidade aos sistemas classificadores de IA que alimentam a moderação na maioria das plataformas sociais – mas como tem a flexibilidade de um LLM moderno, pode aplicar políticas complexas sem treinamento especial. Ainda mais importante, o modelo não necessitará de nova formação quando a política mudar, permitindo que os formuladores de políticas humanos iterem tanto quanto necessário.

Na opinião do cofundador e diretor de IA da Musubi, Filip Jankovic, isso dá aos gerentes de plataforma uma maneira de rotular o conteúdo de forma proativa.

“As equipes de produto querem apenas entender melhor o que está acontecendo em sua plataforma, especialmente porque a quantidade de conteúdo está aumentando exponencialmente”, diz Jankovic. “Ser capaz de rotular tudo isso de uma forma muito escalonável e personalizável é extremamente útil.”

Os modelos de decisão se tornaram um tema quente no mundo da IA ​​desde o lançamento do Jev da TypeSafe AI em setembro, que foi logo seguido por modelos de decisão concorrentes da OpenAI e da Amazon. Em vez de produzir texto, um modelo de decisão produz probabilidades de resultados, embora neste caso o modelo produza um julgamento binário: ou o conteúdo está na categoria ou não está. Ao limitar a saída do modelo a um conjunto de escolhas predeterminadas, os modelos de decisão são capazes de executar de forma mais rápida e barata do que os modelos de linguagem grandes, mantendo ao mesmo tempo a flexibilidade da arquitetura do transformador.

Um dos primeiros casos de uso é controlar o mau comportamento dos agentes de IA – portanto, é natural aplicar a mesma tecnologia ao mau comportamento humano.

Notavelmente, Jankovic diz que seu interesse em modelos de decisão é anterior a Jev, remontando a um projeto de 2024 chamado GLiNER (Modelo Generalista para Reconhecimento de Entidades Nomeadas) que implantou muitas das mesmas técnicas.

Ainda assim, Musubi não desconfia da comparação. Na verdade, a empresa está ansiosa para usar o novo interesse em modelos de decisão para esclarecer a moderação de conteúdo. “Se Jev chamou sua atenção, o PolicyLM-1.7B é o mesmo tipo de modelo, treinado especificamente para moderação de conteúdo, que você mesmo pode executar”, diz o anúncio do produto.