PrismML traz seus pequenos LLMs para óculos inteligentes com tecnologia Qualcomm

O Laboratório de IA PrismaML – fundada por pesquisadores da Caltech e assessorada por Ion Stoica da UC Berkeley – criou uma versão de seus pequenos modelos de linguagem para óculos inteligentes rodando em chips Snapdragon da Qualcomm.

Na quarta-feira, no Snapdragon Summit da Qualcomm, a fabricante de chips apresentou o Bonsai LLM de 1 bit da PrismML, que pode ser executado localmente em óculos inteligentes de IA construídos na plataforma Snapdragon AR1 Gen 1.

Como o TechCrunch relatou anteriormente, a fama do PrismML é que ele reduz substancialmente os modelos maiores (neste caso, em 4x), enquanto mantém quase todo o seu desempenho em benchmarks padrão. A versão dos óculos inteligentes é um modelo de 2 bilhões de parâmetros ajustado para visão e linguagem, para que os usuários possam perguntar o que estão vendo em tempo real.

O objetivo maior do Prism é a IA de peso aberto que roda em dispositivos e faz melhor uso do poder de computação que eles já possuem. A startup apresenta isso como uma alternativa à dependência das promessas de privacidade dos laboratórios proprietários de IA e de sua necessidade insaciável de mais computação.

O lançamento de um modelo para o chip da Qualcomm é um passo em direção a essa visão. Mas nenhum óculos inteligente rodando PrismML foi anunciado ainda.