O novo modelo de voz de Block soa estranhamente humano
Bloco de Jack Dorsey lançado um novo modelo de voz do laboratório de pesquisa da empresa que funciona localmente e soa estranhamente humano com expressões como risos, pausas e choro. A empresa disse que o modelo, chamado Dessa, é totalmente treinado na fala humana e em um único rack de GPU NVIDIA.
Dessa é um modelo full-duplex, o que significa que pode falar e ouvir ao mesmo tempo, assim como o modelo GPT-Live OpenAI lançado no início deste ano. Normalmente, os modelos de fala são combinados com um grande modelo de linguagem para recuperação de conhecimento. Block disse que o conhecimento de Dessa vem dos dados conversacionais que possui.
Block disse que os modelos atuais podem parecer pouco naturais e irritantes porque possuem texto no pipeline que impulsiona a geração de fala. Muitos modelos como ElevenLabs v4 ou Drama de áudio de peixe 3 use marcas vocais para estimular a emoção na geração da fala. A empresa de Dorsey afirma que a emoção está incorporada em seu modelo. Não está claro se essa emoção está sendo controlada por algum tipo de etiqueta.
“Interagir com a IA de voz atual pode ser simplesmente uma droga. Ele transforma sua voz em texto e joga fora uma quantidade incrível de informações que o texto sozinho não consegue transportar. As IAs mais poderosas do mundo não conseguem ouvir como você se sente. Achamos que isso é ridículo, leva a uma experiência pior e é potencialmente perigoso”, disse a empresa em uma postagem no blog.
Os pesquisadores da empresa postaram vários exemplos de conversas com Dessa em que o agente tinha diferentes vozes, cadências e emoções. Por exemplo, na conversa, o bot disse que estava cansado do trabalho e naquele momento parecia cansado.
No exemplo abaixo, o bot estava falando sobre a pessoa deixando-a confortável enquanto parecia emocionada e quase desmoronando.
Outro mostra um membro da equipe do Block jogando com o assistente de voz.
A empresa disse que o modelo pode ser executado localmente em um computador de consumo, como um MacBook M4 Max ou superior. No entanto, não há acesso público a Dessa no momento, e Block lançou um apelo para que pesquisadores de segurança testem o modelo. É provável que isso teste casos em que um agente de voz possa enganar as pessoas do outro lado da linha.
A Block atua no ramo de finanças e vende suas soluções para pequenas empresas. Square já usa IA de voz para lidar com pedidos. Mas com seu próprio modelo de voz que pode ser executado no dispositivo, ele pode potencializar muito mais experiências de negócios e consumidores a um custo menor.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.
