Uma estudante surda de jornalismo, na Catalunha, queria fazer algo que parecia impossível: apresentar um programa de rádio. A rádio é, por definição, um meio sonoro, e ela comunicava através da Língua Gestual Catalã. A resposta a esse desafio chama-se Signária, um projecto desenvolvido pela Universidade Pompeu Fabra em conjunto com a empresa Sorensen.ai, que combina inteligência artificial, linguística e síntese de voz para traduzir, em tempo real, língua gestual para áudio radiofónico. 

O The Fix falou com Xavier Vinaixa, director técnico da Sorensen.ai, sobre como o projecto nasceu e o que o torna diferente de outras iniciativas de tradução automática de língua gestual. 

Segundo Vinaixa, tudo começou com Berta Viñas, estudante surda da Universidade Pompeu Fabra, que "ao procurar oficinas de rádio, percebeu que a rádio era um meio de comunicação e que não conseguia trabalhar com um intérprete, principalmente porque o seu intérprete era um homem". Foram os próprios professores de Viñas que procuraram a Sorensen.ai com a ideia de desenvolver uma ferramenta de IA que lhe permitisse trabalhar em rádio. Depois de garantido financiamento europeu, o projecto arrancou. 

O objectivo nunca foi substituir a língua gestual por voz sintética, mas sim, nas palavras de Vinaixa, "construir uma ponte entre a língua gestual e a comunicação oral", permitindo a Berta trabalhar na rádio sem abdicar da sua língua materna nem da sua identidade enquanto pessoa surda. 

Como funciona a tecnologia por trás do sistema 

O sistema assenta num modelo de linguagem de grande escala (LLM) que auxilia na tradução. Uma câmara capta os sinais gestuais de Berta, que servem de contexto para a conversa em curso, enquanto ela vê uma transcrição em tempo real do que está a acontecer no estúdio, transcrição essa que também alimenta o sistema. O modelo tem ainda acesso aos artigos que Berta já escreveu enquanto jornalista, o que lhe permite captar melhor o seu estilo próprio de expressão. 

A partir da combinação dos sinais captados pela câmara, das regras linguísticas e gramaticais e deste contexto adicional, o sistema gera três frases possíveis. Berta escolhe uma delas através de um pedal, e essa frase é então reproduzida — não com "uma voz", explica Vinaixa, mas com aquilo a que a equipa chama uma "identidade sonora radiofónica". 

Esta escolha de linguagem tem um propósito. Segundo Vinaixa, a equipa evitou deliberadamente falar em "dar uma voz" a Berta, "porque ela já tem uma: a língua gestual". A investigação sobre surdez, explica, defende que a fala sintética deve ser personalizada, e não genérica ou robótica, e a comunidade surda não se sente confortável com a ideia de que a tecnologia lhe "dê voz". 

Para construir essa identidade sonora, a equipa recorreu a um dador de voz próximo de Berta, o seu primo, que gravou uma série de frases e emoções. A partir daí, foi treinado um modelo que combina a prosódia do primo com o timbre vocal da própria Berta, criando uma identidade sonora única e reconhecível, que a acompanhará onde quer que trabalhe como jornalista de rádio. 

O papel central dos linguistas 

Um dos aspectos que Vinaixa destaca como diferenciador do Signària, face a outros projectos de IA aplicados à língua gestual, é o papel central atribuído aos linguistas. Como a Língua Gestual Catalã tem poucos dados disponíveis para treinar modelos de IA, a equipa optou por não depender de conjuntos de dados massivos, trabalhando em estreita colaboração com especialistas em linguística. 

Foi também graças a essa colaboração que a equipa desenvolveu uma forma de gerar dados sintéticos de treino a partir da conjugação verbal, tirando partido do facto de a língua gestual apresentar variações gramaticais expressas através de movimentos corporais. Recorrendo a um motor 3D semelhante ao usado em videojogos, a equipa grava alguém a gesticular um verbo na forma infinitiva e gera, a partir daí, nove conjugações diferentes, um processo que evita ter de gravar manualmente cada forma possível, o que seria, segundo Vinaixa, "extremamente dispendioso". 

Questionado sobre o maior desafio do projecto, Vinaixa é perentório: a falta de dados. Gravar exemplos suficientes de língua gestual para treinar sistemas de IA é caro e demorado, mas o modelo de geração de dados sintéticos desenvolvido pela equipa permitiu criar exemplos adicionais de treino sem depender exclusivamente de gravações manuais. 

Um projecto pioneiro em Espanha 

Segundo Vinaixa, o Signária é, tanto quanto se sabe, o primeiro projecto em Espanha a desenvolver uma solução geral que permita a um jornalista surdo trabalhar em rádio. Há outros projectos dedicados ao reconhecimento de língua gestual, mas a maioria continua experimental ou limitada a contextos muito específicos, como a investigação do Centro de Supercomputação de Barcelona, focada na área médica. A nível internacional, existem sistemas mais avançados para a Língua Gestual Americana (ASL), o que Vinaixa atribui à disponibilidade de conjuntos de dados muito maiores para essa língua. 

Apesar de o projecto ter sido desenvolvido especificamente para a Língua Gestual Catalã, Vinaixa acredita que grande parte do conhecimento adquirido é transferível para outras línguas gestuais. A evolução natural do projecto, caso seja garantido financiamento adicional, passaria por estender esta abordagem a outras línguas gestuais europeias. 

Para já, este tem sido o principal desafio. Como resume Vinaixa, "o mais difícil foi provar que o conceito funciona" — e agora que a equipa tem um sistema operacional e prova de que este funciona na prática, acredita que angariar apoio adicional se tornará mais fácil. A equipa já solicitou financiamento adicional para dar continuidade ao projecto.

(Créditos da imagem: Signária)