Leitura labial: pesquisa da Universidade do Kansas revela padrões de erros, diz Michael Vitevitch

Observar o rosto de alguém pode revelar muito do que a pessoa está dizendo - por isso, em conversas com muito barulho, é comum que a gente acabe olhando para os lábios de quem fala.

Para quem tem perda auditiva, a leitura labial pode ser uma forma essencial de compreender a fala. Ainda assim, existe um grande obstáculo: as pessoas frequentemente interpretam palavras de forma errada, mesmo quando têm certeza de que entenderam o que viram.

Um estudo recente ajuda a esclarecer por que esses enganos acontecem. Em vez de tratar os erros de leitura labial como deslizes aleatórios, os pesquisadores identificaram padrões consistentes por trás deles.

Os resultados indicam que algumas palavras são simplesmente muito mais difíceis de diferenciar, porque parecem quase idênticas quando são pronunciadas.

Estudando os erros na leitura labial

Muitas pesquisas anteriores se concentravam em verificar se as pessoas acertavam a palavra e em medir o quanto as respostas se aproximavam dos sons da palavra original.

Neste trabalho, o caminho foi outro: os pesquisadores olharam diretamente para os erros e buscaram entender as razões que levam a eles.

Na Universidade do Kansas, uma equipa liderada pelo professor Michael Vitevitch, do Departamento de Fonoaudiologia e Audiologia, começou a revelar padrões que não eram óbvios à primeira vista.

Essas descobertas podem contribuir tanto para melhorar o treino de leitura labial quanto para aumentar a precisão de tecnologias de reconhecimento de fala.

Padrões visuais das palavras

A equipa montou um mapa visual com cerca de 20.000 palavras do inglês. Em vez de agrupar as palavras pelo som, o mapa as organizou pelo modo como elas parecem quando são ditas.

“Do que tratamos neste estudo é de como as pessoas basicamente fazem leitura labial, o quão precisas elas são e, mais especificamente, que tipos de erros elas cometem”, disse Vitevitch.

“Muito do trabalho anterior avaliou o nível de acerto das pessoas e não necessariamente observou as características dos próprios erros. Há muito a aprender com os erros que você comete, e foi essa a abordagem que adotamos.”

“Nós nos concentrámos nas características visuais”, disse Vitevitch. “Em vez de verificar quantos sons da palavra as pessoas captavam, analisámos quantas características visuais - que chamamos de ‘visemas’ (o equivalente visual de um fonema) - elas captavam. O nosso foco foi no que você obtém a partir dos lábios, da mandíbula e da boca, sem usar o som. Você está apenas tentando obter a informação a partir do que está vendo.”

Por que as palavras se confundem

Algumas palavras são parecidas no som e também na aparência quando pronunciadas. Em outros casos, palavras soam completamente diferentes, mas geram movimentos da boca quase iguais - o que as torna, surpreendentemente, fáceis de confundir.

“Como esse som ‘parece’ quando é falado? Nós não nos importamos com como ele soa; nós nos importamos com como ele parece quando é falado”, disse Vitevitch.

“Às vezes, as palavras soam parecidas e parecem parecidas, como ‘fita’, ‘feta’ e ‘fundo’. Em outros momentos, as palavras não soam parecidas, mas ainda assim parecem parecidas, como ‘veto’, ‘feito’ e ‘fuso’. Nos dois casos, se você estiver apenas olhando para o meu rosto, não conseguiria distinguir uma palavra da outra.”

A análise da equipa encontrou alguns padrões importantes. As pessoas tendem a confundir uma palavra com outra que é mais usada no dia a dia.

Cerca de um terço das palavras do inglês tem pelo menos uma “sósia” visual quando é falada. Palavras com muitos “vizinhos” visuais são, de forma consistente, mais difíceis de identificar corretamente. Além disso, os erros de leitura labial costumam ocorrer dentro de grupos de palavras visualmente semelhantes, e não ao acaso.

Mapeando a fala visual

O mapa visual mostrou que as palavras não ficam distribuídas de maneira uniforme. Há regiões da rede em que muitas palavras dividem movimentos de boca muito parecidos, tornando-as mais difíceis de separar.

“Uma surpresa foi que as pessoas não são tão boas nisso”, disse Vitevitch. “A gente acha que é, mas na verdade não é. A maioria dos erros mostra que você fica a uma ou duas características visuais - um ou dois visemas - de distância. Você acerta uma boa parte, mas talvez não o suficiente para se virar.”

O mapa também revelou padrões inesperados na forma como as palavras se organizam.

“Certas áreas ficam mais comprimidas do que você imaginaria”, afirmou. “A paisagem se estica e se comprime de maneiras que não prevíamos. Esse esticamento e essa compressão têm implicações para o quão preciso você vai ser ao tentar fazer leitura labial. Isso te dá mais concorrentes do que você teria de outra forma? Ou afasta as coisas e as torna mais distintas do ponto de vista perceptivo?”

Melhorando a tecnologia de fala

A leitura labial nunca foi perfeita, porque muitos sons da fala produzem movimentos da boca quase indistinguíveis. Naturalmente, as pessoas combinam informação visual com som, expressões faciais e contexto para entender o que foi dito.

Quando o áudio não existe ou está ruim, essas limitações visuais ficam muito mais evidentes. Os pesquisadores esperam que os resultados levem a métodos de treino mais eficazes.

“A ideia é que, se você acompanha os erros das pessoas ao longo do tempo, esses erros devem começar a encolher na direção da palavra-alvo”, disse Vitevitch. “Em vez de ficar longe, as pessoas passam a captar a informação de que precisam e a fazer suposições mais precisas.”

O trabalho também pode melhorar a transcrição automática de fala, ao oferecer aos computadores mais uma fonte de informação além do som.

“Sistemas como o Zoom já fazem um trabalho razoável ao transcrever fala”, disse Vitevitch. “Eles poderiam fazer melhor se usassem não apenas o áudio, mas também a informação visual do rosto de quem fala? Computadores são muito bons em encontrar padrões, e às vezes são os mesmos padrões que os humanos usam. Talvez a gente consiga treinar computadores para fazer as coisas de um jeito mais parecido com o humano.”

A equipa pretende ampliar a investigação. “Continuamos a explorar como as pessoas fazem isso, possivelmente avançando para aplicações com aprendizagem de máquina e encontrando formas de ajudar pessoas que precisam de apoio para compreender a fala”, disse ele.

O estudo completo foi publicado na Revista da Sociedade Acústica da América.