O enigmático sorriso pintado da "Mona Lisa" é conhecido em todo o mundo, mas esse rosto famoso recentemente exibiu uma surpreendente nova gama de expressões, cortesia da inteligência artificial (IA).
Em um vídeo compartilhado no YouTube em 21 de maio, três videoclipes mostram exemplos desconcertantes da Mona Lisa enquanto ela move os lábios e vira a cabeça. Ela foi criada por uma rede neural convolucional - um tipo de IA que processa informações da mesma forma que o cérebro humano, para analisar e processar imagens.
Os pesquisadores treinaram o algoritmo para entender as formas gerais das características faciais e como elas se comportam em relação umas às outras, e depois aplicar essas informações às imagens estáticas. O resultado foi uma sequência de vídeo realista de novas expressões faciais a partir de um único quadro.
Para os vídeos da Mona Lisa, a IA "aprendeu" o movimento facial a partir de conjuntos de dados de três sujeitos humanos, produzindo três animações muito diferentes. Enquanto cada um dos três clipes ainda era reconhecível como a Mona Lisa, variações na aparência e no comportamento dos modelos de treinamento emprestavam "personalidades" distintas aos "retratos vivos", Egor Zakharov, engenheiro do Instituto de Ciência e Tecnologia Skolkovo, e o Samsung AI Center (ambos localizados em Moscou), explicado no vídeo.
Zakharov e seus colegas também geraram animações a partir de fotos de ícones culturais do século XX, como Albert Einstein, Marilyn Monroe e Salvador Dali. Os pesquisadores descreveram suas descobertas, que não foram revisadas por pares, em um estudo publicado online em 20 de maio na revista pré-impressão arXiv.
Produzir vídeos originais como esses, conhecidos como deepfakes, não é fácil. As cabeças humanas são geometricamente complexas e altamente dinâmicas; Os modelos 3D de cabeças têm "dezenas de milhões de parâmetros", escreveram os autores do estudo.
Além disso, o sistema de visão humana é muito bom em identificar "até pequenos erros" em cabeças humanas modeladas em 3D, de acordo com o estudo. Ver algo que parece quase humano - mas não exatamente - desencadeia uma sensação de profundo desconforto, conhecido como efeito estranho do vale.
A IA já havia demonstrado que é possível produzir deepfakes convincentes, mas era necessário vários ângulos do assunto desejado. Para o novo estudo, os engenheiros introduziram a IA em um conjunto de dados muito grande de vídeos de referência mostrando rostos humanos em ação. Os cientistas estabeleceram marcos faciais que se aplicariam a qualquer rosto, para ensinar à rede neural como os rostos se comportam em geral.
Em seguida, eles treinaram a IA para usar as expressões de referência para mapear o movimento dos recursos da fonte. Isso permitiu à IA criar um deepfake, mesmo quando tinha apenas uma imagem para trabalhar, relataram os pesquisadores.
E mais imagens de origem produziram um resultado ainda mais detalhado na animação final. Os vídeos criados a partir de 32 imagens, em vez de apenas uma, alcançaram "realismo perfeito" em um estudo com usuários, escreveram os cientistas.
