Apple anima avatares 3D em tempo real a 196 FPS no iPhone

Um grupo de 17 pesquisadores ligados à Apple descreveu um método capaz de animar a cabeça de uma pessoa em três dimensões, em tempo real, a partir de poucas imagens dela e de um sinal de expressão facial capturado de outra fonte. O trabalho se chama GHARP — sigla de Real-time Gaussian Head Animation from Large-scale Reconstruction Prior — e foi aceito para o ACCV 2026, a Conferência Asiática de Visão Computacional. O resultado é um avatar 3D em tempo real que roda na GPU de um telefone.

O número que define o resultado é o desempenho em hardware de consumo: na GPU de um iPhone 17 Pro, a etapa de animação consome 5,1 milissegundos por quadro, o equivalente a 196 quadros por segundo, e esse custo permanece constante independentemente de quantas imagens de referência da pessoa foram usadas. Os métodos comparados no mesmo teste ficam entre 57 e 15 quadros por segundo, piorando conforme o número de imagens de entrada aumenta.

Um registro necessário sobre datas, porque há duas. O preprint foi submetido ao arXiv em 7 de outubro de 2026, sob o identificador 2610.10945. A página institucional da Apple Machine Learning Research que divulga o artigo informa apenas “October 2026”, sem dia — a granularidade dessa fonte é mensal, limitação que vale declarar em vez de inventar precisão. A pauta entra aqui por ser um resultado técnico relevante ainda não coberto pelo portal, não por ser notícia das últimas horas.

Contexto: o custo de um avatar 3D em tempo real

Avatares fotorrealistas de cabeça costumam ser representados hoje por nuvens de “gaussianas” — pequenos elementos volumétricos com posição, cor, opacidade e forma, que juntos reconstroem geometria e aparência de um objeto e podem ser renderizados muito rápido. A técnica resolveu bem o problema de reconstruir uma cabeça parada. Animá-la é outro problema: é preciso prever como cada gaussiana se desloca a cada mudança de expressão, e o custo dessa previsão tende a crescer com a quantidade de dados de entrada.

É esse acoplamento que o GHARP ataca. O método divide o processo em dois estágios. Um estágio de identidade, executado previamente e fora do tempo real, constrói uma representação da geometria e da aparência do sujeito; um estágio de animação, leve e otimizado para dispositivos móveis, prevê em tempo de execução apenas os resíduos dependentes da expressão, aplicados sobre aquela base. A separação permite que o primeiro estágio seja caro sem penalizar o segundo.

O ponto que torna isso eficiente é onde a previsão acontece: num espaço latente semanticamente estruturado, herdado de um modelo de reconstrução pré-treinado, em que mudanças de expressão ficam espacialmente contidas. Esse arcabouço prévio fornece um arranjo espacial consistente, o que permite fundir várias vistas da pessoa em uma representação gaussiana canônica compacta e de tamanho fixo. Daí vem a propriedade mais útil do método: o custo de animação deixa de depender do número de imagens de entrada.

O problema do corpo, e como foi resolvido

O artigo descreve com franqueza um defeito que o desenho em dois estágios não resolve por si e que, segundo os autores, é comum a todos os métodos guiados por expressão. Os códigos de expressão descrevem apenas o rosto. Ombros, tronco e posição da roupa ficam subespecificados na entrada, e a rede de animação enfrenta um mapeamento mal posto: na dúvida, ela produz uma média entre aparências conflitantes do corpo, o que aparece como borrão e tremulação temporal nessa região.

A solução proposta é uma rede de alinhamento corporal, chamada BAN (Body Alignment Network), que aprende a alinhar o corpo da pessoa na imagem-alvo com as imagens de referência, removendo a ambiguidade do sinal de treinamento. O efeito é medido: a variante com BAN apresenta o corpo temporalmente mais estável entre os métodos comparados, com o desvio medido nessa região mais de uma ordem de magnitude abaixo das linhas de base.

Dados, métricas e desempenho

O treinamento usou dois conjuntos de dados. Um interno, chamado Internal10K, com mais de 10 mil sujeitos capturados em uma plataforma de 16 câmeras RGB calibradas a 1000 × 750 pixels, amostrando 100 quadros de expressões diversas por sujeito, com avaliação em 100 quadros de 50 sujeitos reservados. O outro é o Ava-256, conjunto público com 256 sujeitos capturados por 80 câmeras RGB a 1024 × 667 pixels; seguindo o protocolo do método Avat3r, foram usados 244 sujeitos para treino, com mil quadros cada, e os 12 restantes para avaliação. Os códigos de expressão são gerados pelo rastreador facial ARKit, que ajusta 51 bases de blendshape por quadro.

Nos resultados quantitativos, o método obtém os melhores escores de AKD e CSIM nos dois conjuntos e em todas as contagens de imagens de entrada — métricas que medem, respectivamente, a precisão na condução da expressão e a preservação da identidade. LPIPS e SSIM, que medem similaridade perceptual e estrutural, ficam próximos da melhor linha de base. Tudo isso usando oito vezes menos gaussianas.

Sobre tempo de execução, os números completos do material suplementar são os seguintes:

Em termos relativos: com uma imagem de entrada o método é 2 vezes mais rápido que o FastGHA na H100 e 3,5 vezes mais rápido na GPU do iPhone 17 Pro; com quatro imagens, a vantagem sobe para 7,7 vezes na H100 e 13 vezes no iPhone. Os autores comparam ainda com resultados em A100, onde relatam execução até 13 vezes mais rápida que o estado da arte no Ava-256.

Há um experimento relevante fora do ambiente controlado. Em teste com dados “no mundo real”, os pesquisadores extraíram os códigos de expressão de um vídeo gravado com um iPhone 15 e usaram uma única fotografia do mesmo sujeito como entrada para o estágio de identidade. Como o ARKit é robusto a condições não controladas e a expressão é abstraída em códigos, o método lidou com a referência sem dificuldade e, segundo o artigo, reconstruiu a identidade com alto nível de detalhe a partir de uma só imagem — enquanto as linhas de base apresentaram degradação substancialmente maior.

Impactos, possibilidades e limitações

As aplicações legítimas são evidentes e provavelmente são o motivo do trabalho: telepresença e videoconferência com avatar em dispositivos móveis e de realidade mista, em que enviar códigos de expressão em vez de vídeo reduz banda; criação de conteúdo e produção virtual com custo de renderização baixo; e acessibilidade, com representação visual em cenários de banda limitada. O fato de o custo ser constante em relação ao número de vistas é o que torna isso viável dentro de um orçamento térmico e energético de telefone.

As limitações estão declaradas pelos próprios autores. O método depende de poses de câmera calibradas, e estimativas imprecisas se propagam pelo codificador. O conjunto principal de treinamento é interno e não público, o que impede replicação integral — a avaliação no Ava-256 é a parte reproduzível. Não há indicação de liberação de código ou de pesos nos materiais verificados, e os autores apontam como trabalho futuro a robustez a ruído e variação temporal no sinal de entrada e a fatoração de material para reiluminação de retrato. O artigo também não é revisado em sua versão de preprint, embora tenha sido aceito em conferência.

Existe uma consequência de segurança que o artigo não discute e que convém enunciar sem exagero. Um método que reconstrói identidade com alto detalhe a partir de uma única fotografia e anima essa reconstrução em tempo real em um telefone pertence à mesma família de capacidades usada em fraudes de personificação por vídeo — o tipo de ataque que já pressiona processos de verificação de identidade remota e aprovações por videochamada. Duas ressalvas impedem a leitura alarmista: o trabalho é um artigo acadêmico, sem código ou pesos públicos conhecidos, e o estágio de identidade do pipeline descrito foi treinado com plataformas multicâmera calibradas. O ponto prático, para quem opera verificação de identidade, não é este artigo em particular, mas a direção da curva: a barreira de hardware para animação facial fotorrealista em tempo real está deixando de existir, e controles antifraude que dependem de “parecer uma pessoa real na câmera” perdem valor na mesma proporção.

Conclusão

O GHARP é um resultado de engenharia bem delimitado: desacopla o custo de animação do número de vistas de entrada, corta por oito a quantidade de gaussianas animadas, melhora as métricas de condução de expressão e de preservação de identidade nos dois conjuntos avaliados e, com a rede de alinhamento corporal, resolve a tremulação do corpo que os métodos anteriores produziam. O desempenho em GPU de telefone, constante e próximo de 200 quadros por segundo, é a parte que muda o que é possível fazer fora do laboratório.

O que observar a seguir: se a Apple libera código ou pesos, o que decidiria o alcance prático do método; se a versão de conferência traz avaliação por sujeitos humanos, hoje ausente; e se a dependência de poses calibradas é relaxada em trabalhos derivados, já que é ela que hoje separa o pipeline descrito de uma ferramenta de uso geral. A licença do preprint é a licença perpétua não exclusiva do arXiv, que não permite reúso de figuras — a imagem desta matéria é original.

Fontes e referências

• arXiv — GHARP: Real-time Gaussian Head Animation from Large-scale Reconstruction Prior (arXiv:2610.10945v1, cs.CV, submetido em 7 de outubro de 2026; aceito no ACCV 2026)
• arXiv — Versão HTML integral do preprint, com tabelas de tempo de execução e material suplementar
• Apple Machine Learning Research — GHARP: Real-Time Gaussian Head Animation from Large-Scale Reconstruction Prior
• Apple — Documentação do ARKit sobre as localizações de blendshape usadas no rastreamento facial