Imagem original gerada pelo Plugged Ninja para esta matéria.
A Apple publicou em 19 de novembro de 2026, no repositório arXiv, o artigo que descreve o Depth Pro 2, uma família de modelos de estimativa de profundidade métrica monocular — isto é, que calculam a distância de cada pixel, em metros, a partir de imagens de uma câmera comum, sem sensor dedicado, par estéreo ou calibração prévia. O trabalho é assinado por Peiyun Hu, Marko Mihajlovic, Lyndon Duong, Lahav Lipson, Wei Dong, Amaël Delaunoy, Stephan R. Richter e Vladlen Koltun, e está catalogado como 2611.26603 (cs.CV, com referência cruzada em cs.LG). Código e pesos foram liberados em repositório público.
O problema que o artigo ataca é específico. Métodos que processam um quadro por vez tendem a produzir bordas nítidas, mas a profundidade “treme” de um quadro para outro em vídeo. Métodos que processam vários quadros ganham estabilidade temporal e perdem detalhe nas bordas. A proposta do Depth Pro 2 é treinar uma única rede que receba tanto imagem isolada quanto sequência de vídeo e entregue as duas propriedades ao mesmo tempo, na resolução nativa da entrada.
É a sucessora do Depth Pro original, apresentado no ICLR 2025 (arXiv 2410.02073), que produzia um mapa de 2,25 megapixels em cerca de 0,3 segundo em uma GPU padrão, mas tratava apenas imagens estáticas.
Estimar profundidade relativa — saber que o objeto A está mais perto que o B — é um problema razoavelmente resolvido. Estimar profundidade métrica, com escala absoluta, é outra coisa: a mesma imagem pode corresponder a uma maquete a 30 centímetros ou a um prédio a 300 metros, e a diferença depende da distância focal da câmera. Sem esse parâmetro, não há escala.
O Depth Pro 2 herda a solução da versão anterior: a rede prevê profundidade inversa normalizada pela distância focal, e um estimador separado de campo de visão converte isso em metros. Quando a focal está disponível nos metadados EXIF da foto, ela é usada diretamente, e o estimador não é executado.
A rede combina dois blocos. O primeiro é um transformer multivista que recebe um ou vários quadros e os processa em conjunto, alternando blocos de autoatenção dentro de cada quadro com blocos de atenção entre quadros — é esse compartilhamento que alinha as previsões ao longo do tempo. O segundo é um decodificador DPT, que remonta os tokens de camadas intermediárias em mapas de características e produz um mapa de profundidade inversa por quadro.
Os quatro modelos partem de espinhas dorsais DINOv3 pré-treinadas, com janela de 16 por 16 pixels:
| Modelo | Espinha dorsal | Parâmetros totais | Blocos / dimensão |
|---|---|---|---|
| Depth Pro 2-S | ViT-S/16 | 24,3 milhões | 12 / 384 |
| Depth Pro 2-B | ViT-B/16 | 96,5 milhões | 12 / 768 |
| Depth Pro 2-L | ViT-L/16 | 334,0 milhões | 24 / 1024 |
| Depth Pro 2-H+ | ViT-H+/16 | 872,1 milhões | 32 / 1280 |
As contagens acima não incluem o estimador de distância focal, que é uma rede à parte.
O treinamento usa uma mistura dominada por dados internos da Apple: 964.332 cenas sintéticas, somando 24.150.620 quadros em resolução de até 4096 por 3072 pixels, e 2.001 cenas reais, com 3.046.117 quadros em até 1920 por 1440. A essa base somam-se conjuntos públicos conhecidos da área, como BEDLAM, Hypersim, Dynamic Replica, MatrixCity, MegaSynth, PointOdyssey, IRS, EDEN e SceneFlow. O artigo não detalha o processo de captura dos conjuntos internos.
O treino usa clipes de até 32 quadros, mas na inferência o modelo aceita vídeos de qualquer duração em dois modos. No streaming com buffer, o vídeo é dividido em clipes de N quadros com sobreposição de K quadros; cada clipe é processado com atenção completa entre seus quadros, e a região de sobreposição é combinada com pesos que variam linearmente, para evitar salto na emenda. No streaming sem buffer, cada quadro recebe seu mapa assim que chega, usando atenção cruzada causal — o quadro atual só olha para os anteriores. Esse segundo modo existe para aplicações sensíveis a latência, como realidade aumentada e robótica.
Todas as avaliações do artigo são zero-shot: os conjuntos de teste não aparecem no treino. O maior modelo, o Depth Pro 2-H+, lidera as três dimensões que o trabalho se propõe a conciliar — mas não vence em todas as células, e esse detalhe importa.
Precisão métrica. Em 11 conjuntos de imagens, medindo o escore δ1 (proporção de pixels dentro de uma margem de erro aceita), o Depth Pro 2-H+ fica com o melhor posto médio: 2,4 quando a câmera é informada e 2,7 quando a focal é estimada pelo próprio modelo. O segundo colocado, UniK3D-L, marca 3,6 e 3,1. O Depth Pro original aparece em 7,6 e 6,5. Em conjuntos individuais os valores vão de 98,2 no KITTI e 97,8 no ETH3D até 20,5 no Spring — conjunto sintético em que o MapAnything chega a 96,7, ou seja, há cenários em que o modelo da Apple fica claramente atrás.
Nitidez de bordas. Pelo escore F1 de borda, o posto médio do Depth Pro 2-H+ é 1,6 sobre 21 métodos comparados. Ele lidera em Middlebury (21,9), Spring (16,3) e DyDToF (31,6), mas fica atrás do MoGe-3-G no iBims (20,5 contra 22,2) e do InfiniDepth no Sintel (40,2 contra 44,8).
Estabilidade temporal. Medindo a oscilação da profundidade ao longo de trajetórias de pontos rastreados (valores multiplicados por 100; menor é melhor), o Depth Pro 2-H+ registra 1,39 no Sintel e 0,86 no Spring, com posto médio 1,5. O DepthCrafter, um dos métodos de vídeo mais estáveis da comparação, marca 2,09 e 1,07. No Spring, o VeloDepth obtém 0,72 — melhor resultado isolado nesse conjunto.
O artigo mede a taxa de quadros em uma GPU B200, em precisão bf16, com todos os métodos rodando em modo eager do PyTorch, processando 32 quadros por chamada. Em 1080p, o Depth Pro 2-S alcança 44,8 quadros por segundo, o -B 23,6, o -L 9,1 e o -H+ 5,3. Em 720p, o menor modelo chega a 143,9 quadros por segundo. Em 4K, os números caem para 3,6 e 0,4, respectivamente. A memória de pico em 1080p vai de 8,0 GiB no -S a 29,5 GiB no -H+.
Há uma divergência que convém registrar: a conclusão do artigo afirma que o -S processa vídeo 1080p em streaming a 53 quadros por segundo em uma única GPU, e o -H+ a 8 — valores acima dos da tabela de desempenho. A diferença provavelmente vem do protocolo (a tabela compara todos os métodos em modo eager, sem otimização), mas o texto não explica a discrepância.
Em um anexo, os autores alimentam um renderizador de desfoque fotográfico já existente com os mapas de cada método, sem ajuste por imagem, em 220 cenas de teste. O Depth Pro 2-H+ obtém PSNR de 23,95, SSIM de 0,858 e LPIPS de borda de 0,476, contra 23,44, 0,848 e 0,505 do Depth Anything 3-NGL e 23,20, 0,838 e 0,530 do Depth Pro original. É um ganho consistente, embora modesto nas métricas globais — a diferença maior aparece justamente nas bordas, onde o desfoque costuma falhar.
O caso de uso mais imediato é tudo que precisa de geometria a partir de uma câmera só: efeitos de vídeo, retrato computacional, reconstrução de cena, realidade aumentada em celular e percepção em robôs de baixo custo. O modelo menor, com 24,3 milhões de parâmetros e desempenho de dezenas de quadros por segundo em 1080p, é o mais interessante nesse sentido — é a faixa em que dá para pensar em execução local.
As restrições, porém, são reais. A primeira é de licença: enquanto o código segue a licença do repositório, os pesos estão sob o acordo “Apple Machine Learning Research Model”, que declara que o modelo é liberado exclusivamente para pesquisa científica em inteligência artificial e aprendizado de máquina. Quem pretende embarcar isso em produto precisa ler o documento com atenção antes de planejar qualquer coisa.
A segunda é metodológica. Os ganhos são de posto médio em comparações zero-shot, com um conjunto de linhas de base escolhido pelos autores; há conjuntos em que o modelo perde por larga margem. A terceira é de transparência: a maior parte dos dados de treino é interna e não descrita em detalhe, o que impede reprodução independente do treinamento — só da inferência.
Por fim, o artigo, na versão publicada, não traz uma seção explícita de limitações ou de casos de falha. Superfícies transparentes, espelhos, chuva e baixa luminosidade seguem sendo problemas clássicos da área, e nada no material lido indica que tenham sido resolvidos.
O Depth Pro 2 não inventa uma categoria nova: ele resolve, com uma escolha de arquitetura direta, um conflito que a literatura vinha tratando como inevitável. Ao atender simultaneamente nitidez e estabilidade, com modelos pequenos o bastante para rodar em tempo real, o trabalho desloca a fronteira prática da estimativa de profundidade monocular.
O que observar a seguir: se a licença de pesquisa será flexibilizada, se os modelos menores sustentam a qualidade em hardware móvel real — e não apenas em uma GPU de centro de dados — e se os resultados se confirmam em avaliações independentes, feitas por grupos que não participaram do artigo.
Post do Google Research de 20 de novembro de 2026 descreve como o sistema de…
Relato publicado pela Sophos em 19 de novembro de 2026 descreve como um time autorizado…
Relatório da Unit 42 de 20 de novembro de 2026 reúne sete grupos ligados ao…
Publicado na Science, o experimento ganha o jogo do quadrado mágico em 98,30% das rodadas,…
Preprint de seis universidades mostra que corromper um único registro da tabela de blocos faz…
A Microsoft confirmou a campanha relatada pela ConnectWise e detalhou um kit que inverte o…