Recentemente, de acordo com o aplicativo Tianyancha, a patente do "método de geração digital, dispositivo, meio de armazenamento e equipamentos eletrônicos" aplicado pela Pequim Zi Jump Network Technology Co., Ltd. foi anunciada. O resumo mostra que esse público pode gerar automaticamente uma pessoa digital com rostos faciais semelhantes na imagem de acordo com a imagem facial de destino único.

Quantas etapas você precisa para obter uma modelagem 3D de rosto?

De acordo com o Plano de Universo do Departamento Central do Zuckerberg, Meta Reality Labs, um telefone celular+3,5 minutos pode ser feito. A coleta de dados nesses 3,5 é suficiente para gerar altas fidelidades e avatares face 3D reais. O artigo foi aceito por Siggraph 2022 .

Este estudo mostra que o rosto do coletor só precisa usar um smartphone com uma câmera profunda. No experimento, os pesquisadores usaram o iPhone 12. Todo o processo é:

Obtenha a forma e a textura geométricas em cada estrutura da imagem de rosto humano;

Execute a detecção do logotipo da face e a segmentação de retrato da imagem RGB de entrada;

Execute e deforme a grade do modelo para corresponder ao logotipo da face detectado, ao contorno de segmentação e ao diagrama de profundidade;

A textura de cada quadro de imagem é descartada e, em seguida, a textura da face completa é obtida.

No processo de melhorar ainda mais o modelo, 65 expressões específicas precisam ser coletadas:

Finalmente, a saída do Avatar Face 3D por esse método pode não apenas corresponder à aparência do usuário, mas também usar o espaço emoji global, mas também dirigir e controlá -lo ainda mais.

Os pesquisadores disseram que todo o processo de coleta levou cerca de 3,5 minutos.

Deve -se notar que o processo de modelagem não é real -e o processamento de dados leva várias horas. Obviamente, se essa tecnologia for usada em produtos, essas computação serão entregues à GPU da nuvem sem os recursos de energia da computação dos usuários.

No entanto, em comparação com o dispositivo de captura especial do Meta 2019 com 132 câmeras para gerar um dispositivo gigante para a face 3D, leva cerca de uma hora para coletar tempo, o que foi bastante aprimorado no tempo.

Comparado com o método de "uma foto para construir uma modalidade digital 3D" (CVPR 2021) proposta pelo Pinscreen, esse método pode gerar um modelo de rosto mais realista.

"O que eu quero dizer é que um grande desafio nos próximos dez anos é se podemos perceber a interação remota de avatar que não pode ser distinguida da interação face a -face", disse Sheikh, um dos líderes do projeto.

No entanto, o autor também apontou as limitações desse método: Hold não é muito longo e óculos, e é fácil produzir pseudo -shadows. Além disso, esse método também possui certos requisitos para condições de luz.

O autor mencionou que esse método é adequado para aplicativos de realidade virtual. Em outras palavras, no mundo da RV, talvez você não precise aparecer em uma cara de desenho animado no futuro.

Zuckerberg descreveu o futuro: você pode jogar jogos habituais com retrato retrato e usar um retrato mais realista para participar da reunião de trabalho ou algo assim.

É claro que a Meta ainda tem um longo caminho a percorrer, mas, olhando para a imagem na demonstração, a esperança desse objetivo ainda não é pequena.

"Se você diz que há dez milagres longe da realização antes, pode ser apenas cinco milagres agora".

(7961851)