Avatares alimentados por IA assumem o controle da mais recente inovação da Apple!
Em sua publicação recente, a Apple investiga o reino do HUGS, uma inteligência artificial generativa inovadora capaz de criar uma representação digital realista de uma pessoa com base em meros segundos de filmagem, animando posteriormente essa criação em apenas meia hora.
Splats gaussianos humanos.“Este discurso específico concentra sua atenção no desenvolvimento de representações digitais avançadas de seres humanos por meio de técnicas computacionais inovadoras.
Através da utilização de tecnologias de aprendizado de máquina e visão computacional, este estudo investiga o processo de desenvolvimento, contando com fontes limitadas de informação. Embora os métodos atuais de renderização neural exibam melhorias consideráveis em comparação com seus antecessores, eles permanecem mais eficazes ao lidar com “fotografia de cena estática” e não funcionam de maneira ideal ao tentar capturar assuntos humanos que se movem espontaneamente em seu entorno”, conforme mencionado no artigo inicial. passagens do relatório.
O conceito de Splats Gaussianos Humanos, HUGS, usa uma técnica chamada 3D Gaussian Splatting para recriar a imagem de um ser humano animável dentro de uma cena.
O método em si requer uma pequena quantidade de vídeo do sujeito, normalmente movendo-se dentro de uma cena e mostrando tantas superfícies quanto possível para o sistema trabalhar. A técnica pode usar clipes muito curtos em alguns casos, até mesmo apenas dois ou quatro segundos de vídeo da pessoa a ser recriada e animada com IA.
Para agilizar o processo, nosso sistema de IA foi programado para extrair com eficiência uma representação estática de uma figura humana totalmente animada em apenas meia hora. Além disso, refinamos a metodologia de cálculo dos coeficientes lineares de ponderação da pele, garantindo sua coerência com os padrões de movimento do personagem e aumentando assim a fidelidade visual do modelo gerado.
Apresentando HUGS, ou Human Gaussian Splats-uma tecnologia inovadora que é capaz de gerar avatares animados (3DGS) a partir de um vídeo casual composto por aproximadamente 50 a 100 quadros em apenas 30 minutos. A característica única dos nossos avatares é a sua integração perfeita com outras cenas NeRF, proporcionando aos usuários uma experiência altamente envolvente.
Projeto: https://t.co/ws69aCAUtG arXiv: https://t.co/yjsR9Vt8RY pic.twitter.com/ADVWw56ats
— Anurag Ranjan (@anuragranj) 19 de dezembro de 2023
Conforme previsto, o tempo necessário para ir desde a entrada do vídeo até a geração de uma animação 3D do modelo humano animado, com velocidade de renderização de 60fps e resolução HD, é de aproximadamente meia hora. Segundo os pesquisadores da Apple, isso é cerca de 100 vezes mais rápido do que outros métodos, incluindo NeuMan e Vid2Avatar.
A publicação acadêmica mencionada acima credita Muhammed Kocabas, Rick Chang, James Gabriel, Oncel Tuzel e Anurag Ranjan como seus coautores, ao mesmo tempo que reconhece a contribuição significativa do Instituto Max Planck de Sistemas Inteligentes para sua produção.
A Apple já explora a possibilidade de desenvolver avatares digitais há algum tempo, como evidenciado pela inclusão de uma versão em alta resolução deste conceito em sua plataforma de software Apple Vision Pro.
Para aqueles interessados em manter-se atualizados com as informações mais recentes sobre os registros de propriedade intelectual da Apple, compilamos uma área especializada em nosso site que fornece cobertura abrangente desses desenvolvimentos.
*️⃣ Link da fonte:
ele afirma , https://t.co/ws69aCAUtG , https://t. co/yjsR9Vt8RY , pic.twitter.com/ADVWw56ats , 19 de dezembro de 2023 ,