Dando vida aos humanos digitais com os personagens virtuais alimentados por IA da NVIDIA

O GTC 2024 da NVIDIA mostra não apenas os avanços da tecnologia Blackwell, mas também destaca o potencial de utilização da inteligência artificial em toda a sua extensão com o hardware. Uma área notável de progresso envolve esforços colaborativos entre a NVIDIA e uma ampla gama de parceiros da indústria para desenvolver avatares altamente realistas e personagens animados mais envolventes dentro da esfera dos jogos e além dela.

A tecnologia ACE da NVIDIA tem sido um tópico de discussão diversas vezes anteriormente, com o objetivo de simplificar o processo para os desenvolvedores criarem interações humanas digitais realistas que não são limitadas por scripts predeterminados, mas sim adaptáveis ​​com base na entrada e no contexto do usuário, mantendo um fluxo natural.

No centro do NVIDIA ACE está uma combinação de animação facial, facilitada pela tecnologia Audio2Face da NVIDIA, e processamento de fala, que depende da plataforma Riva da NVIDIA para recursos de reconhecimento automático de fala (ASR) e conversão de texto em fala (TTS). Isso permite que os desenvolvedores gerem avatares digitais altamente realistas que integram perfeitamente expressões faciais com diálogos em linguagem natural em vários idiomas.

NVIDIA ACE representa uma arquitetura desagregada, com seus componentes sendo desconstruídos em microsserviços, permitindo uma implantação perfeita em ambientes de nuvem e de computadores pessoais, ao mesmo tempo que acomoda as capacidades de processamento distintas de seus processadores gráficos instalados. Essa abordagem facilita o desenvolvimento de humanos digitais por meio da colaboração entre NVIDIA ACE, NVIDIA NeMo e a plataforma NVIDIA RTX, que coletivamente fornecem modelos de linguagem fundamentais, opções de personalização e técnicas avançadas de renderização baseadas em ray tracing.

A NVIDIA colaborou com vários desenvolvedores, incluindo Hippocratic AI, Inworld AI e UneeQ, para produzir uma série de demonstrações inovadoras. O Agente de Saúde da Hippocratic AI, aproveitando os recursos do LLM, foi projetado especificamente para tarefas de saúde e fornece serviços como fazer chamadas telefônicas para pacientes, monitorar o progresso do tratamento, fornecer instruções pré-operacionais, gerenciar altas de pacientes e outras funções relacionadas.

Na GPU Technology Conference (GTC) 2024 deste ano, a Inworld AI colaborou com a NVIDIA para revelar o “Covert Protocol”, uma demonstração de tecnologia inovadora que destaca o potencial para interações aprimoradas com personagens no jogo. Essa conquista inovadora é atribuída à integração perfeita entre o mecanismo avançado de IA da Inworld e as tecnologias de ponta da NVIDIA, como Riva para reconhecimento de fala preciso e Audio2Face para expressões faciais realistas. O resultado de seus esforços é apresentado abaixo:

O motor Inworld adota uma estratégia multimodal em relação à apresentação de personagens não-jogadores (NPC), integrando estruturas cognitivas, sensoriais e de conduta para narrativa imersiva por meio de renderização visual usando tecnologia de rastreamento de raios em tempo real.

Utilizando a sinergia entre os microsserviços NVIDIA ACE e o inovador mecanismo Inworld, os desenvolvedores têm o poder de gerar personagens digitais altamente interativos e imersivos, abrindo assim novos caminhos para experiências de narrativa e resolução de problemas conduzidas pelos jogadores, como afirma Kylan Gibbs, o líder visionário da IA no mundo.

Unwake, desenvolvido pela RealityArts Studio e Toplitz Productions e utilizando os recursos do Unreal Engine 5, é um próximo título de ação e aventura com lançamento previsto para o final deste ano e com suporte para Deep Learning Super Sampling (DLSS) versão 3 da NVIDIA. uso do NVIDIA Audio2Face, que permite aos jogadores monitorar as respostas emocionais de personagens não-jogadores (NPCs) durante seus diálogos por meio de uma interface amigável.

A NVIDIA reconhece que vários editores de diversas localizações geográficas têm examinado os benefícios potenciais da incorporação da tecnologia NVIDIA ACE para aprimorar a experiência geral de jogo em seus respectivos títulos.

*️⃣ Link da fonte: