O futuro das animações geradas por IA!
A inteligência artificial está presente em cada vez mais programas e aplicações, tornando-a cada vez mais integrada no nosso quotidiano. A IA generativa, em particular, é a que mais interesse tem gerado e, ao mesmo tempo, a que mais medo provoca. Trata-se de inteligência artificial treinada para gerar conteúdo e como exemplos conhecidos temos Stable Diffusion ou Midjourney para criar imagens por IA. Agora, um novo modelo de IA chamado Stable Video Diffusion (SVD ), que nos permite criar vídeos a partir de imagens por IA.
Certamente a maioria de vocês já usou IA generativa para criar conteúdo como imagens ou arte em mais de uma ocasião. Estas são ferramentas gratuitas como Bing’s AI , Dall-E , Stable Diffusion ou Midjourney em seu formato gratuito. Existem muitos outros exemplos e modelos de IA para escolher, mas mencionamos aqueles que são mais conhecidos no PC. E, dentre tudo isso, a Difusão Estável tem uma particularidade que a diferencia das demais.
Stable Video Diffusion nos permitirá criar vídeos curtos a partir de imagens por IA
Stable Diffusion utiliza os recursos do seu PC, especificamente da sua placa gráfica, para gerar as imagens por IA. Isso tem seus prós e contras, já que Midjourney e os demais fazem o trabalho externamente, mas você depende do serviço deles. Com Stable Diffusion você executa tudo localmente, com seu PC, sem precisar se conectar ou adquirir um plano de assinatura. Isso faz com que seja grátis e, por sua vez, os resultados dependem inteiramente de você e do seu PC.
A Difusão Estável tem melhorado no curto espaço de tempo em que está disponível, a ponto de lançar um novo modelo de IA capaz de fazer animações. Com o nome de Stable Video Diffusion, temos uma ferramenta gratuita que permite converter imagens em vídeo usando IA.
Uma NVIDIA RTX 3060 levou 30 minutos para gerar 14 quadros animados
Antes de ficar animado e experimentar, esteja avisado que será necessária uma GPU NVIDIA para realizar este processo. Isso é algo que já vimos nas primeiras versões do Stable Diffusion, mas então surgiram maneiras de fazê-lo funcionar de forma estável nas GPUs AMD. Após esta seção, voltando ao Stable Video Diffusion, temos a capacidade de converter qualquer imagem estática em um pequeno videoclipe. Isso usa dois modelos de IA, um que é responsável por converter a imagem em vídeo de 14 quadros chamado SVD e outro que gera 25 quadros chamado SVD-XT.
tudo bem, isso é selvagem pic.twitter.com/6g7GgBr2E2
-gaut (@0xgaut) 27 de novembro de 2023
Eles podem ser configurados para funcionar de 3 a 30 quadros por segundo e podem produzir um vídeo MP4 de 2 a 4 segundos de duração com resolução de 576 x 1.024 pixels. Nos testes realizados pela Ars Technica você pode ver exemplos de vídeos de dois segundos, embora estejam em FPS baixo, pois demorariam mais. Em relação ao tempo necessário, usando uma NVIDIA RTX 3060 demoraram 30 minutos para gerar 14 frames. Para treinar esse modelo de difusão de vídeo estável, aproximadamente 580 milhões de videoclipes, 212 anos de conteúdo.
Se você quiser experimentar o Stable Video Diffusion, o modelo AI está disponível em seu GitHub e depois no site típico Hugging Face encontraremos o restante dos arquivos. Como a taxa de quadros parecerá muito baixa para muitos, você sempre pode usar algo como DAIN como IA para interpolar quadros.
*️⃣ Link da fonte:
crie vídeos a partir de imagens por IA, pic.twitter.com/6g7GgBr2E2 , 27 de novembro de 2023 , disponível em seu GitHub ,