Os pesquisadores da Adobe desenvolveram um novo modelo generativo de IA chamado VideoGigaGAN, que pode aprimorar vídeos desfocados em até oito vezes sua resolução original. Apresentado em um artigo publicado em 18 de abril, a Adobe afirma que o VideoGigaGAN é superior a outros métodos de Super Resolução de Vídeo (VSR), pois pode fornecer detalhes mais refinados sem introduzir qualquer “estranheza de IA” na filmagem.
Resumindo, as Redes Adversariais Generativas (GANs) são eficazes para aumentar a escala de imagens estáticas para uma resolução mais alta, mas lutam para fazer o mesmo com o vídeo sem introduzir cintilação e outros artefatos indesejados. Outros métodos de aumento de escala podem evitar isso, mas os resultados não são tão nítidos ou detalhados. VideoGigaGAN visa fornecer o melhor dos dois mundos – a maior qualidade de imagem/vídeo dos modelos GAN, com menos problemas de oscilação ou distorção nos quadros de saída. A empresa forneceu aqui vários exemplos que mostram seu trabalho em plena resolução.
Alguns dos detalhes mais sutis nos clipes de demonstração fornecidos pela Adobe parecem ser totalmente artificiais, como a textura da pele e os vincos no exemplo abaixo, mas os resultados parecem impressionantemente naturais. Seria difícil dizer que a IA generativa foi usada para melhorar a resolução, o que poderia estender o debate “o que é uma foto” para incluir o vídeo.
Esta é apenas uma prévia da pesquisa, portanto não há garantia de que a Adobe disponibilizará o VideoGigaGAN aos consumidores por meio de software Creative Cloud como o Premiere Pro. A empresa apresentou anteriormente um experimento separado de upsampling baseado em difusão, Project Res-Up, durante seu evento MAX em outubro de 2023, que melhora de forma semelhante a qualidade de GIFs de baixa resolução e imagens de vídeo. E a Adobe não está sozinha neste trabalho, já que tanto a Microsoft quanto a Nvidia também desenvolveram sua própria tecnologia de upscaling VSR.
theverge