ESRGAN | Um salto tecnológico pra melhorar jogos antigos

Muita gente acha esquisito ver jogos como Final Fantasy 8 terem sido relançados para PC com texturas tão horríveis sendo que na época do Playstation 1 era revolucionário o visual, enquanto isso jogos como Pokemon Sun/Moon roda a 4K em emulador, isso sem contar que qualquer celular barato roda um emulador hoje em dia, então por que tantos jogos de PS1 foram relançados só o bagaço? Bom... A coisa é mais complicada do que parece, mas a rede neural ESRGAN surgiu como uma solução maravilhosa que gera um belo aspecto de pintura e às vezes até versões remasterizadas perfeitas!



Antes de tudo é preciso levar em conta que elementos 3D e texturas em jogos são coisas separadas. É fácil pensar que um personagem é modelado já com aquela aparência. Mas a verdade é que é uma mistura de 3D e 2D. Ou seja, primeiro é modelado o formato 3D e depois é aplicada a textura por cima, que nada mais é do que uma imagem 2D, um papelzão mesmo. Exceto é claro os jogos que não usam textura como Grand Theft Audio 3.

Você já deve ter visto imagens na internet que quando você estica, ficam aqueles quadradões imensos ou toda borrada. Isso acontece porque está acima de sua resolução original. Modelos 3D você pode esticar o quanto for e eles vão ficar perfeitos porque não são feitos de pixels, mas sim cálculos matemáticos, então (falando de uma forma simplória) ao se esticar algo para o dobro do tamanho, o PC apenas vai calcular que precisa multiplicar aquele formato vezes dois e pronto, tamanho perfeito!

Imagens 2D por outro lado são feitas para serem observadas em um certo tipo de dispositivo, então se o PS1 suportava no máximo 640x480, se tacassem texturas de 800x600 seria um desperdício de espaço. Ainda mais porque certamente empresas da época não estavam pensando que iriam ter coisas como remaster e que alguém estaria interessado vinte anos depois. No máximo podiam pensar em uma geração depois em que o salto não seria tão extravagante.

Quando você aumenta uma imagem, o computador pode até "calcular por dois", mas o que ele vai fazer é duplicar a quantidade de pixels daquela cor naquele ponto da imagem, o que não fará surgirem detalhes extras da coisa e ou fazer a imagem parecer lisa. E é com essa limitação que empresas de jogos pré-renderizados se lascaram muito. ´

Um jogo que tem cenários 3D, ou seja, são renderizados na hora, estão com texturas ali apenas pra complementar a coisa. Sendo assim, um remaster desse tipo de jogo irá colocar o estúdio para apenas refazer essas imagens e podem inclusive modificar e os jogadores nem vão parar pra notar. Por exemplo a textura de uma árvore não precisa ter EXATAMENTE o mesmo formatinho da original. A empresa pode só tacar outra textura de árvore em HD no lugar, sem precisar recriar a original.

Por outro lado, um jogo pré-renderizado como Resident Evil 1, já é complicado, pois como sabiam que os gráficos não iriam rodar naquele console, decidiram criar algo extremamente detalhado, seja em 3D, seja uma pintura. Tirar uma foto, e tacar no fundo em 640x480, fazendo ficar um visual lindão pra caramba nas TV de tubo, que também tinham baixa resolução.

Agora quando o negócio foi remasterizar, a coisa ficou complicada, afinal se até jogos 3D tradicionais tiveram problemas com isso, imagina jogos 3D que o fundo 2D tinha extrema importância? Um exemplo perfeito disso é olhar pra Dark Souls, ambas as versões de PC são adaptadas do console, mas a versão Prepare to Die Edition é cheia de texturas quadradas, como os sinais no chão, já a Remastered é toda lisinha. O negócio é que refizeram texturas.

Em um jogo pré-renderizado não basta passar um pincel prateado e usar como textura de uma peça de prata em um modelo 3D. É preciso redesenhar ou remodelar o fundo inteiro. Ou seja, um trabalho imenso refazer tudo. No fim das contas as empresas não queriam fazer isso, afinal se ia refazer tudo, por que não fazer logo igual a Resident Evil Remake? Pois se é pra ter o mesmo trabalho então é bom usar logo técnicas modernas e fazer um fundo realista né? Resultado, uma penca de relançamento quadradão com texturas esticadas.

E é aí que entra a ESRGAN, uma rede neural que acabou se tornando um verdadeiro salto tecnológico e ironicamente colocou os fãs para fazerem o que suas desenvolvedoras não quiseram, porém com um resultado muito melhor, chegando a ser engraçado ver os resultados surpreendentes apresentados.

Vocês lembram da rede neural GAN da Nvidia? Aquela que gerou uma penca de rostos humanos, porém de pessoas que não existiam de verdade? Pois é... A ESRGAN (Enhanced Super-Resolution Generative Adversarial Networks) faz algo semelhante a aquilo, porém ao invés de rostos humanos, ela cria cenários.

Mas ao invés de ser usada para criar cenários do nada, ela começou a ser usada por gamers para recriar texturas em baixa resolução. E assim começaram a surgir resultados impressionantes, necessário apenas retoques humanos para ficar impecável e grupos de fãs logo se juntaram para melhorar seus jogos favoritos.

A ideia foi fantástica, pois programas padrões de imagem mudam coisas como a cor, adicionam efeitos e acabam dando um retoque em imagens, mas no fim das contas ainda fica só a bagaceira, isso porque esses programas só enxergam pixels, um monte acumulado de determinadas cores e aí fazem combinações pra ficarem mais suaves, já redes neurais realmente enxergam o que está ali e são mais semelhantes ao que um humano vê.

O negócio é que uma rede neural é submetida a uma quantidade absurda de fotos e começam a identificar padrões. Entender como certos tipos de fotos se parecem, entendem ângulos. Sendo assim quando veem uma imagem borrada ou pixelizada, agem como um ser humano e pensam "Ei, isso parece metal... Isso parece uma árvore... Isso parece um olho" e assim vai substituindo por versões HD da coisa. 

Falando novamente da GAN da Nvidia, ela conseguia fazer rostos perfeitos do zero porque já tinha analisado inúmeros padrões. Sendo assim conseguia criar uma boca, um nariz, um cabelo do zero. A ESRGAN faz algo assim, só que usando uma imagem como base e assim montando exatamente aquele mesmo formato.

Apesar de tudo, infelizmente a coisa tenta se virar com o que tem, então embora alguns jogos saiam com texturas perfeitas, o geral mesmo são aspectos semelhantes a pinturas. Dependendo do jogo pode ser elegante e dar um visual completamente novo, mas pode também ficar só a bagaça, especialmente porque muitos visuais pixelizados acabaram se tornando charmosos por si só e ao serem distorcidos ficam estranhos. Também é algo que depende do ponto de vista e certas versões podem ser vistas como belas em seu próprio estilo.

Enfim, como disse, a coisa foi lançada imperfeita, necessitando retoques humanos em partes borradas ou que ficaram com visual estranho. Mas ainda assim é bem melhor do que pegar uma imagem em baixa resolução e recriar do nada. O ESRGAN foi um belo de um empurrão tecnológico para os fãs de jogos antigos e de mods. Caso se interesse, você pode aprender como baixar e configurar aqui.

Nesse caso aí observe que tem umas coisas pixelizadas, o criador explica que apenas aplicou nos cenários grandes e que as partes pixelizadas aleatórias é porque são elementos separados a parte.

Comentários