Inside The Matrix Awakens: una visione per il futuro della grafica in tempo reale

12 Dicembre 2021

170

Per Digital Foundry, il momento clou dei The Game Awards è stato in realtà non è un premio in quanto tale o addirittura una massiccia rivelazione tripla A, ma piuttosto il debutto di The Matrix Awakens: An Unreal Engine 5 Experience. Inserito tra i trailer in CG, il suo impatto potrebbe non essere stato apprezzato durante l’evento, ma una volta scaricato sulla console, è chiaro che questo è un momento davvero importante nel rendering in tempo reale. Ciò che Epic Games e gli studi partner, tra cui The Coalition, hanno ottenuto è quanto di più vicino abbiamo visto a un film interattivo, offrendo nuovi livelli di fedeltà nella realizzazione dei personaggi, nel rendering ambientale, nella qualità dell’illuminazione e nella post-elaborazione. Se possiedi una console PlayStation 5 o Xbox Series, lo devi a te stesso per verificarlo, in particolare se senti gli effetti dell’affaticamento cross-gen. Tuttavia, gli obiettivi di Epic con questa demo sono molti e vari, al di là dell’ovvio spettacolo visivo. Abbiamo parlato con i membri chiave del team di progetti speciali dell’azienda per comprendere meglio il pieno significato di questa importante versione, scoprendo che il team ha un pedigree serio, avendo realizzato la demo originale di Reflections per il lancio di Nvidia Turing, utilizzando Star Wars: Le risorse del Risveglio della Forza per dimostrare il ray tracing con accelerazione hardware. È lo stesso gruppo che ha lavorato a Lumen in the Land of Nanite, la straordinaria demo in tempo reale che ha mostrato al mondo che le nuove console erano capaci di molto di più. Seguì Valley of the Ancient, che enfatizzava la qualità offerta dal sistema di micropoligoni Nanite e dai miglioramenti nell’illuminazione globale alimentata da Lumen e resa disponibile su PC. Questo team ha anche lavorato con Lucasfilm, creando lo straordinario LED wall utilizzato nella produzione dei set virtuali di The Mandalorian. Per questo gruppo di talento, Matrix Awakens è un’opportunità per convalidare la tecnologia di Epic su una scala di massa che non abbiamo visto finora. Si tratta di confezionarlo e distribuirlo alla nuova generazione di console di gioco tradizionali.“Rilasciamo it, pubblichiamolo al pubblico, giusto?” afferma Jeff Farris, il direttore tecnico dei progetti speciali. ” sviluppatori e clienti a metterci le mani sopra e ritenerci responsabili per assicurarci che questa tecnologia sia pronta al 100% per la spedizione. Ed è quello che abbiamo fatto per assicurarci che sì, puoi metterlo sull’hardware del mondo reale: questo livello di grafica e questo livello di interattività è realizzabile.”

In questo speciale DF Direct, Alex Battaglia, John Linneman e Rich Leadbetter condividono i loro pensieri e analisi su The Matrix Awakens, girato dopo la nostra intervista con Epic Games.

“Non volevamo vedere un commento su YouTube che dicesse, oh , è in esecuzione su un enorme PC, non è una vera PS5”, aggiunge Jerome Platteux, Art Director Supervisor. “Sì, è su tutte le console di nuova generazione, inclusa Xbox Series S.”

La storia di come è avvenuta questa collaborazione è affascinante, indicativa di come il rendering sia negli spazi di gioco che in quello cinematografico stia convergendo. Il CTO di Epic, Kim Libreri, è venuto in azienda dopo un altamente acco ha ampliato la sua carriera lavorando su importanti film di Hollywood, tra cui la trilogia di Matrix, e rimanendo in contatto con Lana Wachowski. Questo ha aperto la porta a Epic di ottenere l’accesso all’IP e alle risorse. E forse è così che Matrix Awakens riesce a fornire un remake in tempo reale colpo per colpo della scena classica in cui Neo viene svegliato da Trinity che lo contatta tramite il suo computer. È sicuramente il modo in cui l’iconica scena del proiettile viene ricreata in tempo reale: Epic ha avuto accesso alle risorse originali e ha effettivamente aumentato la risoluzione su Neo stesso, con il motore fisico Chaos di UE5 utilizzato per mappare accuratamente il movimento al rallentatore del suo cappotto. È anche il modo in cui il team è stato in grado di ricreare l’originale Neo e Trinity anche se hanno scansionato gli odierni Keanu Reeves e Carrie-Anne Moss per l’integrazione nel loro sistema di rendering dei personaggi MetaHuman.

L’intero concetto della megalopoli di Matrix è stato inserito anche negli obiettivi di Epic. Con le precedenti demo dell’UE5, l’idea di un enorme mondo aperto con distanze di visualizzazione infinite era stata suggerita ma non era mai stata realizzata. Al centro di The Matrix Awakens c’è un mondo aperto generato proceduralmente, quindi personalizzato, in grado di essere realizzato da un team di sviluppo molto piccolo. La città stessa si basa su risorse del mondo reale (su misura e adattate per evitare problemi di copyright) ed è effettivamente un misto di New York, San Francisco e Chicago. Questo mondo aperto e in effetti il personaggio principale di Matrix Awakens, IO, non fanno davvero parte dell’IP di Warner Bros, quindi l’intero segmento della demo, comprese le risorse, verrà distribuito con il rilascio completo di Unreal Engine 5 in primavera del prossimo anno, insieme a tutorial per sviluppatori su come costruire i propri mondi aperti.

“I’ Sono davvero entusiasta di vedere cosa farà la community con questo, giusto?” dice Jeff Farris. “Voglio dire che uno dei grandi obiettivi con il motore stesso è quello di facilitare i creatori. Qual è l’attrito e come lo rendiamo facile? Guardi la tecnologia come Lumen e Nanite, e quella roba aiuta davvero in questo, ma solo rilasciando questo per la comunità e lasciare che le persone facciano quello che stanno per farne è fantastico.” Una filosofia fondamentale di Unreal Engine è stata la democratizzazione delle tecnologie di base, ma anche l’abilitazione di progetti molto più grandi da studi più piccoli, incluso lo stesso team di progetti speciali di Epic. “È una piccola squadra, quindi non abbiamo l’esercito di artisti che viene fornito con Fortnite”, aggiunge Jerome Platteux. “Quindi volevamo dimostrare al mondo che possiamo generare una città su larga scala con un piccolo team e che l’approccio migliore è un sistema procedurale. Ciò significa che utilizziamo ampiamente Houdini. È qui che creiamo tutte le ricette per il mondo. “

Houdini è un pacchetto software 3D con un’enfasi sulla generazione procedurale. Platteux ci mostra la città in Matrix Awakens, rivelando che definisce l’ambiente in termini, ad esempio, della dimensione delle strade e dell’altezza degli edifici. Al termine, la città stessa non viene esportata, ma viene generata una nuvola di punti di pochi megabyte di dati, che viene esportata in Unreal. Il motore Epic acquisisce i dati nello strumento “world processor” di UE5. Qui, la città può essere ulteriormente definita: i contorni della città, le griglie delle sue strutture stradali, l’arteria principale su cui può essere aggiunta una superstrada. Man mano che la città viene scolpita, la griglia si riempie di volume, con dettagli estratti da 10 milioni di risorse diverse. Lo streaming di qualsiasi cosa può sembrare un incubo, ma è qui che entra in gioco il sistema di partizione del mondo, che si occupa dello streaming in background.

Nella parte finale della demo, sei libero di esplorare il mondo e sembra che l’attraversamento veloce causi alcuni problemi, ma questo è parte integrante del lavoro di sviluppo in corso, come Michal Valient, direttore della piattaforma e Rendering Engineering spiega: “Il collo di bottiglia, gli intoppi che vedi… non è l’I/O, l’I/O sulle macchine è davvero buono. Dobbiamo ancora risolvere alcuni problemi nel modo in cui inizializziamo i dati. Quindi in realtà, sì, è lavoro per noi.”Dal primo debutto del Lumen nel Nella demo di Land of Nanite, c’è stata la percezione che la larghezza di banda di massa dell’SSD in PlayStation 5 sia ciò che rende possibile il sistema Nanite. Tuttavia, il punto centrale del sistema di texturing virtualizzato utilizzato da Nanite è che in realtà è molto leggero in termini di larghezza di banda: l’unico dettaglio in streaming è quello che è richiesto sullo schermo in un dato momento. “Questo lo distingue dai motori tradizionali… [with Nanite] è molto graduale”, afferma Michal Valient. “Mentre ti muovi, si libra a circa 10 MB per fotogramma, perché trasmettiamo in streaming frammenti di trame, bit di dati Nanite… trasmettiamo in streaming trame o piccole tessere quando ne hai bisogno. Mentre li rendi, Nanite seleziona i piccoli cluster reali di triangoli è necessario eseguire il rendering di quella particolare vista. E trasmettiamo in streaming solo questo , quindi non effettuiamo un over-streaming eccessivo. E ciò gli consente effettivamente di essere davvero rapido quando si tratta solo di I/O e di quel throughput.”

[UPDATE: After publication, Epic asked for a correction here, the original piece quoted Michal Valient as saying the data throughput is 10MB/s – it’s 10MB per frame. At 30fps, this would be 300MB per second.] Oltre a consegnare il mondo aperto suggerito dalle precedenti demo di Unreal Engine 5, anche il sistema di illuminazione globale in tempo reale di Lumen è notevolmente migliorato. In precedenza, utilizzando un’implementazione software impressionante, anche se limitata, Epic ha spostato il sistema su una soluzione di ray tracing con accelerazione hardware, fornendo prestazioni e fedeltà extra nell’illuminazione indiretta e diffusa. Hardware RT apre anche le porte a riflessi realistici e ombre luminose dell’area. Proprio come il direttore della fotografia di un film metterebbe una carta luminosa accanto a un attore per migliorare l’illuminazione in una scena, Epic lo fa con i suoi personaggi in The Matrix Awakens. “Ad esempio, quando Trinity è in macchina, e quando sai che la luce non rimbalza perché i sedili sono un po’ troppo scuri, aggiungiamo solo una carta bianca [off-screen]. Lumen analizza la carta bianca e tu guarda quella luce che rimbalza indietro”, spiega Jerome Platteux.Epic è anche orgogliosa del suo sistema di intelligenza artificiale di massa. All’interno della demo, c’è una sezione subito dopo l’inseguimento che mostra una serie di tecnologie e in uno di quei segmenti di micro-demo, puoi vedere gli agenti AI (pedoni, automobili) evidenziati. “Qui abbiamo scritto un nuovo tipo di sistema di intelligenza artificiale scalabile ad alte prestazioni”, afferma Jeff Farris. “Quello che vedi nella demo qui è 35.000 membri della folla che camminano, 18.000 veicoli simulati insieme a 40.000 auto parcheggiate. E [it’s not] una bolla attorno al personaggio, come nel modo classico, giusto? Non stiamo selezionando in base al view frustum o cose del genere. Voglio dire, ci sono alcune ottimizzazioni lì dentro, ovviamente, ma monitoriamo l’intera faccenda. Stimoliamo semplicemente la città a dimostrare il potenziale di prestazioni di questo sistema di intelligenza artificiale. “

Ciò in cui ciò si traduce è una popolazione completamente persistente nel mondo: ogni entità può essere rintracciata individualmente. In genere, in un tradizionale gioco open world, se ti allontani dall’area circostante e poi torni indietro, i pedoni e il traffico sarebbero completamente diversi. Non è questo il caso: il sistema Mass AI di Epic gestisce tutto su larga scala. L’unico compromesso è che la velocità di aggiornamento di ciascun agente varia in base alla sua distanza dal giocatore. Anche così, è difficile vedere compromessi frantumati anche a distanza in base alle nostre esperienze.

Uno dei motivi principali per cui Matrix Awakens può gestire una città così densa è che i dettagli forniti dal sistema dei naniti sono il più vicino possibile a “liberi”. Una delle preoccupazioni sul sistema è che può essere limitato alla geometria statica, ma l’inclusione del traffico mostra che è più dinamico. Tuttavia, le maglie deformabili sono ancora nell’elenco delle “cose da fare”, il che significa che la soluzione per i danni da incidente sui veicoli è in qualche modo subottimale e può causare cali di prestazioni: essenzialmente, i veicoli interessati diventano oggetti rasterizzati standard. “Questo è il risultato delle attuali limitazioni di Nanite, che funziona solo su oggetti rigidi. Quindi questa è stata una soluzione, che è molto intelligente. Il futuro sarà Nanite, ovviamente, è lì che stiamo andando [but] in questo momento, non siamo ancora arrivati”, afferma Michal Valient.

Ma ciò che il team sta cercando di sottolineare è quanto sia dinamico questo sistema e le opportunità che offre agli sviluppatori . Matrix Awakens è stato creato da un team relativamente piccolo con circa 20-30 persone che gestiscono le risorse e circa 50-70 membri dello staff nel team nel suo insieme. Verso la fine del progetto, il canale Slack del progetto è aumentato a circa 200 membri poiché ulteriore personale, ad esempio il marketing, è entrato nella conversazione. Tuttavia, il processo di creazione della demo stessa ha portato a un’ottimizzazione significativa al punto che, se il progetto fosse stato riavviato da zero, sarebbe stato possibile realizzarlo molto più rapidamente.

Jerome Platteux spiega: “Ora saremo molto più veloci, stiamo costruendo la pista quando siamo sul treno stesso – e a volte stiamo costruendo il treno allo stesso tempo”. Michal Valient aggiunge che “Stiamo costruendo il treno… e il treno è in fiamme.”

E mentre il sistema di inseguimento sparatutto si presenta come separato e distinto dall’esplorazione del mondo aperto alla fine della demo, semplicemente non è il Astuccio. “Una cosa che voglio sottolineare è che non ci sono fumo e specchi nella sequenza di inseguimento interattiva. Tutto ciò accade all’interno di questa città. È tutto nella stessa mappa, tutto nella stessa città.. abbiamo creato e girato i pezzi lineari

all’interno

della stessa città.”

“Il processo è stato davvero interessante perché [but] vai a New York o San Francisco, e poi fai scouting e sei tipo, ‘oh, possiamo fare una scena qui… e poi possiamo fare una ripresa lì, e poi tu vai da qualche altra parte.’ [With the open world] in realtà è abbastanza simile al modo in cui una troupe cinematografica andrebbe e inizi a filmare la città. Hai tonnellate di contenuti, quindi devi solo trovare l’angolazione giusta per quella ripresa.”

Allo stesso modo, non ci sono requisiti importanti per mettere in scena enormi calci piazzati. Le auto che si ribaltano durante la sequenza di sparatorie si ottengono semplicemente simulando una spinta attraverso il sistema fisico del caos – “e via”, afferma Michal Valient. “Sì, nessuna di queste reazioni è scritta”, aggiunge Jeff Farris. “Se spari a un pneumatico, gli diamo un piccolo calcio in fisica e passa.”

Ciò significa che ogni riproduzione della sequenza di inseguimento produce effetti fisici diversi, l’unica costante è il crollo del ponte alla fine. Questo viene ancora elaborato tramite il motore fisico del caos, ma viene eseguito offline, l’output registrato e riprodotto, in modo simile al modo in cui i titoli tripla A lo fanno oggi per la maggior parte dei momenti più importanti.

The Matrix Awakens è effettivamente tre diverse demo in una: un’incredibile vetrina per il rendering dei personaggi, un set ad alto numero di ottani e un ambizioso risultato in open- simulazione e rendering del mondo. Tuttavia, forse la sorpresa più grande è che tutti questi sistemi coesistono all’interno di un unico motore e sono intrinsecamente collegati, ma detto questo, si tratta di una demo e non di un gioco di spedizione. Ci sono problemi e le sfide in termini di prestazioni sono evidenti. Forse il problema più evidente è in realtà una decisione creativa. I filmati vengono visualizzati a 24 fps, una frequenza di aggiornamento che non si divide equamente in 60 Hz. Il frame-pacing incoerente significa che anche a 120Hz, c’è ancora il sussulto. I salti nei tagli della telecamera possono vedere picchi di frame-time fino a 100 ms. Quello che sta realmente accadendo qui è che l’azione si sta spostando fisicamente nel mondo aperto, introducendo significative sfide di streaming – un “viaggio veloce” di livello micro, se lo desideri. Nel frattempo, come affermato in precedenza, gli attraversamenti veloci e gli incidenti stradali vedono un calo del frame rate. Combinali e sei a 20 fps. È a questo punto che devi accettare che siamo ancora nella fase di prova del concetto.

Il brillante studio first party di Microsoft – The Coalition – ha contribuito a ottimizzare Il risveglio di Matrix. Il maggiore Nelson ha condotto questa intervista, che vale la pena guardare.

Anche le sfide relative alle prestazioni influiscono sulla risoluzione. Tuttavia, grazie alla tecnologia di super risoluzione temporale (TSR) di Unreal Engine 5, il rendering sub-nativo su Xbox Series X e PS5 ha un aspetto adeguatamente 4K in natura. Tuttavia, i conteggi dei pixel precedenti che variano fino a 1620p devono essere rivisti sulla scia del feedback di Epic. Quando il contenuto è in formato letterbox, i bordi non sono semplicemente sovrapposizioni nere come spesso accade: Epic sta concentrando la potenza della GPU nell’area visibile, il che significa che stiamo effettivamente osservando il rendering 1066p-1200p nativo.

Nell’azione più intensa, sembra che siano attivi 1080p o forse meno, il che spinge davvero al massimo il sistema TSR. A livello di ingresso, è incredibile vedere Xbox Series S offrire questo, ma lo fa in modo abbastanza efficace, anche se con alcuni artefatti molto grossi. Qui, l’obiettivo di ricostruzione è 1080p, ma 1555×648 sembra essere la risoluzione di rendering nativa massima nei contenuti letterbox con alcuni conteggi di pixel significativamente inferiori a 533p. Va sottolineato che TSR può essere trasformativo, tuttavia, aggiungendo in modo significativo alla qualità complessiva dell’immagine, al punto in cui Epic ti consente di attivarlo e disattivarlo nella sezione vetrina del motore della demo. La serie S sembra essere completa di funzionalità, ma oltre ai tagli alla risoluzione, sembra che siano in gioco la riduzione delle funzionalità nei dettagli e RT. [UPDATE: We’ve updated native resolution pixel counts on all systems.]

Ma dal nostro punto di vista, Matrix Awakens è un dimostrazione davvero notevole di come sarà il futuro dei giochi e, ad essere onesti, ne abbiamo bisogno. Anche se abbiamo visto un’infarinatura di titoli che esplorano le nuove capacità dell’hardware di PlayStation 5 e Xbox Series, questo è stato sicuramente l’anno della cross-gen. Le risoluzioni sono più alte, i dettagli sono più ricchi, i frame-rate sono migliori e i tempi di caricamento sono molto ridotti, ma ciò che vediamo in Matrix Awakens è una visione genuina per il futuro del rendering in tempo reale e, soprattutto, una produzione più snella. Matrix Awakens è scaricabile gratuitamente dagli store Xbox e PlayStation ed è ovvio che provarlo è assolutamente essenziale.

Per saperne di più