Come si realizza un’esperienza interattiva in Realtà Virtuale


Saverio Trapasso
CEO & Co-founder of Artheria
Come si realizza un’esperienza...

Probabilmente molti di voi già conosceranno qual è la pipe-line di produzione di un’esperienza VR – o un videogioco in sé – ma riteniamo comunque importante mettere nero su bianco qual è il processo che abbiamo seguito. 

Prima di addentrarci in un elenco più specifico, vorremmo spendere due parole per descrivere un processo sicuramente più conosciuto e indubbiamente più lineare, ma capace di tracciare l’inizio del sentiero – oltre a tanti altri linguaggi – anche il VR si è sviluppato. Stiamo parlando di un antenato neanche troppo distante: il mondo del cinema. 

Vecchio proiettore

Il processo di produzione cinematografica

Il processo produttivo, nel mondo del cinema, si divide essenzialmente in tre fasi: pre-produzione, produzione, post-produzione

  1. La pre-produzione include tutte quelle attività che vengono svolte prima delle riprese: dalla nascita allo sviluppo dell’idea, la stesura della sceneggiatura, la scelta del cast, del regista (e delle principali figure tecniche coinvolte nel processo produttivo, come il direttore della fotografia, scenografi, costumisti ecc.), ma anche la scelta del look-dev (pianificando l’aspetto visivo del film, tra colori prevalenti, movimenti di macchina identificati attraverso gli storyboard e via discorrendo), la pianificazione delle riprese stesse ed – in ultima posizione, nonostante sia la voce più importante…! – il reperimento di un adeguato budget. 
  2. La produzione è finalmente il momento delle riprese: gli attori vengono convocati sul set, e finalmente si gira. 
  3. La post-produzione si riferisce a tutte le lavorazioni che vengono effettuate alla fine delle riprese: il montaggio, il montaggio del suono, la color-correction, gli effetti visivi e via discorrendo, sino alla creazione della versione definitiva. 

Ovviamente, non pretendiamo di essere esaustivi con queste poche parole; per approfondimenti specifici sulla pipe-line cinematografica, vi invitiamo a fare una ricerca dedicata sul web, dove troverete sicuramente articoli dedicati. 

Esperienza in realtà virtuale con headset VR

La pipe-line di produzione di un’esperienza VR

Ebbene, dopo questa prima, doverosa premessa, veniamo a noi: in cosa si distingue la pipe-line cinematografica dalla pipe-line di un’esperienza in Realtà Virtuale? 

In realtà, basta riflettere sul concetto di tempo reale per trovare una risposta: la nostra pipe-line non prevede una vera e propria post-produzione, semplicemente perché – nel momento in cui si entra in produzione – le varie fasi si ramificano ed avvengono contemporaneamente, in un processo che parallelizza molte operazioni.

Pertanto, avremo solo due, maggiori distinzioni: la pre-produzione e la produzione (o sviluppo). 

N.B. Quella che segue è una schematizzazione delle principali operazioni e figure coinvolte nella realizzazione di un’esperienza VR o videoludica. Maggiori informazioni potranno essere reperite nei link che man mano aggiungeremo a questo post, ma ci teniamo a ricordarvi che l’obiettivo di questo articolo è esclusivamente quello di fornire una visione globale, senza addentrarci nello specifico di ciascun settore o categoria. 

La pre-produzione

Pipeline di Pre-produzione Realtà Virtuale: Sceneggiatura, Concept art, Interazione, Ricerca e prototipazione

Questo è il momento in cui vengono dettate tutte le linee guida per il futuro sviluppo del progetto. Possiamo asserire che questo è il momento in cui ci si domanda: cosa rende interessante, accattivante, di valore il progetto che miriamo a realizzare? 

A differenza del cinema – in cui un modo interessante di raccontare una buona storia è spesso il fondamentale fattore del successo di una pellicola – nel mondo delle esperienze VR ciò non è vero. Le persone non sono chiamate a guardare passivamente ciò che accade loro intorno, ma a prenderne attivamente parte. 

Ne consegue che la sceneggiatura di un’esperienza VR interattiva va di pari passo con lo studio delle interazioni che il partecipante è chiamato a compiere. Il concetto di gameplay, d’altronde, è qualcosa di molto ampio, che riassume la qualità della completa esperienza di gioco: non solo una trama avvincente, ma anche interazioni integrate coerentemente alla narrazione, con modalità di esecuzione (una sequenza di movimenti o tasti da premere) che sia semplice da ricordare ed, in un certo senso, istintiva. Nessuno di noi proverebbe a chiudere una finestra toccandosi le punte dei piedi, giusto? 

Sceneggiatura ed interazioni procedono dunque di pari passo, influenzandosi a vicenda, affiancate dalla ricerca. Le proposte avanzate, difatti, non devono funzionare bene solo sulla carta: è necessario comprendere fin dai primi momenti quale sarà la strada più efficace per raggiungere l’obiettivo, qual è il potenziale e quali sono i limiti di quella particolare tecnologia, quali i costi. Si provvederà dunque a realizzare un prototipo generale dell’esperienza, così da comprendere la fattibilità della strada individuata, la funzionalità delle interazioni ed il generale grado di divertimento raggiunto, al fine di effettuare migliorie e fixare bug iniziali.

Questi tre passaggi si influenzano reciprocamente e continuativamente; ciò che si ottiene al termine di questi passaggi è a metà tra una sceneggiatura cinematografica ed un Game Design Document (GDD). 

Definita completamente la struttura dell’esperienza – scritta la storia, studiate le interazioni, definite le tecniche e tecnologie per portare avanti l’idea – la preproduzione si conclude lavorando all’aspetto visivo del progetto.

Il concept artist realizza uno studio approfondito dei personaggi e delle ambientazioni di gioco, nonché del layout design generale dell’esperienza; le sue tavole fungeranno da linea guida per i modellatori, i texture artists, i lighting artists.

La produzione (o sviluppo)

Pipeline di Produzione Realtà Virtuale: Produzione di assets

Individuata la struttura principale dell’esperienza ed i suoi elementi caratteristici, eccoci arrivati  alla fase di realizzazione vera e propria. I vari artists provvedono alla realizzazione degli elementi di gioco: characters, environment, props, User-Interface, sound-effects, colonna sonora. 

La pipe-line di produzione degli elementi in 3d (personaggi, ambientazione ed oggetti) varia leggermente, a seconda di quello che sarà il comportamento atteso di ciascun elemento: così come è previsto che le figure organiche si muovano – camminando, correndo, parlando -, è necessario  ad esempio che le finestre siano in grado di ruotare sui propri cardini per poter essere aperte, e via discorrendo. 

Ad ogni modo, la loro realizzazione passa per un inizio comune. 

Modellazione

Modellazione organica di un character e modellazione hard-surface di un oggetto di scena

A sinistra: modellazione organica di un character. A destra: modellazione hard-surface di un prop (oggetto di scena).

Characters, environment e props vengono modellati in 3d attraverso appositi software; le figure professionali che si occupano della loro realizzazione prendono il nome – a seconda della tipologia – di character artist ed environment artist

Puoi approfondire questa fase scoprendo come abbiamo modellato i volti dei personaggi del nostro progetto.

Texturing

Texturing di un character e texturing di un oggetto di scena

A sinistra: texturing di un character. A destra: texturing di un prop.

Gli asset così prodotti vengono dunque texturizzati. Il texturing – così come la modellazione – è un processo interessante e creativo. Un bravo texture artist non si limita a dare agli elementi il giusto colore, ma lavora sul piano della narrazione e della veridicità. Cosa possiamo dedurre da alcune macchie di vernice sulla camicia di un personaggio – che vita conduce, come trascorre le sue giornate?  

Rigging

Rigging delle ossa di un corpo che salta

Rigging delle ossa di un braccio e di una mano

A differenza dell’environment, i personaggi ed i props vengono dunque sottoposti al rigging, ovvero alla costruzione di una sorta di ossatura virtuale che consenta agli asset di muoversi in modo realistico. 

Se questa operazione si rivela mediamente intuitiva per i props ambientali – è abbastanza facile definire il cardine come l’asse di rotazione dell’anta di una finestra – ciò non è altrettanto vero per i characters organici. Non solo la mole di movimenti che essi devono essere in grado di compiere è molto più vasta, ma anche il modo in cui il loro corpo deve deformarsi avrà necessità di essere molto più realistico. Le pieghe del gomito, delle ascelle, inguinali sono fattori fondamentali per il livello di veridicità generale – per non parlare della mimica facciale. 

Al termine del rig, i character organici vengono animati. N.B. Le fasi di texturing e rigging non sono necessariamente da considerarsi sequenziali: esse possono avvenire anche contemporaneamente. 

Other

Per terminare la produzione degli asset – questo il nome tecnico di tutti i vari elementi che compongono l’esperienza – si procede alla creazione dei suond effects, della colonna sonora e della UI, qualora prevista. 

Set Dressing

Concept dell'environment di una parete e l'allestimento degli oggetti di scena

A sinistra: il concept dell’environment di una parete. A destra: l’allestimento dei props all’interno dell’environment, seguendo il concept.

I props vengono dunque integrati all’interno dell’environment, allestendo una vera e propria scenografia virtuale. Questa operazione prende il nome di set dressing, e ricalca quanto definito in fase di layout design.

La progettazione spaziale di ogni esperienza VR (o videoludica in genere) tiene in considerazione i principali obiettivi e movimenti che il partecipante è chiamato a compiere all’interno dell’esperienza stessa, assemblando gli elementi ambientali ed interagibili in modo funzionale: non possiamo pensare di nascondere la mappa del tesoro sopra l’armadio, senza posizionare una scala nei paraggi. 

Nel nostro caso, trattandosi di un’esperienza da fruire in un luogo fisico – la Biennale di Venezia – i nostri studi hanno riguardato anche la progettazione di una scenografia reale, che ben doveva integrarsi a quella virtuale. Abbiamo dunque tenuto conto non solo dei movimenti ‘virtuali’ richiesti, ma anche di quelli reali, studiando un percorso che tenesse conto anche della gestione della coda di persone in attesa. Tratteremo l’argomento più approfonditamente in un altro post.

Lighting

Lighting di un interno

Si procede, dunque, illuminando la scena così composta: il lighting – così come nel cinema – è una componente fondamentale della costruzione del mood di un pezzo. I nuovi motori di render real-time sono arrivati, negli anni, a raggiungere risultati così verosimili da risultare credibili, offrendo un ventaglio creativo sempre più ampio. Questo è anche il momento per l’ottimizzazione della scena, ovvero per attuare una serie di technical improvements  che consentano di salvare memoria e potenza di calcolo, così da garantire un frame-rate omogeneo.

Infine, si procede individuando ed impostando i giusti settaggi della camera virtuale che verrà calata nell’ambientazione, ricalcando quasi interamente le operazioni fatte nella realtà; ovvero, impostando esposizione, apertura del diaframma, profondità di campo, etc. Vengono quindi applicati dei post-process per il color grading ed il fine-tuning dell’immagine: curve, tone-mapping, vignettatura…

Pipeline di produzione VR: programmazione, level programming, NPC's logic e Story moments

Il comparto di programmazione, invece, si occupa di tutta la parte di coding dell’esperienza.
All’interno di quest’ultima, individuiamo la programmazione del livello, delle interazioni, delle intelligenze artificiali dei personaggi.

Infine, si procede con la creazione della build – una sorta di esportazione ‘giocabile’ del progetto – e dei test.

Pipeline di produzione VR: Build and test

Finito? Purtroppo no.
A differenza del cinema, in cui possiamo definire lineare il processo di produzione (difficilmente una pellicola torna in fase di montaggio, dopo essere stata color-corretta – a meno che non si tratti di girare nuovamente alcune scene per esigenze di regia), la pipe-line di elaborazione di un’esperienza VR è ben più caotica. Il testing può evidenziare delle problematiche di usabilità o programmazione, il lighting potrebbe non funzionare, il texturing potrebbe non avere una resa così fotorealistica come sembrava dal monitor del pc.

Pipeline di produzione VR: produzione di assets, programmazione, build and test

Un’esperienza può considerarsi effettivamente conclusa nel momento in cui viene presentata ufficialmente al pubblico – ovvero, nel momento in cui essa viene distribuita.

ma anche in quel caso, ci sarà sempre la possibilità di intervenire con il rilascio di successivi upgrade.

 

 

 

Articoli Correlati

Extras

Qualche parola sulla nascita di questo progetto (e di questo blog)

Ad oggi è trascorso circa un anno e mezzo dalla data in cui Artheria è stata fondata.  Ho sempre trovato un pizzico di difficoltà nello spiegare all’esterno di cosa ci occupiamo;...

Pubblicato il da Saverio Trapasso