Sprawdzian gumowej ręki

AGNIESZKA SŁODOWNIK: VR może być wykorzystywany do różnych celów: tworzenia doświadczeń zmysłowych, gier, opowiadania historii – fikcyjnych czy dokumentalnych. Albo do wizualizacji mieszkań przez deweloperów.
JAKUB WRÓBLEWSKI: Może służyć też działaniom terapeutycznym. W Izraelu toczą się ciekawe badania prowadzone przez Piotra Loja, które pokazują, że dzieciaki, które po chemioterapii zakładają headsety, wracają do zdrowia dużo szybciej.

Co się wydarza w tych goglach?
Dzieci przebodźcowują swoją świadomość do wirtualnego świata.

W sensie że odwracają uwagę od tego, co się dzieje?
Wychodzą ze swojego ciała.

Żeby czuć coś innego?
Dokładnie. Zapominają o bolącym ciele, o truciźnie, która je leczy. Przenoszą świadomość do wirtualnego świata – do sztucznie budowanych lub zarejestrowanych przestrzeni. Działanie VR na pewno powinno iść również w tę stronę.

Jak myślicie o VR w Pracowni 3D i Zdarzeń Wirtualnych?
Dostaliśmy medium, w którym główną rolę gra przestrzeń – tak jak w rzeźbie czy architekturze. Nagle ludzie zajmujący się wideo, sztukami wizualnymi – szeroko rozumianą plastyką i narracją – mogą tworzyć środowiska, których nadrzędną cechą jest rozciągłość przestrzeni oraz obecność. Jest to zupełnie nowe. Pojawia się pytanie, jakie kompetencje powinna mieć osoba zajmująca się tego typu projektami – w pracowni staramy się uczyć 3D: modelowania obiektów, teksturowania ich i osadzania w silniku gamingowym, który pozwala na wzbudzanie doświadczenia.

Interaktywnego.
Tak, choć robiliśmy oczywiście próby i nagrywaliśmy ujęcia 360 stopni również 3D, ale brak paralaksy, brak wrażenia trójwymiarowości przestrzeni bardzo ogranicza filmy sferyczne. Jest teraz ogromny potencjał i możliwości dewelopmentu takich filmów – powstają kina dedykowane odbiorowi treści 360, ale ja zawsze, oglądając takie doświadczenia, mam pewien niedosyt – nie mogę zobaczyć czegoś z boku, okrążyć obiektu. Dlatego chciałbym pójść w stronę symulacji, tworzenia środowisk i przestrzeni, do której widz może wejść, nawet z wykorzystaniem sześciostopniowej swobody – tzw. six degrees of freedom – mapowanego pomieszczenia, w którym może się poruszać. Dla mnie to przyszłość VR-u.

Czyli ruch.
Tak, ruch w świecie. Sprawdzamy możliwość wykorzystania ruchomych ramp, które przemieszczają się razem z widzem. Używamy rzeczywistości wzbogaconej, fotogrametrii, czyli skanowania przy pomocy aparatu fotograficznego. Jest dużo możliwości tworzenia światów i obiektów, ale najważniejszy jest zawsze sposób opowiedzenia historii – immersive storytelling.

Środki, o których mówisz, mają służyć historii?
To nie musi być historia sensu stricte – trzyaktowa struktura z rozterkami bohatera i spektakularnym finałem w stylu „Hero’s Journey” Campbella, jednak jest dużo reżyserskich decyzji do podjęcia: czy widzimy swoje ciało, czy nie; czy mamy możliwość chodzenia, czy odbieramy to zmysłowe środowisko leżąc – bo robiliśmy też próby, gdzie zakłada się gogle w pozycji leżącej. Tak naprawdę nie do końca jeszcze zhakowaliśmy to medium. Trzeba poeksperymentować i starać się zachowywać trochę jak dzikus – zapomnieć o doświadczeniach, które znamy z tworzenia filmowych form 2D.  Może należy zrobić warsztaty VR z osobami, które się tym medium nie zajmowały i nie są skażone myśleniem wideo czy płaskim obrazem. Z rzeźbiarzami, ceramikami, osobami, które piszą i są w stanie inaczej spojrzeć na tworzenie przestrzeni w wirtualnym świecie.

Nie do końca jeszcze zhakowaliśmy to medium. Trzeba poeksperymentować i starać się zachowywać trochę jak dzikus

Twórczość w VR nie ma kanonu czy teorii – jak się więc zaczyna?
Myślę, że prace nad projektem VR-owym trzeba zacząć od bogatego researchu, poznać to, co już jest, a to nie jest łatwe. Można obejrzeć projekty, które są dystrybuowane dla systemu Occulus albo przez Steam dla HTC Vive – istnieją sklepy, w których można pobrać lub kupić doświadczenia na te urządzenia, ale w 95% one są bardzo komercyjne – nie mają ciężkości.

Niedawno powstał teaser projektu VR-owego Mariny Abramović. Docenieni artyści, którzy pracują w innych mediach, zaczynają interesować się VR. Niestety często ich projekty, np. instalacja Jona Rafmana pokazana na Biennale w Berlinie w 2016 albo Jordana Wolfsona „Real violence”, są do obejrzenia tylko w galeriach podczas specjalnych pokazów – zazwyczaj jest to Berlin albo Stany Zjednoczone. Nie da się tego ściągnąć z torrentów albo obejrzeć na Netflixie, trzeba tego doświadczyć jeden do jednego.

Jakub WróblewskiNo dobrze, a potem co? Piszesz scenariusz? Czy stawiasz sobie cel: jakie emocje chcesz wywołać?
Teraz pracuję nad projektem badawczym, który ma bardzo romantyczny tytuł „Przestrzeń wirtualna jako matryca pamięci”, gdzie staram się skonfrontować wersję tożsamości osób, które już odeszły, z ich żyjącymi przodkami i stworzyć sytuację, która możliwa jest tylko w sztuce – czyli formę rozmowy ze zmarłymi, współczesne wywoływanie duchów. Research polega na pisaniu, budowaniu scenariusza, mapy myśli, szkiców – notacji składowych, które chciałoby się wykorzystać. Powstają pytania: czy jest to środowisko w jasnym czy ciemnym kluczu, w jaki sposób porusza się odbiorca – horyzontalnie, wertykalnie, czy ma on czynny wpływ na sytuacje zmieniające się przed nim – to wymaga decyzji projektanta. Nie jest to działanie alla prima, gdzie dokonuję gestu i wszystko może odbyć się natychmiastowo.

A dotyk? To chyba największe wyzwanie w tej chwili?
Nie, w dostępnej technologii jest to bardzo proste. Można ściągnąć kit deweloperski, który pozwala na trzymanie padów i widzenie swoich dłoni – dotykanie przedmiotów poprzez kontrolery, które symulują ręce. Wrażenie za pierwszym razem jest bardzo silne. Co miesiąc wychodzi coś nowego – czekamy teraz na rękawiczki, które mogą zamienić trackpady w haptyczne wrażenie dotyku – wystarczy poczekać. Żyjemy w bardzo ciekawych czasach, jest to temat nadchodzącego Biennale w Wenecji.

Zarówno ty i Pola Borkiewicz, z którą współpracujesz, jak i kolektyw teatralny Dream Adoption Society odwołujecie się do myślenia o wirtualnej rzeczywistości jako o śnie. W śnie faktycznie występuje zawieszenie niewiary – pojęcie, z którym spotkałam się u Thomasa Wallnera. Wierzysz w to, co widzisz. Natomiast w doświadczeniach i historiach VR wciąż jednak jest element braku wiary. Czuję często przepaść pomiędzy bodźcami, które docierają do mojego mózgu, np. siedzę na krześle, a to, co widzę, sugeruje, że stoję. Zastanawiam się, jak wywołać owo „zawieszenie niewiary”? Wystarczy poczekać na rękawiczkę, która będzie imitowała, że dotykam kota, i będę czuła to miękkie i ciepłe futerko? Na razie dotykam kontrolera, który pokazuje mi, że dotykam kota, więc ja w to nie wierzę, bo czuję kontroler z plastiku.
Poznałem Polę Borkiewicz w 2016 roku. Pola zobaczyła mój „Extensive Movie”, który był inspirowany doświadczeniami psychodelicznymi oraz badaniami Alberta Hoffmana, i od razu uświadomiła mi potencjał przełożenia doświadczenia sennego w kinie 2D, a co za tym idzie w projektach immersyjnych. Pola zajmuje się też badaniem percepcji w VR, doświadczeniem snu, pracowała w projektach związanych z dreamscreenem i analizą materiałów audiowizualnych, które mają indukować sny. Dostrzegła, że VR jest tym medium, w którym to będzie możliwe. Test gumowej ręki, który jest bardzo prosty – polega na tym, że chowamy jedną rękę, na jej miejscu kładziemy sztuczną kończynę (np. z gumy) i dotykamy jednocześnie obu – pokazuje, że bardzo szybko jesteśmy w stanie przebodźcować swoje odczucia – w VR też jest to możliwe i jeszcze mocniejsze.

Test gumowej ręki, który polega na tym, że chowamy jedną rękę, na jej miejscu kładziemy sztuczną kończynę i dotykamy jednocześnie obu – pokazuje, że bardzo szybko jesteśmy w stanie przebodźcować swoje odczucia

Pytanie, czego oczekujesz. Ja w niektórych projektach immersyjnych, np. w „Nomadach”  studia Felix and Paul – to najprostsze doświadczenie, ale dla mnie najmocniejsze – byłem w stanie w stu procentach wejść w afrykański step i poczuć osoby, które koło mnie siedzą. Chyba dwa dni temu prezes Tesli Elon Musk w wywiadzie przedstawił ideę urządzenia, które przyspiesza dostarczanie informacji do mózgu – stajemy się cyborgami, już prawie nimi jesteśmy, z natychmiastowym, szerokopasmowym dostępem do baz danych, analizą informacji płynących z naszego ciała w czasie rzeczywistym. Cały nurt transhumanizmu, badania Aleksandry Przegalińskiej oraz Leona Ciechanowskiego pokazują, że jest to nieuniknione – że coraz bardziej dążymy do połączenia ciała z komputerem. Album Massive Attack został w zeszłym roku zamieniony na strukturę DNA i wprowadzony do komórki. Jesteśmy coraz bliżej do jeszcze bardziej organicznego wejścia w materię cyfrową czy wirtualną. Wierzę, że pierwsi ze sklonowanych ludzi są już pełnoletni.

fot. Jakub Wróblewski

Współpracujesz od roku z Instytutem Psychologii PAN, który zajmuje się badaniem VR. Czy kontakt z psychologami ma pomóc w projektowaniu emocji w tych doświadczeniach?
Z Grzegorzem Pochwatko i Polą Borkiewicz pracowaliśmy nad kilkoma strukturami narracyjnymi polegającymi na przekazywaniu stanów emocji w VR. Współpracowaliśmy również ze studentami, którzy mieli za zadanie zaprojektować doświadczenie VR-owe, inspirowane jedną z dziesięciu najbardziej podstawowych emocji. Zaczęliśmy również pracować nad instalacją VR polegającą na feedbacku, czyli zbieraniu danych z organizmu, np. napięcia skóry czy tętna. Przetworzenie tych informacji przez silnik gamingowy pozwala stworzyć doświadczenie, w którym sami swoim ciałem projektujemy to, co widzimy. Pracujemy nad dyplomem realizowanym przez Karolinę Polkowską i Mateusza Kajmę w kolaboracji z Marcinem Witkowskim i Mieszkiem Wodzyńskim z Wydziału Mechatroniki Politechniki Warszawskiej.

I co studenci zrobili z tymi emocjami?
Projekty trochę wymknęły się nam spod kontroli. Miały być emocje, ale one poszły w kierunku różnych lotów, psychodelicznych światów, nawet jakieś elementy inspirowane kulturą rave. Badamy, badamy, to jest cały czas organiczna praca.

A była tam złość?
Było obrzydzenie. Dużo brązu, dziwnych cieczy i zanurzenia po uszy.

Obr. Jakub Wróblewski

Mówiłeś o rozwijaniu się człowieka pozwalającym na zlanie się jego mózgu z komputerem. Na razie mój umysł taki nie jest – chyba jest uformowany przez klasyczne media audiowizualne typu telewizja i radio, w związku z czym bardzo szybko robi mi się niedobrze, mam dużo niewiary względem tego, co widzę.
Zawsze jest bagaż, z którym wchodzimy. Też mam kryzys VR teraz, bo zastanawiam się, co chcemy zrobić. Czy jest on chwilowym trendem? Czy chcemy budować sztuczne środowisko, które imituje prawdziwy świat, co widzę teraz w przemyśle gamingowym? Nie lubiłem gier, nie byłem graczem, ale po poznaniu możliwości Unity lub Unreal widzę, że jest to faktycznie tworzenie światów. Główną tendencją w grach jest założenie, że horyzont jest płaski, przyśpieszenie wynikające z grawitacji wynosi 9,8 m/s² jak w rzeczywistości, podobnie z symulacją rozchodzenia się promieni światła – zero-jedynkowe udawanie tego, co widzimy. Mało jest projektów, w których możemy sami stworzyć wrażenie przestrzeni, objętości, sami określać, jaka jest paralaksa, czy symultanie widzieć obiekty z różnych perspektyw.

fot. Jakub Wróblewski

A myślicie o tej sytuacji przed założeniem gogli?
To jest bardzo ważne. Myśleliśmy o tym, żeby wymodelować i zmapować pomieszczenie, w którym zakładane są gogle. Po ich założeniu widzimy dokładnie to samo miejsce i ono transponuje się w pożądane doświadczenie. To jest jak z próbowaniem narkotyków. Pierwszy raz może być fantastyczny, ale może też być bardzo niedobry, więc ten mood & setting jest niezwykle istotny, aby uniknąć bad tripa.

Czyli takie przenikanie się światów przed i po, subtelne przejście…
Nie chcemy mitologizować zakładania okularów, „przejścia do światów, których nigdy nie zbadaliśmy”, ale higiena oglądania prac jest niezwykle ważna. Tak samo jak ważne jest czy wideo pokazujemy na telewizorze dwadzieścia cali, czy ekranie kinowym. To jest decyzja twórcy – myślę, że może być instalacja site specific, gdzie gogle są na wysypisku śmieci albo w opuszczonym budynku, ale decyzja twórcy musi współgrać z treścią.

Nie chcemy mitologizować zakładania okularów, „przejścia do światów, których nigdy nie zbadaliśmy”, ale higiena oglądania prac jest niezwykle ważna

Jak ważny jest dla ciebie dźwięk?
Dochodzę do tego, że dźwięk w projekcie VR-owym to 60 procent efektu. Teraz w ramach projektu badawczego pracuję nad doświadczeniem polegającym na konfrontacji dwóch komplementarnych nagrań audio. To są nagrania moich dziadków, jeden z nich podczas wojny był w obozie Auschwitz-Birkenau, a drugi w radzieckich łagrach. Tak się szczęśliwie złożyło, że mam bardzo dobrej jakości nagrania audio z ich wspomnieniami. Zbudowałem przestrzeń, którą pamiętam z dzieciństwa, w której można się poruszać i samemu budować narrację audialną – odbiorca znajduje się w chmurze sampli, którą miksuję w czasie rzeczywistym. Myślę, że bez problemu można zbudować immersyjny, mocny projekt oparty tylko na dźwięku. Jeśli jest on, oczywiście, odpowiednio spreparowany, ustawiony i odpowiednio koresponduje z obrazem.

Swoją drogą, jadąc do ciebie, zastanawiałem się, jakie projekty immersyjne są dla mnie ciekawe, i doszedłem do wniosku, że nie widziałem jeszcze projektu VR-owego czy immersyjnego, który by był w stu procentach satysfakcjonujący dla mnie jako twórcy czy odbiorcy sztuki. Ostatnio widziałem w Antwerpii instalację Edwarda Kienholza „Five Car Stud” – była to zaciemniona przestrzeń, dosyć duża, były tam ustawione figury białych ludzi, którzy kastrują ciemnoskórego mężczyznę. Odnosiło się to do wolności słowa i sytuacji polityczno-kulturowej Stanów Zjednoczonych lat 60. Można było poruszać się w tej przestrzeni, między figurami, było to niesamowite wrażenie freeze-frame’u, jakby zawieszona przestrzeń, w której się poruszasz. Dla mnie to było pięć razy bardziej immersyjne doświadczenie od tego, co mogę zobaczyć w okularach. Płyta Nicholasa Jaara „Space Is Only Noise” działa na mnie dużo bardziej: słyszę nagle dźwięki z tyłu głowy, odwracam się, żeby zobaczyć, co się tam dzieje. Pytanie, czy VR powinien być punktem dojścia, czy elementem większej całości.

fot. Jakub Wróblewski

Słuchasz podkastów?
ODBIORNIK, tylko ODBIORNIK…

Na tym powinnam skończyć.
Tak naprawdę to ODBIORNIK i TED.

Jestem fanką podkastów-seriali, które pozwalają osiągnąć taki efekt, jak powieści typu „Buddenbrookowie” Tomasza Manna, w których była przestrzeń i czas na to, żeby opowiedzieć bohaterów ze wszystkimi pozornie wykluczającymi się cechami, żeby wniknąć w ich świat. Tymczasem największe wrażenie zanurzenia w VR miałam, kiedy oglądałam spektakl Grzegorza Jarzyny, nieszczególnie interaktywny, to po prostu archiwizacja spektaklu. To nawet nie jest VR, tylko wideo 360 stopni, subtelnie, służebnie użyte, bo pamiętam historię, a nie sytuację, że miałam gogle na twarzy. Mogłam je zresztą zdjęć, zostać tylko z dźwiękiem, i to było bardzo przyjemne, ta możliwość wyłączenia się.
Mnie kręcą teraz dwie rzeczy, które bardzo chciałbym zrealizować. Marika Kuźmicz w ramach Systemów Narracyjnych prowadziła wykład, w których nawiązała do warsztatów formy filmowej, którą się zajmuje, oraz archeologii sztuki lat 60., 70. i 80. Ukuła tezę, że większość warsztatów formy filmowej to projekty bardzo immersyjne, które można by przeprowadzić w VR-rze. I tak dokładnie jest. Wideo „Idę”, w którym Józef Robakowski chodzi po schodach przeciwpożarowych, to tak naprawdę projekt embodiment: widzimy nogi, widzimy ręce i wchodzimy do góry – jesteśmy w nim.  Staram się namówić Marikę do stworzenia projektu, w którym zajmiemy się remakiem takich projektów, może zaprosimy jeszcze żyjących twórców i stworzymy jakiś remiks, wykorzystując narzędzia cyfrowe. Drugi projekt, o którym teraz myślę, to stworzenie aparatów pomiarowych Hansena i nawiązanie do uczenia przestrzeni VR-owej w VR.

Aparaty pomiarowe?
Były to konstrukcje do nauki znaczenia kompozycji, rytmu, koloru. Można było dzięki nim haptycznie poznawać struktury wizualne, sposoby konstytuowania przestrzeni. Myślę, że takie narzędzia do poznawania VR-u byłyby rozwinięciem i dopełnieniem Hansenowskiego rozumienia formy otwartej i idei edukacji otwartej.

Tekst dostępny na licencji Creative Commons BY-NC-ND 3.0 PL (Uznanie autorstwa-Użycie niekomercyjne-Bez utworów zależnych).