dwutygodnik - strona kultury

Aleksandra Przegalińska

Jak to możliwe, żeby maszyna asystowała przy podjęciu decyzji w sprawie zatrucia stawu toksycznymi odpadami bądź zwolnienia pracownika, który nie wykonywał swoich zadań dostatecznie dobrze?

25 listopada 2008 Cornelia Dean opublikowała w „New York Timesie” artykuł, który w międzynarodowym obiegu przeszedł bez większego echa. Tekst, zatytułowany „A Soldier Taking Orders From Its Ethical Judgment Center”, oparty był na wywiadzie udzielonym pani Dean przez dr. Ronalda C. Arkina. Doktor Arkin opisywał tam swoją pracę na zlecenie U.S. Army, która polega na projektowaniu inteligentnych robotów bojowych, detektorów min i rozmaitych „urządzeń tropiących”. Przy okazji napomknął, iż jego największym marzeniem jest skonstruowanie robota, który będzie samodzielnie funkcjonował na polu walki, czyli podejmował decyzje bez rozkazów człowieka. Zadeklarował, iż prace nad takim mechanizmem trwają od kilku lat.

fot. Photoshot/PAPIdea może wydawać się szalona, ale w rzeczywistości nie jest ani nowa, ani zdumiewająca dla osób, które biorą udział w podobnych projektach od wielu lat. Pomysł stworzenia systemów, które asystowałyby w podejmowaniu wojskowych decyzji strategicznych i rozwiązywaniu problemów na polu walki, a także delegowały armię robotów na wojnę, jest głęboko osadzony w powojennej historii Zachodu. Okres jego szczególnej popularności przypada na lata pięćdziesiąte i sześćdziesiąte XX wieku, czyli czas zimnowojennego wyścigu zbrojeń, jaki miał miejsce pomiędzy krajami NATO ze Stanami Zjednoczonymi na czele a ZSRR i Układem Warszawskim. Wówczas to w laboratoriach na amerykańskich uniwersytetach narodziła się cybernetyka (gr. kybernán: „sterować”, „kontrolować"), czyli nauka o systemach sterowania złożonymi układami opartymi na przetwarzaniu i przekazywaniu informacji, w całości podporządkowana myśleniu, iż bardziej zaawansowane części globu wymagają skutecznych modeli planowania strategicznego i zarządzania ryzykiem, ponieważ muszą być za wszelką cenę chronione przed wrogą inwazją. Jak w „Cyborg Agonists” zauważa Phil Mirowski, teoria gier i  badania operacyjne (tzw. OR – operations research), które stanowiły trzon cybernetyki, wiodły w latach 50. prym, ponieważ oferowały kuszącą perspektywę stworzenia całościowej teorii organizacji powojennego świata: synergii między dynamicznie rozwijającymi się naukami ścisłymi, stabilną ekonomią i racjonalnym zagospodarowaniem wciąż rosnących zasobów ludzkich.

Naturalne wydawało się, że w obliczu ewidentnego postępu techniki i w warunkach zagrożenia nieprzewidywalnym, człowiek Zachodu musi współdziałać z sojusznikami, których sam stworzył – maszynami. Spór toczył się o to, jaki charakter miałaby mieć ta relacja. Pierwszym istotnym projektem była koncepcja Alana Turinga: duet złożony z maszyny obliczeniowej i człowieka miał współpracować celem opracowywania optymalnych rozwiązań strategicznych. Człowiek był od zarządzania, maszyna zaś – jako partner „inteligentniejszy” – od obróbki danych i przedstawiania potencjalnych rozwiązań. Jednakże, poza jasnym podziałem ról narzuconym przez Turinga, pojawiały się pomysły zgoła odmienne. Jednym z nich była idea Donalda McKaya, badacza psychologii procesów wymiany informacji, który jako pierwszy wprowadził darwinizm do cybernetyki. Poza stałym instrumentarium OR, w jego słowniku opisu maszyn znalazły się wyrazy takie jak „adaptacja” czy „celowość”. McKay nie godził się ani na to, że ludzki organizm składa się z kompozycji podsystemów, które można dowolnie odtwarzać poza ludzkim ciałem, ani na to, że działanie i myślenie człowieka (a w konsekwencji także maszyny) można pomyśleć poza jego naturalnym otoczeniem. Proponował zatem skupienie się na analizie zachowań umożliwiających przetrwanie oraz celowości działań. W kontekście zimnej wojny sama koncepcja McKaya w istocie zrewolucjonizowała pojęcie wroga – obcego. Chciał nauczyć maszynę tego, czego ze zrozumiałych skądinąd przyczyn nigdy nie zdołał opanować człowiek: myślenia, że „obcy to ja”. Niestety, nie doczekała się satysfakcjonującej realizacji praktycznej.

Dekadę później założenia stworzenia idealnej maszyny bojowej, która przypominałaby w wielu funkcjach człowieka, ale jednocześnie górowała nad nim intelektem, zostały zrewidowane przez brak wymiernych rezultatów. Kolejne projekty robotów antropomorficznych zatrzymywały się w momencie, gdy maszyna zamiast liczyć lub wykonywać zaprogramowane zadania miała zacząć się uczyć. W tej sytuacji armia amerykańska powoli zaczęła wycofywać dotacje z uczelni prowadzących na jej zlecenie badania nad „terminatorem”. Jednakże właśnie wtedy gdy źródło rządowego finansowania wyschło, wciąż młodą dziedziną zainteresował się amerykański biznes, który z reguły stawia raczej na rozwiązania skuteczne niż ambitne i nie żądał od maszyny, żeby stała się „lepszym człowiekiem”. Dlatego też lata siedemdziesiąte okazały się okresem rozwoju pewnego komponentu inteligentnych maszyn bojowych, czyli tzw. systemów wspomagania decyzji (Decision Support Systems, w skrócie DSS).

Dzięki GNU Free Documentation License:
http://www.gnu.org/licenses/fdl.htmlMówiąc najprościej, systemy te bazują na wnioskowaniu „jeśli – to”. Większość składa się z trzech zasadniczych części: bazy danych, która stanowi zasób wiedzy systemu, silnika inferencyjnego, który stanowi jego operacyjny mózg, oraz interfejsu, który pozwala komunikować się z użytkownikiem. Mechanizm podejmowania decyzji przez DSS polega na tym, że dobra decyzja to tylko i wyłącznie taka, która wynika z dobrego procesu decyzyjnego. Innymi słowy, jeśli mechanizm działa prawidłowo, decyzja musi być prawidłowa. Dzięki tak klarownemu rozumowaniu uznano, że DSS mogą być pomocne w branżach, które po wojnie rozwinęły się najbardziej: finansach, systemie opieki zdrowotnej, a także administracji i podatkach. Jednakże im lepszymi pracownikami okazywały się DSS w środowisku prostych, rutynowych działań, tym więcej od nich oczekiwano. Nie miały już, na wzór swoich technologicznych przodków, maszyn do pisania, asystować w pracach biurowych, lecz nimi zarządzać.

Obecnie wśród systemów decyzyjnych wyróżnia się szczególną grupę obdarzoną sporym zaufaniem społecznym, która nosi wdzięczną nazwę „systemów eksperckich”. Grupa ta jest o tyle wyjątkowa, że zdaniem wielu specjalistów najbardziej „upodobniła się” do człowieka. Systemy eksperckie, które z grubsza skonstruowane są podobnie do DSS, różnią się od nich przede wszystkim tym, że – podobnie do człowieka – „uruchamiają wyobraźnię”, tj. „rozumieją”, że funkcjonują w złożonym środowisku, o którym nie ma pełnej wiedzy. Zamiast zatem brać pod uwagę ogromną ilość parametrów, testują małymi krokami różne rozwiązania problemu, które przyswoiły wcześniej w podobnych sytuacjach. Aby osiągnąć cel główny, wyznaczają sobie na podstawie testów cele pośrednie i dopiero po ich realizacji uruchamiają dalsze procedury. Jednak wśród rozmaitych scenariuszy system – z racji swojej elastyczności – czasem nie potrafi rozpoznać tego, który jest błędny w sposób oczywisty, a przynajmniej takim jawiłby się dla człowieka.

Mimo to systemy eksperckie od około dwudziestu lat zalewają rynek usług. Ich cichą, ledwo zauważalną obecność można wytropić zarówno w opiece medycznej, jak i e-handlu oraz bankowości. Od około pięciu lat (czyli mniej więcej od czasu, gdy dr Arkin zaczął budować „mechanicznego żołnierza”) mówi się także głośniej o wdrożeniu systemów eksperckich w świat doradztwa biznesowego, a także… etycznego i psychologicznego. Już pod koniec lat dziewięćdziesiątych ochoczo zapowiadano, że uczące się systemy eksperckie mogą nie tylko prowadzić menedżerów w ich decyzjach biznesowych, ale także pełnić w przyszłości istotną funkcję edukacyjną, kształcąc kolejne pokolenia kadr. Jednakże, jak podkreślają przeciwnicy DSS, kadry to niezupełnie to samo co zasoby. Jak to możliwe, żeby maszyna asystowała na przykład przy podjęciu decyzji w sprawie zatrucia stawu toksycznymi odpadami bądź zwolnienia pracownika, który nie wykonywał swoich zadań dostatecznie dobrze? Takie propozycje budzą oczywisty opór. Już w 1993 roku Omar E.M. Khalil w książce „Artificial Decision-Making and Artificial Ethics: A Management Concern” pisał, iż system ekspercki nie może ani podjąć samodzielnie decyzji o charakterze etycznym, ani nawet asystować przy jej podjęciu, ponieważ brakuje mu emocji i systemu wartości, co całkowicie upośledza jego zdolność do adekwatnej oceny sytuacji. Także Daniel Dennett, niegdyś przyjaciel i orędownik cyborgów, udowadniał, że system ekspercki nie może zarządzać jak człowiek, ponieważ nie żyje jak człowiek. A jednak przestrogi przeciwników wydają się wołaniem na pustyni. Pozostaje faktem, że masa ludzi, którzy już dziś pracują zawodowo z takimi systemami, wspólnie z nimi podejmując decyzje wysokiego ryzyka, woli tę odpowiedzialność zbiorową od odpowiadania własną głową i wierzy, że „decyzja systemu” jest bardziej racjonalna od tej, którą podjęliby sami.

Zastanawiające, że tak młoda dziedzina, jaką jest sektor IT, potrafiła w krótkim czasie niemal samodzielnie wykształcić nową etyczną figurę profesjonalisty (lekarza, menedżera, żołnierza, a w przyszłości może także prawnika), którego zawodowe kompetencje definiuje zakres współpracy z systemem. Nie jest to bowiem sytuacja rodem z „Blade Runnera,” gdzie wzruszający klon chce zostać człowiekiem, lecz taka, w której „klon” naucza człowieka jak być człowiekiem, robiąc mu testy Voight-Kampffa à rebours. Być może jednak ironia nie jest tu na miejscu? Człowiek przecież coraz chętniej poddaje się rozmaitym praktykom polegającym na treningach dyscyplinujących osobowość i figura trenera w sposób widoczny wypiera figurę terapeuty. Z drugiej zaś strony, „czuły programista” ze Stanford University uwrażliwia robota-pupila na znane psychoanalizie mechanizmy wyparcia, które można wytropić i zwizualizować dzięki rezonansowi magnetycznemu. W tej sytuacji rzeczywiście trudno orzec, kto kogo powinien uczyć.

Ten artykuł jest dostępny w wersji angielskiej na Biweekly.pl.