Když je člověk „mimo smyčku“: Etičnost autonomních zbraní

Když je člověk „mimo smyčku“: Etičnost autonomních zbraní
08 / 03 / 2019, 12:00

S vývojem nových technologií lidstvo čelí řadě bezpečnostních, právních a etických problémů. Příkladem technologie, u níž toto tvrzení platí obzvláště, jsou autonomní zbraně, mediálně často označovány jako „zabijáčtí roboti“. 25.‒29. března dojde v ženevském sídle OSN již ke třetímu setkání skupiny vládních expertů na toto téma.

KOMENTÁŘ

Co si pod hrozivým názvem „zabijáčtí roboti“ představit? Kategorie autonomních zbraní obecně zahrnuje všechny zbraňové systémy s autonomií v některé z jejich funkcí, tedy schopností plnit určité úkony bez zásahu člověka. Tyto funkce mohou zahrnovat relativně neškodné oblasti jako je mobilita a navigace, ale také eticky problematické oblasti jako je zaměřování a útok na živé cíle.

Lépe nám umožňuje uchopit autonomii ve zbraňových systémech koncept tzv. OODA smyčky (anglická zkratka pro „pozorovat“, „zorientovat se“, „rozhodnout“ a „konat“), který je běžně používán k analýze rozhodovacích procesů. Koncept lze aplikovat také na strojové rozhodovací procesy, včetně zaměřovacích procesů autonomních zbraní.

Díky OODA smyčce můžeme rozlišit existující autonomní zbraně na ty, kde je člověk 1) „ve smyčce“, a kde může stroj vybrat cíl a zaútočit pouze s přímým příkazem člověka, 2) „na smyčce“, kde člověk plní roli dozorčího s možností vstoupit do rozhodovacích procesů stroje a 3) „mimo smyčku“, kde stroj vybírá cíle a útočí již zcela bez zásahu člověka.

Naprostá většina současných autonomních zbraní, včetně dálkově ovládaných „dronů“ či řízených střel, spadá do první kategorie. To znamená, že veškeré zaměřovací procesy podléhají přímé lidské kontrole a lidé, kteří tato rozhodnutí činí, za ně pak nesou morální a právní odpovědnost. Kdo ale ponese odpovědnost za civilní ztráty, je-li člověk „mimo smyčku“?

V případě, kdy je člověk „mimo smyčku“, hrozí, že se společně s ním z rozhodovacích procesů vytratí i lidské hodnoty, úsudek či schopnost empatie. To alespoň tvrdí část filosofů a aktivistů, včetně členů tzv. „Kampaně na zastavení zabijáckých robotů“, kteří požadují úplný zákaz autonomních zbraní.

Jednou z navrhovaných možností, jak zabránit zneužívání autonomních zbraní k obcházení morální a právní odpovědnosti, je přijetí standardu tzv. „smysluplné lidské kontroly“ (SLK). Jeho prostřednictvím by v podstatě došlo k zákazu části autonomních zbraní, tedy alespoň těch, kde je člověk „mimo smyčku“ zaměřovacích procesů stroje.

Ačkoliv se v expertních a diplomatických kruzích stala myšlenka SLK populární, není zatím úplně zřejmé, co všechno by standard obnášel. Pro některé je to potřeba přímé lidské kontroly, pro jiné spolehlivý design, pro další dostatečné informace o kontextu útoku atd. V debatě o SLK jako bázi pro regulaci autonomních zbraní však nelze opomenout jednu zásadní skutečnost:

Regulace, ať už národní nebo mezinárodní, závazná či dobrovolná, nemůže sama o sobě vyřešit etická dilemata autonomních zbraní. Klíčem k řešení těchto etických otázek by měl být především celospolečenský konsenzus, nikoliv názor hrstky filosofů, aktivistů nebo diplomatů v Ženevě.

Podobně jako v případě jaderných zbraní, i v případě autonomních zbraní, a specificky plně autonomních zbraní namířeným proti lidským cílům, by mohlo dojít k tabuizaci jejich použití. Celospolečenské přesvědčení o neetičnosti těchto zbraní by pak mohlo vytvořit normativní základ pro případnou kodifikaci zákazu, ale současně by fungovalo jako zábrana k jejich použití samo o sobě.

Shoda ale ve společnosti neexistuje, a postoje napříč zeměmi se značně liší. Z nedávného průzkumu veřejného mínění agentury Ipsos sice vyplývá, že 61 % dotázaných z 26 zemí je proti použití autonomních zbraní, ale například v Indii to bylo pouze 37 % v Izraeli 41 %. Závěry o celospolečenském konsensu o neetičnosti autonomních zbraní jsou tedy v tuto chvíli předčasné. Průzkumy by navíc měly sloužit spíše jako „indikátory“ než „důkazy“ existence tabu.

Faktem je, že úplný zákaz autonomních zbraní by byl proti národním zájmům velmocí, jako jsou Spojené státy, Rusko nebo Čína, pro které tyto technologie tvoří dnes již neodmyslitelnou součást vojenského arzenálu. To je zřejmé například ze strategických dokumentů a výroků vládních představitelů, ale také z prudkého růstu investic do autonomních technologií v těchto zemích.

Je nepochybně nutné řešit různé bezpečnostní, technické a právní aspekty autonomních zbraní a regulace může v tomto ohledu sehrát důležitou roli. Možnost, že se podaří diplomatům v Ženevě dojít dohody v určité omezené podobě jistě nelze vyloučit. V ideálním případě by však měla regulace stavět na silném normativním základu, který podpoří její implementaci.

Stigmatizace autonomních zbraní jako „zabijáckých robotů“ může být v tomto ohledu přínosná. Nicméně, je třeba si uvědomit, že „zabijáčtí roboti“ představují pouze velmi specifickou skupinu autonomních zbraní. Senzační titulky a vyobrazování autonomních zbraní jako „terminátorů“ je zavádějící a jejich nadužívání může snahu o tabuizaci spíše poškodit vyvoláváním obav tam, kde nejsou na místě. Řada autonomních technologií má totiž zcela legitimní využití, jak v civilní, tak vojenské sféře.

 

Autor: Ondřej Rosendorf, analytik výzkumného centra AMO

Tagy článku

-->