Endalok mannkyns

Yuval Harari, sagnfræðingur og höfundur metsölubókarinnar „Sapiens“, hélt erindi á Davos-ráðstefnu World Economic Forum árið 2018. Hann hóf erindi sitt með þeim orðum, að við værum líklega meðal síðustu kynslóða af homo sapiens. Tegundin sem tekur við af okkur verður afrakstur getu okkar til að hanna sjálf líkama, heila og huga. Þetta telur Harari verða mikilvægustu vöru 21. aldarinnar. „Þeir sem stjórna gögnum, stjórna ekki einungis framtíð mannkyns, heldur framtíð lífsins sjálfs“ (Dickson, 2018).

Rétt eins og nú er hægt að „hakka“ tölvukerfi, erum við nú komin á það stig að hægt er, fullyrðir Harari, að hakka sig inn í manneskjuna sjálfa. Njósnastofnanir nútímans hafa yfir að ráða tækni sem gerir það að verkum að láta alræðisstjórnir fyrri tíma blikna í samanburði. Reiknigeta tölvu nútímans, og tækni sem er stöðugt í þróun, er þegar komin á það stig að hægt er að greina, mæla, skrá og flokka erfðamengi okkar, tilfinningar, hegðunarmynstur, hugarstarfsemi og líffræðileg ferli. Tölvukerfi og gervigreindarvélar geta lesið hvernig okkur líður og séð fyrir um hvað við hyggjumst gera. Vísindin á bakvið fortölulistina sem tæknirisarnir og önnur risafyrirtæki nota í sína þágu eru orðin svo fullkomin að við tökum ekki lengur eftir fortöluboðunum sem stjórna okkur. Með tilkomu gervigreindar sem getur tekið á móti, lært á og unnið úr ótrúlegum fjölda lítilla merkja úr hegðun okkar, hugmyndaheimi og umhverfi opnast möguleikinn á því að stjórna einstaklingum, hópum og jafnvel heilum samfélögum.

Ef þetta er rétt hjá Harari, þá vaknar strax spurningin, hverjir hafa getuna og viljann til að möndla með þetta gríðarlega vald? Eins og í öðru þá ráða peningarnir för. Af tíu stærstu fyrirtækjum í heimi eru sex í tæknigeiranum og þau beinlínis starfa við að handleika, greina, flokka og nota gríðarlegt gagnamagn á hverri sekúndu. Þetta eru Alphabet, Apple, Microsoft, Amazon, Facebook og Tenent. Til að fá mynd af því hversu stór þessi fyrirtæki eru orðin, þá eru einungis sex þjóðríki nú meira virði en Apple. Það fyrirtæki er nú verðmetið ár rúma 2,2 trilljónir Bandaríkjadala (Cohen, 2021). Ólíkt þjóðríkjum, þá eru þessi fyrirtæki ekki bundin neinum lýðræðislegum höftum á ákvörðunartöku innan sinna yfirráðasvæða, þau þurfa ekki að halda uppi neinni tegund velferðarkerfis eða annarrar opinberrar þjónustu og geta fært starfsemi sína að vild eftir því hvaða ytri lög og reglugerðir hentar þeim hverju sinni. Þau græða á hverjum degi fúlgur sem hvaða þjóðríki sem er myndi öfunda þau fyrir.

Þessi fyrirtæki geta ekki lengur talist vera í samkeppni hvert við annað. Stærstu hlutafjáreigendur þessara fyrirtækja eru þrír fjármálarisar, BlackRock, State Street corp. og FMR fidelity, sem aftur eiga hluti í hver öðrum. Stjórnarfundir hjá þessum fyrirtækjum hafa nú vægast sagt afgerandi áhrif á heimsmálin. Því miður er ekki hægt að treysta á það að stærstu ríkin verði mótvægi við þessa þróun, þvert á móti.

Bandaríkjastjórn stefnir að stafrænu eftirlitskerfi með almenningi

Þann 28. apríl 2021 kynnti hinn nýi forseti Bandaríkjanna, Joe Biden, áform um nýja lífeindarannsóknarstofnun (biomedical research agency) sem yrði sniðin eftir máli Framkvæmdastofnunar varnarrannsókna (Defense Advanced Research Projects Agency – DARPA), og hljóta nafnið Advanced Research Projects Agency for Health (ARPA-H, eða HARPA; Albert, 2021). Þessi stofnun myndi bræða saman þjóðvarnir og „heilsuvarnir“ með þróun tækni sem gæti greint merki um bæði líkamlega og andlega sjúkdóma, í varnarskyni. Þannig mætti greina þessa sjúkdóma og þá sem fengju þá jafnvel áður en einkenni kæmu fram. Biden auglýsti stofnuninna þannig að með henni væri hægt að berjast gegn krabbameini (Kaiser, 2021).

Hugmyndin um þessa stofnun hafði verið reifuð árið 2019, áður en covid skall á. Tilgangurinn var þá sagður að nota tækni til að koma í veg fyrir skotárásir í skólum með því að greina aðvörunarmerki um atferlis- og hugarbresti hjá nemendum í bandarískum skólum, meðal annars með því að greina grunsamlegt taugaboð (Webb, 2021). Tæknin sem þróuð væri í stofnuninni átti einnig að geta komið í veg fyrir fósturlát með því að mæla hvort tilvonandi mæður finndu fyrir miklum kvíða (Alemany, 2019). Hér var talað um að góma glæpinn áður en hann ætti sér stað.

En hvernig myndi ARPA-H ná þessu fram? Í hugmyndunum sem settar voru fram árið 2019 er reifað hvernig stofnunin myndi nýta- „skynjarasvítu“ (sensor suite) sem bæri kennsl á merki um að einstaklingur væri sjúkur, smitandi og jafnvel líklegur til að fremja ofbeldisverk. Upplýsingar frá þessari skynjarasvítu yrðu svo greindar með gervigreindartækni á rauntíma. Þannig mætti til dæmis fá „snemmgreiningu á taugageðrænu ofbeldi“ (Alemany, 2019). Hægt væri að notast við ýmsa tækni sem almenningur notaði þegar. Þetta voru meðal annars Apple-úr, Fitbits, Amazon Echo og Google Home. Einnig yrði notast við gögn úr sjúkraskrám, t.d. niðurstöður rannsókna með fMRI skönnum. En einnig yrði hægt að þróa og notast við nýja tækni. Gögn um hvern einstakling frá öllum þessum dularfullu tækjum yrðu svo raðgreind með gervigreindartækni á miklum hraða.

Þau fyrirtæki sem nefnd voru sem samstarfsaðilar, t.d. Amazon, Facebook, Apple og Google, hafa ítrekað verið staðin að verki við að safna mjög ítarlegum upplýsingum um notendur sína, gjarnan án þess að notendurnir yrðu þess varir (Doffman, 2019; Newman, 2015; Cohen, 2021). Ef þau eru í svo nánu samstarfi við skuggastofnanir eins og ARPA-H, þá er ljóst að þessi fyrirtæki fylgjast þegar með hegðun fólks, og einnig tilfinningum, hugsunum og líðan fólks. Þetta hljómar geðveikislega, en svona eru tillögurnar sem liggja fyrir.

Forverar ARPA-H

DARPA (Defence Advanced Research Project Agency) var sett á laggirnar í forsetatíð Eisenhovers, árið 1958 í kjölfar þess að Sovétríkin voru fyrri til að setja fyrsta gervitunglið, Sputnik, á braut um jörðu. Þetta var mikið áfall fyrir Bandaríska yfirburðahyggju og til að endurheimta stoltið, og öryggistilfinninguna, skyldi ekkert til sparað. DARPA myndi tryggja yfirburði Bandaríkjanna með því að útvega hernum bestu tækni sem völ væri á og starfa náið með vísindamönnum, iðnaði til að hanna ný tæki og tól sem myndi gagnast hernaðarmætti Bandaríkjanna. DARPA stóð við sitt og meðal uppfinninga sem rekja má til hennar eru internetið (upphaflega „ARPA-net“), GPS, myndrænt viðmót (GUI), tölvumúsin, Siri (sú sem svarar spurningum þínum til iPad), HAARP veðurstjórnunarstöðin, og ótal minna þekkta tækni á borð við tækni til samruna véla og skordýra og morðvélmenna sem stýra sér sjálf (McCallion, 2020). DARPA vinnur nú í dag í háa gírnum og hefur nú lagt allt kapp í að þróa gervigreindartækni sem getur gagnast hernum. Vélarnar sem DARPA hefur í þróun miðar að „samruna manna og véla“ (symbiosis) og sjálfstæðra véla með gervigreind sem geta framkvæmt hernaðaraðgerðir í því sem þeir kalla „þriðju bylgju gervigreindar“ (DARPA, 2022). Hvað gæti farið úrskeiðis?

Að krukka í lífið

Eitt undirverkefna DARPA er svo deild um lífeindatækni, eða „Biological Technologies Office“ (BTO). Þessi deild þykir svo mikilvæg að mynda þarf sérstaka stofnun í kringum hana. Sú stofnun er einmitt ARPA-H. Þó að ARPA-H sé því enn ekki enn samþykkt af Bandaríkjaþingi, þá er hún í rauninni á fullu að þróa tækni þegar, undir nafninu BTO.

Fyrstu birtingarmynd BTO kom fram í kjölfar atburðanna 11. september 2001, en þá setti DARPA á laggirnar verkefnið „Total Information Awareness“ (TIA). Tilgangur þess var samhæfa mjög persónulegar og nákvæmar upplýsingar um fólk svo hægt væri að spá fyrir um og stöðva „hryðjuverkaárásir“ áður en þær ættu sér stað (USA Today, 2003). Þetta var í stuttu máli mjög umfangsmikið eftirlitskerfi með almennum borgurum, og meðal tækni sem þróuð var í þessum tilgangi voru tölvuforrit sem tóku saman upplýsingar um ferðir, heilsufar og samskipti fólks til að spá fyrir um hegðun þess og góma væntanlega glæpamenn áður en þeir frömdu glæpinn. Stofnunin var lögð niður árið 2003, en boltinn var farinn að rúlla.

Sautján árum síðar, á haustmánuðum 2020, kom svo verkefni úr ranni CDC sem er illgreinanlegt frá TIA. Þetta var HHS Protect, en það sérhæfir sig í þróun og notkun tækni til þess að greina meira en 200 tegundir upplýsinga um einstaklinga til þess að „spá fyrir um covid-19 útbreiðslu“. Þessar upplýsingar væru fengnar víða af; úr skýrslum FBI, úr heilsufarsskýrslum o.s.frv. sem svo yrði safnað saman og greindar með ýmsum dularfullum tölvuforritum (Webb, 2020). Ef HHS Protect og ARPA-H sameinast, þá mun sú stofnun hafa yfir að ráða hreint ótrúlegu magni af gríðarlega persónulegum upplýsingum um einstaklingana sem mynda bandarískt samfélag, og hugsanlega einnig á heimsvísu. Þetta gefur stjórnvöldum færi á eftirliti og stjórn yfir fólki sem hingað til hefur einungis átt sér hliðstæðu í vísindahrollvekjum.

Fordæmi Kína

Alþýðulýðveldið Kína hefur forustu um eftirlitssamfélagið. Á átjánda landsþingi kínverska kommúnistaflokksins árið 2012 var samþykkt að koma á fót félagslegu einkunnarkerfi (en. social credit system) í þeim tilgangi að „efla einlægni í ríkismálum, viðskiptum og félagsmálum“. Þetta kerfi myndi verðlauna fyrir téða einlægni og refsa fyrir óheiðarleika. Tillagan, „Álit miðstjórnar CCP og ríkisráðs um eflingu og nýsköpun í félagsstjórnun“, var samþykkt og verkefnið var sett á laggirnar strax árið 2014 (CCP, 2014).

Ríkisstofnanir á borð við Þjóðarþróunar- og umbótanefndina (NDRC), og svo hálf-einkafyrirtæki á borð við „Sesame Credit“ sjá um framkvæmd kerfisins í sameiningu. Kerfið virkar þannig að hver þegn hefur fengið sérstakan kóða sem er skráður í gagnagrunn og tengdur við ýmsa þjónustu. Hægt er að gefa þegninum plús og mínusstig, allt eftir því hversu hlýðinn hann eða hún er. Þannig fær þegninn mínusstig ef hann keyrir illa, reykir á bönnuðum svæðum, kaupir sér of marga tölvuleiki eða deilir röngum upplýsingum á internetið svo eitthvað sé nefnt. Refsingarnar fyrir slæma hegðun eru að ýmsu tagi. Til dæmis er hægt að hægja á internettengingu þess sem hagar sér óeinlægt og hindra hann í að ferðast. Slæmt félagsskor getur svo hindrað einstaklinginn í að verða sér úti um ýmsa þjónustu, allt frá góðu hótelherbergi yfir í það að fá ráðningu í góð störf. Einnig eru fregnir um það að slæmt skor komi í veg fyrir inngöngu í skóla og hefur meir að segja verið komið fyrir í stefnumótaforritum. Óþekkt fólk skal ekki fá góða vinnu, menntun eða rómantík. Yfirvöld hafa beinlínis sent atvinnurekendum lista yfir sérlega óheiðarlegt fólk (Canales, 2021).

Framkvæmd þessa eftirlits- og einkunnarkerfis er nokkuð á huldu, en vitað er að meðal annars er notast við andlitsgreiningarkerfi sem tengt er við myndavélar sem dreift er út um allt samfélagið. Einnig geta fyrirtæki, stofnanir og jafnvel borgarar klagað til stjórnvalda um óeinlæga hegðun af ýmsu tagi. En það er einnig hægt að fá plús-prik fyrir einlæga hegðun á borð við að stoppa fyrir gangandi vegfarendum, standa í skilum, vera kurteis og hlýða yfirvaldinu. Fólki sem fær gott félagsskor er svo gert lífið léttara með því að vera framar í forgangröð fyrir ferðalög, hótel, þau fá afslátt á reikninga, stefnumótaforrit gera þeim hærra undir höfði og svo mætti lengi telja. Fylgjendur kerfisins eru hæstánægðir og segja að fólk sé að verða æ hlýðnara og kurteisara eftir því sem á líður (Canales, 2021). Aðrir sjá þetta sem martraðakennt ofurstjórnunarkerfi sem muni koma í veg fyrir allan möguleika á andófi gegn stjórnvöldum í framtíðinni. Þjóðin verður gerð að þægum þrælum. Þetta færir ríkinu áður óþekkt völd. Ef þetta er byrjunin á þessu kerfi, þá er framtíðin ekki björt.

Heimildir

Albert, V. 2020. Biden says it's "within our power" to end cancer and pushes for more visionary health research. CBS News. Sótt frá https://www.cbsnews.com/news/biden-speech-congress-joint-session-cancer-health-proposal/

Alemany, J. 2019. White House considers new project seeking links between mental health and violent behavior. The Washington Post. https://www.washingtonpost.com/politics/2019/08/22/white-house-considers-new-project-seeking-links-between-mental-health-violent-behavior/

Canales, K. 2021 (24. Desember). China's 'social credit' system ranks citizens and punishes them with throttled internet speeds and flight bans if the Communist Party deems them untrustworthy. Business Insider. https://www.businessinsider.com/china-social-credit-system-punishments-and-rewards-explained-2018-4?r=US&IR=T

CCP (Ríkisráð kínverska Kommúnistaflokksins). 2014. Planning Outline for the Construction of a Social Credit System (2014-2020). https://chinacopyrightandmedia.wordpress.com/2014/06/14/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020/

Cohen, J. 2021. Amazon's Alexa Collects More of Your Data Than Any Other Smart Assistant. PC Magazine. Sótt frá https://uk.pcmag.com/smart-home/136455/amazons-alexa-collects-more-of-your-data-than-any-other-smart-assistant

Cohen, J. 2021. World's Most Valuable Tech Companies Are Richer Than Most Countries. PC Magazine. Sótt frá https://au.pcmag.com/how-to/86441/worlds-most-valuable-tech-companies-are-richer-than-most-countries.

DARPA. 2022. AI next campaign. Defence Advanced Research Project Agency, heimasíða. Sótt frá https://www.darpa.mil/work-with-us/ai-next-campaign

Dickson, B. 2018 (31., janúar). AI, big data and the future of humanity. Tech Talks, Newsletter. Sótt frá https://bdtechtalks.com/2018/01/31/yuval-harari-wef-ai-big-data-digital-dictatorship/

Doffman, Z. 2019. Facebook Has Just Been Caught Spying On Users' Private Messages And Data – Again. Forbes. https://www.forbes.com/sites/zakdoffman/2019/01/30/facebook-has-just-been-caught-spying-on-users-private-messages-and-data-again/?sh=2042555431ce

Kaiser, J. 2021. Biden wants $6.5 billion for new health agency to speed treatments. Science. Sótt þann 12.01.2022 frá https://www.science.org/content/article/biden-wants-65-billion-new-health-agency-speed-treatments

McCallion, J. 2020. 10 amazing DARPA inventions: how they were made and what happened to them. IT Pro. https://www.itpro.co.uk/technology/34730/10-amazing-darpa-inventions

Nahar, P. 2022. Apple's m-cap at $3 trillion less than just 4 nations' GDP. The Economic Times (04.01). https://economictimes.indiatimes.com/markets/stocks/news/apple-m-cap-at-3-trillion-only-four-nations-worth-more-than-the-iphone-maker/articleshow/88685135.cms?from=mdr

Newman, N. 2015. Why Google's Spying on User Data Is Worse than the NSA's. Huffington Post. https://www.huffpost.com/entry/why-googles-spying-on-use_b_3530296

The Economist. 2021 (5. júní). A growing number of governments hope to clone America’s DARPA. Sótt frá https://www.economist.com/science-and-technology/2021/06/03/a-growing-number-of-governments-hope-to-clone-americas-darpa

USA Today. 2003 (25.09). Pentagon's 'Terror Information Awareness' program will end. Washington. Sótt frá http://usatoday30.usatoday.com/news/washington/2003-09-25-pentagon-office_x.htm

Webb, W. 2021. U.S. on Course to Become ‘Digital Dictatorship’ Under Proposed Biomedical Research Agency. The Defender. Sótt frá https://childrenshealthdefense.org/defender/digital-dictatorship-biomedical-research-agency-national-health-security/

Webb, 2020. Secretive HHS AI Platform to Predict US Covid-19 Outbreaks Weeks in Advance. Unlimited Hangout. https://unlimitedhangout.com/2020/10/reports/secretive-hhs-ai-platform-to-predict-us-covid-19-outbreaks-weeks-in-advance/

World Economic Forum [WEF]. 2020. The Great Reset: Highlights. Sótt frá https://www.weforum.org/focus/the-great-reset