vir: https://nickbostrom.com/optimal.pdf
-
Članek argumentira, da razvoj superinteligence ni ruská ruleta, temveč tvegan, a pogosto racionalen “kirurški poseg” za človeštvo, ki sicer zanesljivo umira zaradi staranja in bolezni.
-
Preprost model pokaže, da je razvoj superinteligence racionalen že pri zelo visokih verjetnostih katastrofe, saj morebitni dobiček v pričakovani življenjski dobi močno presega status quo.
-
Bolj realistični modeli s postopnim napredkom varnosti, diskontiranjem, kvaliteto življenja in padajočimi mejami koristi večinoma priporočajo: hitro do AGI, nato kratka, dobro izvedena pavza pred polno implementacijo (“swift to harbor, slow to berth”).
-
Vključitev porazdelitvenih (prioritarnih) premislekov – da dajemo večjo težo slabše stoječim, starejšim, bolnim in revnim – običajno še skrajša optimalne časovnice.
-
Slabo implementirane pavze, previsok diskont ali napačno razumljeno tveganje lahko vseeno vodijo do strategij, ki so za živeče ljudi slabše od razmeroma hitrega, a varnostno poudarjenega prehoda v obdobje superinteligence.
DEJSTVA
-
Modeli življenjske dobe: brez AGI avtor vzame približno 40 let preostale pričakovane življenjske dobe, z uspešnim AGI in radikalno medicino pa ~1.400 let (na ravni smrtnosti zdravih 20-letnikov).
-
Prag sprejemljivega tveganja: v osnovnem modelu je razvoj AGI racionalen že, če verjetnost takojšnje popolne katastrofe ostane pod približno 97%, ker je pričakovana pridobitev let ogromna.
-
Optimalne zamude: pri modeliranju napredka varnosti se “optimalne pavze” med dosegljivostjo AGI in polnim lansiranjem večinoma merijo v mesecih ali nekaj letih, razen pri ekstremno visokem začetnem tveganju in zelo počasnem napredku varnosti.
-
Vpliv diskontiranja in kvalitete: zmerno časovno diskontiranje nagiba k kasnejšemu lansiranju, a višja kvalitetna raven življenja po AGI ter možnost radikalnega podaljšanja življenja spet vleketa k zgodnejšemu lansiranju.
-
Prioritarni pristop: če družbena funkcija blaginje bolj teži k najslabše stoječim (stari, bolni, revni, z nizko preostalo pričakovano življenjsko dobo), se optimalna časovnica AGI v teh modelih dodatno skrajša.