VIR
-
https://www.nber.org/papers/w35720 — kanonična stran raziskave Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting, delovni zvezek NBER št. 35720, objavljen septembra 2026. Odprta spletna stran vsebuje celotno raziskavo v obliki PDF.
BISTVO
-
Raziskava ločuje izboljšanje izdelka od izboljšanja posameznikovega znanja: pravniki so najprej pripravljali patentne osnutke z dovoljeno uporabo AI v eksperimentalni skupini, po treh mesecih pa so vsi opravili pregled in popravljanje obstoječega osnutka brez AI; tako so avtorji preverili, ali boljši rezultati ob uporabi orodja pomenijo tudi boljšo samostojno strokovno presojo.
-
Dostop do AI je izboljšal kakovost patentnih osnutkov pri obeh preverjanjih, pri čemer so manj izkušeni pravniki dosegli večje ocenjene koristi kot izkušenejši; izboljšave so zajemale pravno uveljavljivost, tehnično pravilnost, strateško širino formulacij, popolnost in jasnost, vendar razlika v velikosti učinkov med izkušenostnima skupinama ni bila statistično zanesljivo potrjena
-
Prenos koristi na delo brez AI je bil izrazito drugačen: izkušeni pravniki, ki so tri mesece uporabljali pomočnika, so pri samostojnem popravljanju patentne prijave presegli primerljivo kontrolno skupino, manj izkušeni pa v povprečju niso napredovali; pri slednjih se je povečala razpršenost ocen, z več slabimi in več dobrimi rezultati ter manj podpovprečnimi rezultati.
-
Kvalitativna analiza nakazuje razliko v načinu dela: uspešnejši izkušeni pravniki so odpravljali večje pravne in strukturne pomanjkljivosti ter utemeljevali spremembe, manj izkušeni pa so pogosto popravljali slog ali prepoznali napako, ne da bi jo dejansko odpravili; ker se je takšno ravnanje pojavljalo tudi v kontrolni skupini, raziskava ne dokazuje, da ga je povzročila AI
-
Osrednja ugotovitev ni, da AI na splošno zmanjšuje strokovnost, temveč da boljši rezultati z AI niso zanesljiv dokaz učenja: obstoječe znanje lahko pomaga pri pridobivanju trajnejših koristi, vendar ostaja ta razlaga previdna zaradi majhnega in specializiranega vzorca, trimesečnega spremljanja, odsotnosti začetnega praktičnega preizkusa znanja ter nepopolnega nadzora nad uporabo AI pri zaključnem preverjanju.
DEJSTVA
-
Raziskavo so podpisali David Autor z MIT in NBER ter Tanya Rodchenko, Josh Martin, Zanna Iscenko, Scott Strand, David Pearl in Melissa Ferere iz Googla; predregistrirali so jo 21. maja 2025 pod oznako AEARCTR-0015823, neposredne stroške poskusa pa je financiral Google, pri čemer dokument izrecno opozarja, da gre za delovni zvezek brez znanstvene recenzije.
-
V poskus so naključno razporedili 133 pravnikov iz 11 ameriških odvetniških družb: 90 jih je dobilo dostop do pomočnika InFlow podjetja Google Labs, 43 pa je bilo v kontrolni skupini; prvo nalogo je dokončalo 105 sodelujočih, drugo nalogo priprave osnutka 98, zaključni pregled brez AI pa 91, pri čemer so bili »manj izkušeni« opredeljeni z manj kot sedmimi leti prakse in »izkušeni« z najmanj sedmimi leti.
-
Pri zaključnem pregledu brez AI je skupni učinek znašal 0,32 standardnega odklona (p=0,04p=0,04p=0,04), pri izkušenih 0,45 (p=0,02p=0,02p=0,02), pri manj izkušenih pa −0,03 (p=0,89p=0,89p=0,89); slednja ocena ne dokazuje povprečnega poslabšanja, vendar se je pri manj izkušenih verjetnost ocen v najslabši petini povečala za 22 odstotnih točk, delež ocen v drugi najslabši petini pa zmanjšal za 42 odstotnih točk.
-
Pri prvem pisanju osnutka je skupina z AI prihranila približno 10 minut glede na kontrolno izhodišče 112 minut, predvsem zaradi prihrankov manj izkušenih pravnikov; avtorji so pri zaključnem pregledu označili tudi 15 od 91 izdelkov kot potencialno neskladnih s prepovedjo AI, po njihovi izključitvi pa je učinek pri izkušenih ostal pozitiven, vendar manj zanesljiv: 0,39 standardnega odklona (p=0,06p=0,06p=0,06), medtem ko skupni učinek ni več dosegal običajnega petodstotnega praga statistične značilnosti.