VIR:
https://machinelearningmastery.com/ai-agent-benchmarks-explained-swe-bench-gaia-webarena-and-more/
Članek »AI Agent Benchmarks Explained: SWE-Bench, GAIA, WebArena, and More« je napisal Vinod Chugani; objavljen je bil 12. oktobra 2026 na portalu Machine Learning Mastery.
BISTVO
Primerjalni preizkusi agentov ocenjujejo večstopenjsko opravljanje nalog z uporabo orodij in interakcijo z okoljem, medtem ko tradicionalni preizkusi modelov praviloma preverjajo pravilnost posameznega odgovora.
SWE-bench, GAIA, WebArena in OSWorld preverjajo različne sposobnosti, zato visoka uspešnost na enem področju ne zagotavlja splošne uporabnosti ali zanesljivega delovanja v produkciji.
Avtor priporoča uporabo javnih rezultatov za začetni izbor kandidatov, končno odločitev pa naj določijo interni preizkusi na lastnih delovnih postopkih, ki vključujejo stroške, hitrost, varnost in obvladovanje napak.
DEJSTVA
Članek obravnava štiri glavna področja preverjanja agentov:
- SWE-bench in SWE-bench Verified: odpravljanje programskih napak v resničnih projektih.
- GAIA: raziskovanje in sklepanje z več orodji ter različnimi vrstami podatkov.
- WebArena z ogrodjem BrowserGym: izvajanje nalog v spletnih aplikacijah.
- OSWorld: uporaba namiznega operacijskega sistema in sodelovanje med aplikacijami.
Primerjava 80-odstotne in 70-odstotne uspešnosti na SWE-bench je ponazoritveni primer, ne rezultat konkretnih imenovanih agentov: uspešnejši sistem lahko porabi bistveno več računskih virov, žetonov in klicev API.
Tudi primerjava med 30 sekundami in 20 minutami za izvedbo naloge je ilustrativna; članek ne objavlja lastnih meritev, temveč opozarja, da sam odstotek uspešnosti ne pokaže časovne in stroškovne učinkovitosti.
Kaj posamezni preizkus dejansko pove
SWE-bench:
Agent dobi prijavljeno težavo iz repozitorija na GitHubu, denimo iz projektov Django ali scikit-learn, in pripravi popravek kode.
Uspeh se ocenjuje s testi. Različica Verified vsebuje človeško pregledano podmnožico nalog, kar zmanjšuje težave zaradi nejasnih zahtev ali neustreznih testov.
Omejitev: uspešno prestani testi sami po sebi ne zagotavljajo varnosti, vzdržljivosti ali splošne kakovosti kode.
GAIA:
Preverja, ali agent zna povezati spletno iskanje, pregled dokumentov, obdelavo datotek, izračune in večstopenjsko sklepanje.
Ključno je usklajevanje teh korakov brez izgube prvotnega cilja.
Omejitev: naloge navadno predvidevajo en pravilen odgovor, resnične zahteve uporabnikov pa so pogosto dvoumne, odvisne od konteksta in spremenljive.
WebArena in BrowserGym:
WebArena uporablja izolirane različice spletnih trgovin, sistemov za upravljanje vsebin, forumov in drugih aplikacij; agent mora uporabljati obrazce, gumbe in navigacijo.
BrowserGym je modularno ogrodje za vključevanje različnih spletnih okolij in načinov ocenjevanja.
Omejitev: avtor opozarja na možnost, da so javne naloge že vključene v učne podatke modelov, zato dober rezultat lahko deloma odraža poznavanje nalog namesto posploševanja.
OSWorld:
Agent upravlja datoteke, uporablja grafične aplikacije, spreminja sistemske nastavitve in izvaja postopke prek več programov.
Omejitev: na rezultat vpliva tudi stabilnost preizkusnega okolja; sesutje aplikacije ali napačen prikaz lahko povzroči neuspeh neodvisno od kakovosti agentovega sklepanja.
Kaj lestvice izpustijo in kako rezultate uporabiti
Članek izpostavlja pet pogosto premalo zajetih vidikov: stroške, odzivni čas, spoštovanje varnostnih omejitev, okrevanje po napakah ter nezanesljivost avtomatiziranega ocenjevanja. Pri zadnjem lahko drug jezikovni model prepričljiv, vendar napačen odgovor oceni previsoko.
Praktičen pristop je dvostopenjski: najprej izbrati obetavne agente s primerjalnimi preizkusi za ustrezno področje, nato jih preveriti na reprezentativnih lastnih nalogah. Agent za povzemanje pogodb naj se na primer ocenjuje na pogodbah, podobnih tistim, ki jih bo dejansko obdeloval.
CITATI
»A traditional benchmark is a written exam. An agent benchmark is a live work simulation.« — Osrednja razlika je med ustvarjanjem odgovora in uspešno izvedbo zaporedja dejanj v okolju.
»Leaderboards show success rates, not bills.« — Odstotek uspešno opravljenih nalog ne razkriva njihove dejanske cene.
»Use the leaderboards to start the conversation. Build your own evaluations to finish it.« — Javni preizkusi so začetna orientacija, ne nadomestilo za preverjanje uporabnosti v lastnem okolju.