VIR: https://www.nature.com/articles/s41586-024-08025-4
REFERENCA: https://ai.google.dev/responsible/docs/safeguards/synthid
BISTVO:
Članek predstavi SynthID-Text, sistem za označevanje besedil, ki jih ustvarijo LLM, z namenom izboljšati sledljivost in odgovorno uporabo generativne umetne inteligence.
Jedro rešitve je algoritem Tournament sampling, ki pri izbiri naslednjega žetona med več kandidati sistematično izbere takšnega, ki vsebuje šibek, vendar zaznaven signal vodnega žiga.
Sistem ima nedistorzijski način, namenjen ohranjanju kakovosti besedila, ter distorzijski način, ki okrepi zaznavnost za ceno možnega vpliva na kakovost.
V nedistorzijskem načinu testi z uporabniki, avtomatizirane meritve in standardni preizkusi sposobnosti niso pokazali statistično pomembnega poslabšanja kakovosti odgovorov.
Vodni žig ni univerzalni detektor AI-besedil: deluje le pri modelih, kjer je vgrajen, ter je ranljiv za obsežno urejanje, parafraziranje, krajo in ponarejanje signala.
DEJSTVA:
Članek je bil objavljen 23. oktobra 2024 v reviji Nature, zvezek 634, na straneh 818–823; prvi avtor je Sumanth Dathathri, med soavtorji sta Demis Hassabis in Pushmeet Kohli.
Produkcijski poskus je zajel približno 20 milijonov označenih in neoznačenih odgovorov sistema Gemini.
Stopnja odzivov »všeč mi je« je bila pri označenem modelu višja za 0,01 odstotne točke, stopnja odzivov »ni mi všeč« pa nižja za 0,02 odstotne točke; obe razliki sta bili statistično neznačilni.
Kontrolirana človeška primerjava je uporabila 3.000 vprašanj iz zbirke ELI5 in odgovore modela Gemma 7B-IT ter ni zaznala pomembnih razlik v slovnici, relevantnosti, pravilnosti, koristnosti ali splošni kakovosti.
Pri Gemma 7B-IT na štirih TPU v5e je 30-slojni Tournament sampling povečal zakasnitev z 15,527 ms na žeton na 15,615 ms na žeton, kar pomeni 0,57-odstotni pribitek.