LMM in viri za “citations” …
Context window za LMM modele
Model,Developer,Context Window Size (Tokens),Rough Number of Words BERT-Large,Google,512,128-256 RoBERTa-Large,Facebook AI,512,128-256 GPT-2,OpenAI,1024,256-512 GPT-3,OpenAI,2048,512-1024 T5-11B,Google,2048,512-1024 LLaMA,Meta,2048,512-1024 GPT 3.5 (4k),OpenAI,4096,1024-2048 GPT 3.5 (16k),OpenAI,16384,4096-8192 GPT-4 (8k),OpenAI,8192,2048-4096 GPT-4 (32k),OpenAI,32768,8192-16384 MPT-7B,MosaicML,4096,1024-2048 MPT-7B-StoryWriter-65k+,MosaicML,65000-84000,16250-32500 MPT-7B-Instruct,MosaicML,4096,1024-2048 MPT-7B-Chat,MosaicML,4096,1024-2048 Claude-1,Anthropic,9000,2250-4500 Claude-1-100k,Anthropic,100000,25000-50000 Claude-Instant-1,Anthropic,9000,2250-4500 Claude-Instant-1-100k,Anthropic,100000,25000-50000
Vloga in pomen tokenov v LMM
Pod pokrovom vsake aplikacije umetne inteligence (UI) delujejo algoritmi, ki obdelujejo podatke v svojem jeziku, temelječem na besedišču tokenov. Tokeni so osnovne enote podatkov, ki nastanejo z razčlenjevanjem večjih informacijskih sklopov. UI modeli analizirajo odnose med tokeni, kar omogoča napovedovanje, generiranje in sklepanje. Hitrejša obdelava tokenov pomeni hitrejše učenje in odzivanje modelov. Pojav “AI tovarn” – novih podatkovnih centrov, optimiziranih za UI delovne obremenitve – omogoča učinkovito pretvarjanje tokenov v inteligenco, kar podjetjem prinaša večjo vrednost ob nižjih stroških.
- Tokeni so osnovne enote podatkov, ki jih UI modeli uporabljajo za učenje in sklepanje (reasoning).
- AI tovarne omogočajo hitro in stroškovno učinkovito obdelavo tokenov, kar povečuje vrednost za stranke.
- Integracija programske optimizacije in najnovejših (6/2025) NVIDIA GPU-jev lahko zmanjša strošek na token za 20x in poveča prihodek za 25x v štirih tednih.
- Tokenizacija je proces pretvarjanja različnih vrst podatkov (besedilo, slike, zvok, video) v tokene.
- Obstajajo različne metode tokenizacije, prilagojene specifičnim podatkovnim tipom in primerom uporabe.
- Pri velikih jezikovnih modelih (LLM) se krajše besede pogosto predstavijo z enim tokenom, daljše pa z več tokeni.
- Tokeni imajo numerične predstavitve, ki modelom pomagajo razumeti povezave med besedami in konteksti.
- Vizualni modeli pretvarjajo slikovne ali video podatke v tokene, zvočni modeli pa lahko uporabijo spektrograme ali semantične tokene.
- Trening UI modela se začne s tokenizacijo učnega nabora, kjer večje število tokenov vodi do boljše kakovosti modela.
- Modeli se učijo z napovedovanjem naslednjega tokena in sprotnim izboljševanjem napovedi do konvergence.
- Po predtreningu sledi dodatno učenje na specifičnih tokenih, relevantnih za ciljno uporabo (npr. pravo, medicina, poslovanje).
- Med inferenco model prejme vhod (besedilo, slika, zvok, video, podatki senzorjev), ga pretvori v tokene, obdela in generira izhodne tokene.
- Modeli imajo omejitve glede števila tokenov, ki jih lahko obdelajo hkrati (t.i. kontekstno okno), kar vpliva na obseg podatkov, ki jih lahko analizirajo.
- Napredni modeli za sklepanje generirajo dodatne “reasoning” tokene, kar omogoča boljše odgovore na kompleksna vprašanja, a zahteva bistveno več računske moči.
- Tokeni so osnova ekonomike UI: med treningom predstavljajo investicijo v inteligenco, med inferenco pa določajo stroške in prihodke.
- AI storitve pogosto določajo cene glede na število porabljenih in generiranih tokenov, z različnimi paketi in omejitvami.
- Uporabniška izkušnja je odvisna od časa do prvega tokena in hitrosti generiranja naslednjih tokenov, kar vpliva na naravnost in tekočnost interakcije.
- Različni primeri uporabe zahtevajo različno ravnovesje med hitrostjo in kakovostjo generiranih tokenov.
- Razumevanje in optimizacija uporabe tokenov je ključna za razvijalce, podjetja in končne uporabnike, saj omogoča največjo vrednost iz UI aplikacij.
Google Finance AI
-
AI-podprti odgovori: Uporabniki lahko postavljajo vprašanja o financah in prejemajo obsežne odgovore, ki vključujejo relevantne povezave za nadaljnje raziskovanje.
-
Analiza več sredstev: Namesto iskanja podrobnosti o posameznih delnicah, lahko uporabniki pridobijo analizo več sredstev v eni zahtevi.
-
Napredna orodja za grafikon: Nova orodja vključujejo tehnične kazalnike, kot so premični povprečni ovoji in candlestick prikazi, kar omogoča natančnejšo analizo trendov.
-
Širša pokritost trga: Posodobitev razširja pokritost trga, ki zdaj vključuje blago, več kriptovalut in dodatne razrede sredstev.
-
Nov realnočasovni vir novic: Uporabniki lahko spremljajo najnovejše tržne novice v realnem času, kar omogoča takojšnje obveščanje o pomembnih dogodkih.
Google je začel testirati novo različico Google Finance, ki je opremljena z umetno inteligenco (AI), kar pomeni pomembno preoblikovanje načina, kako uporabniki raziskujejo trge. Ta posodobitev je zasnovana za hitrejše, bogatejše in pametnejše raziskovanje financ. Uporabniki lahko zdaj postavljajo kompleksna vprašanja v preprostem jeziku in prejemajo celovite odgovore, ki jih generira AI.
Ključne značilnosti nove različice Google Finance
-
Postopno uvajanje: Posodobitev se uvaja v ZDA v naslednjih tednih.
-
Preklop na klasično različico: Uporabniki bodo imeli možnost preklopa nazaj na klasično obliko Google Finance, kar omogoča preizkušanje novih orodij brez obveznosti.
- Naravni jezik: Uporabniki lahko postavljajo vprašanja o financah in prejemajo celovite odgovore, skupaj s povezavami do relevantnih virov.
- Vizualizacija podatkov: Orodje vključuje napredna orodja za grafično prikazovanje finančnih podatkov, kar omogoča analizo različnih kazalnikov, kot so povprečne premice in svečniki.
- Realni čas: Uporabniki lahko dostopajo do novic in podatkov v realnem času, vključno z informacijami o kriptovalutah, kar vključuje tudi živi vir novic.
Načini dostopa do podatkov:
- Raziskovanje: Uporabniki lahko raziskujejo različne finančne teme in prejemajo odgovore na svoja vprašanja.
- Orodja za grafično prikazovanje: Orodja omogočajo vizualizacijo podatkov, kar olajša razumevanje trendov in gibanj na trgu.
- Novice in podatki v realnem času: Uporabniki lahko spremljajo najnovejše novice in podatke, kar je še posebej koristno za tiste, ki se ukvarjajo s trgovanjem.
Google Finance bo na voljo na Google.com/finance/ in se bo postopoma uvajal v naslednjih tednih. Ta nova funkcionalnost predstavlja pomemben korak v smeri izboljšanja uporabniške izkušnje in dostopnosti informacij o financah.
Pomen sistemskih navodil (system prompt)
V umetni inteligenci (AI) je jasna komunikacija z aplikacijami ključna za izkoriščanje vseh zmogljivosti velikih jezikovnih modelov (LLM). Učinkovito oblikovanje pozivov (prompt engineering) je veščina, ki omogoča uporabnikom, da z AI dosežejo želene rezultate. Razumevanje razlike med sistemskimi in uporabniškimi pozivi je bistveno, saj vsak služi svoji vlogi: sistemski pozivi določajo splošno vedenje in vlogo AI, medtem ko uporabniški pozivi dajejo specifična navodila ali vprašanja za posamezno nalogo. Ta članek podrobno raziskuje oba tipa pozivov, ponuja definicije, primere, najboljše prakse in praktične nasvete za uporabo.
Kaj je sistemski poziv?
Sistemski pozivi so temeljna navodila, ki določajo, kako se bo AI obnašala. Vzpostavijo okvir za interakcijo in odzivanje AI, podobno kot opis delovnega mesta za zaposlenega. Sistemski pozivi določajo vlogo AI, področje strokovnosti in splošni ton, ki ga mora AI uporabljati. Običajno jih nastavijo razvijalci in ostanejo nespremenjeni skozi več uporabniških interakcij, razen če jih namenoma spremenijo. Različni modeli lahko na sistemske pozive reagirajo različno – na primer, Claude daje večji poudarek uporabniškim sporočilom kot sistemskim pozivom.
Ključni elementi sistemskih pozivov:
- Vedenjsko okvirjanje: Določitev vloge, osebnosti ali strokovnosti AI.
- Določanje omejitev: Postavitev pravil in omejitev za odzive AI.
- Nudenje konteksta: Zagotavljanje ozadja ali situacijskega konteksta.
- Etično usmerjanje: Vključevanje etičnih smernic in vrednot.
Kaj je uporabniški poziv?
Uporabniški pozivi so specifična navodila ali vprašanja, ki jih uporabnik poda AI, da dobi želeni odgovor. Ti pozivi so dinamični in se spreminjajo z vsako interakcijo, saj odražajo trenutne potrebe in cilje uporabnika. Lahko so preprosta vprašanja ali kompleksna navodila za ustvarjanje vsebin.
Najpogostejše vrste uporabniških pozivov:
- Generativni pozivi: Navodila za ustvarjanje nove vsebine (besedilo, slike, koda).
- Pogovorni pozivi: Začetek ali nadaljevanje pogovora z AI.
- Klasifikacijski pozivi: Razvrščanje podatkov po vnaprej določenih kategorijah.
- Ekstrakcijski pozivi: Izvleček specifičnih informacij iz besedila ali podatkov.
Primeri sistemskih in uporabniških pozivov
- Sistemski poziv: “Si prijazen in informativen AI asistent, specializiran za tehnologijo.”
- Sistemski poziv: “Si izkušen predstavnik za podporo strankam. Vedno ohranjaj vljuden in profesionalen ton.”
- Uporabniški poziv: “Napiši 500-besedno esejo o vplivu družbenih omrežij na sodobno družbo, vključno s prednostmi in slabostmi.”
- Uporabniški poziv: “Ustvari seznam SEO ključnih besed za novo restavracijo v Ljubljani, ki ponuja italijansko hrano.”
Najboljše prakse za sistemske in uporabniške pozive
Sistemski pozivi:
- Jasno določite vlogo AI: Natančno opredelite, kakšno vlogo naj AI prevzame.
- Vzpostavite kontekst: Pojasnite okolje, industrijo in tipične scenarije.
- Določite vedenjske smernice: Opredelite želeni ton, slog in omejitve odzivov.
Uporabniški pozivi:
- Bodite specifični in podrobni: Več konteksta vodi do bolj relevantnih rezultatov.
- Uporabljajte naravni jezik: Pišite tako, kot bi govorili, da AI lažje razume namen.
- Navedite primere: Če želite določen format ali slog, priložite primer.
- Uporabljajte vodilne besede: Začnite poziv s ključnimi besedami, ki usmerjajo AI.
- Ločite navodila z “###” ali “”'”: To izboljša jasnost poziva.
- Pokažite in povejte: Prikaz želenega formata izhoda izboljša rezultate.
- Določite ciljno občinstvo: Prilagodite poziv glede na ciljno skupino.
- Dodajte ozadje: Več konteksta pomeni bolj relevantne odgovore.
- Natančno povejte, kaj želite in česa ne: Bodite jasni in izrecni glede pričakovanj.
Sistemski in uporabniški pozivi sta ključna elementa oblikovanja pozivov, vsak s svojo vlogo. Razumevanje razlik in uporaba najboljših praks omogoča učinkovitejšo uporabo AI orodij in reševanje kompleksnih problemov, ki jih prej nismo mogli. Pravilno oblikovani pozivi vodijo do bolj relevantnih, natančnih in uporabnih rezultatov, kar je bistveno za uspešno uporabo umetne inteligence v različnih aplikacijah.
Sistemska navodila (system prompts) so temeljna pravila, ki usmerjajo delovanje in interakcijo z jezikovnimi modeli. Analiza teh navodil omogoča vpogled v optimizacijo uporabniške izkušnje, razvoj naprednih modelov in gradnjo aplikacij, ki temeljijo na jezikovnih modelih. Čeprav se navodila spreminjajo, je njihovo razumevanje ključno za učinkovito uporabo modelov.
- Učinkovito oblikovanje pozivov (prompting): Za najboljše in najnatančnejše odgovore je nujno uporabljati jasne, podrobne in strukturirane pozive. Claude izrecno spodbuja uporabo pozitivnih/negativnih primerov, postopnega razmišljanja, določenih formatov (npr. XML) in natančne dolžine. To poudarja, da kakovost izhoda neposredno izhaja iz kakovosti vhodnega poziva, kar je pomembno tako za uporabnike kot razvijalce.
- Aktivacija specializiranih načinov delovanja: Uporabniki lahko pri določenih modelih (npr. Grok 3) neposredno aktivirajo napredne načine, kot sta “think mode” (za poglobljeno razmišljanje) in “DeepSearch mode” (za iterativno spletno iskanje). Ti načini so dostopni prek uporabniškega vmesnika in omogočajo večji nadzor nad procesiranjem modela, kar nakazuje trend k večji uporabniški prilagodljivosti.
- Povratne informacije za iterativno izboljšavo: Čeprav modeli ne učijo neposredno iz posameznih pogovorov, so povratne informacije uporabnikov (npr. gumb “thumbs down” pri Claude) ključne za razvoj in izboljšave. Sistematično zbiranje povratnih informacij omogoča razvijalcem prepoznavanje težav in usmerjanje prihodnjega treniranja modelov.
- Programski dostop prek API-jev: Jezikovni modeli so najpogosteje integrirani v aplikacije prek API-jev, ki omogočajo izbiro specifičnih različic modelov (npr. ‘claude-3-7-sonnet-20250219’). To razvijalcem zagotavlja nadzor nad konsistentnostjo in zmogljivostjo, hkrati pa zahteva dobro poznavanje dokumentacije, stroškov in parametrov za učinkovito vključevanje AI v produkte.
- Izraba specializiranih zmožnosti in integracij podatkov: Sodobni modeli omogočajo analizo družbenih omrežij (npr. X profili in objave), obdelavo različnih vrst datotek (slike, PDF, besedila), iskanje v realnem času in uporabo spomina za ohranjanje konteksta med sejami. To omogoča razvoj kompleksnih, kontekstualno bogatih aplikacij, ki presegajo osnovno generiranje besedila.
Sistemska navodila so ključna plast v arhitekturi jezikovnih modelov, ki omogoča boljše razumevanje, uporabo in nadgradnjo teh modelov. Poznavanje teh navodil in tehničnih plasti, ki jih upravljajo, je bistveno za učinkovito izrabo in razvoj naprednih rešitev na osnovi umetne inteligence.
- Opredelitev sistemskega poziva: Sistemski poziv je specializirana vrsta navodila, ki določa splošni kontekst, vedenje ali osebnost AI-jevega odzivanja. Deluje kot temeljni nabor navodil, ki usmerja delovanje modela skozi celotno interakcijo, pogosto brez neposredne vidnosti za končnega uporabnika.
- Vloga in delovanje: Sistemski pozivi so zakulisna navodila, ki oblikujejo odzive in vedenje AI v skladu z določenimi cilji ali značilnostmi. Običajno jih nastavijo razvijalci ali sistemski administratorji in ostanejo nespremenjeni čez več uporabniških sej, razen če jih namenoma spremenijo.
- Ključni vidiki sistemskih pozivov:
- Vedenjsko okvirjanje: Določajo vlogo, osebnost ali strokovnost AI.
- Določanje omejitev: Postavljajo pravila in omejitve za odzive AI.
- Nudenje konteksta: Zagotavljajo ozadje ali situacijski kontekst.
- Etično usmerjanje: Vključujejo etične smernice in vrednote.
- Optimizacija zmogljivosti: Prilagajajo vedenje AI za specifične naloge ali domene.
- Sestavni deli učinkovitih sistemskih pozivov:
- Jasna opredelitev vloge AI
- Vedenjske smernice za interakcijo in odzivanje
- Določitev meja znanja ali strokovnosti
- Etične omejitve za generiranje vsebin
- Določitev tona, formalnosti in sloga komunikacije
- Navodila za specifične naloge ali vrste poizvedb
- Prednosti sistemskih pozivov:
- Zagotavljajo doslednost vedenja AI skozi več interakcij
- Omogočajo prilagoditev vedenja za različne primere uporabe ali občinstva
- Pomagajo ohranjati etične standarde in preprečujejo neprimerne odzive
- Povečujejo učinkovitost, saj ni treba ponavljati navodil v vsakem uporabniškem pozivu
- Omogočajo specializacijo in ustvarjanje domensko specifičnih AI asistentov
- Izzivi in premisleki:
- Iskanje ravnovesja med natančnostjo in prilagodljivostjo navodil
- Preveč omejujoča navodila lahko zmanjšajo uporabnost AI
- Uporabniki pogosto niso seznanjeni z vplivom sistemskega poziva na odzive
- Spreminjanje sistemskih pozivov zahteva temeljito testiranje za ohranjanje doslednosti
- Določanje etičnih smernic, ki pokrivajo vse scenarije, je zahtevno
- Najboljše prakse za sistemske pozive:
- Uporaba jasnega in nedvoumnega jezika
- Celovito pokrivanje vedenjskih, znanjskih in etičnih vidikov
- Omogočanje prilagodljivosti znotraj določenih parametrov
- Redno pregledovanje in posodabljanje na podlagi učinkovitosti in povratnih informacij
- Skrb za etično ravnanje in nepristranskost
- Prilagajanje kontekstu in specifičnemu primeru uporabe
- Temeljito testiranje in iterativno izboljševanje
- Primer sistemskega poziva:
You are a customer service AI assistant for a large e-commerce company. Your role is to provide helpful, friendly, and efficient support to customers. Follow these guidelines:
1. Always maintain a polite and professional tone.
2. Prioritize customer satisfaction while adhering to company policies.
3. If you're unsure about any information, state that you'll need to check with a human representative.
4. Do not disclose personal information about customers or employees.
5. For technical issues, provide basic troubleshooting steps and offer to escalate to technical support if needed.
6. Use empathy in your responses, especially when dealing with frustrated customers.
7. Do not make promises about refunds, returns, or policy exceptions; instead, explain the standard procedures.
8. If a customer becomes abusive, politely remind them of the need for respectful communication.
Your goal is to resolve customer inquiries efficiently while ensuring a positive experience with our company.
ElevenLabs : nova doba ustvarjanja glasbe z umetno inteligenco
-
Ustvarjanje celotnih skladb: Novi model omogoča uporabnikom generiranje celotnih glasbenih skladb, vključno z vokali, ki so že vnaprej urejeni za komercialno uporabo. To pomeni, da lahko ustvarjalci brez skrbi uporabljajo te skladbe v svojih projektih.
-
Sodelovanje z velikimi glasbenimi založbami: ElevenLabs je sklenil partnerstva z Merlinom in Kobaltom, kar jim omogoča dostop do bogatih glasbenih katalogov priznanih izvajalcev, kot so Bon Iver, Mitski in Adele.
-
Pravičen odnos do umetnikov: Ključna razlika v primerjavi s konkurenti, kot sta Suno in Udio (ki se trenutno soočata s tožbami s strani RIAA), je v tem, da morajo umetniki pri ElevenLabs izrecno soglašati z uporabo svoje glasbe, poleg tega pa so vzpostavljeni tudi dogovori o delitvi prihodkov.
-
Etika in izzivi: Eden izmed demo posnetkov prikazuje sintetični glas, ki rapa o poti “od Comptona do vesolja”, kar odpira nova vprašanja o etiki, pripovedi in prisvajanju glasov ter zgodb.
-
Ravnotežje med dostopnostjo in avtorskimi pravicami: Podjetje se zaveda občutljivosti področja in skuša omogočiti dostopnost AI-generirane glasbe, hkrati pa se izogiba pastem kršenja avtorskih pravic.
-
Podpora ustvarjalcem, ne zamenjava: ElevenLabs poudarja, da je njihov cilj omogočiti ustvarjalcem več možnosti, ne pa jih nadomestiti, čeprav meja med obema ostaja nejasna.
-
Prihodnost ustvarjalnih procesov: S takšnimi dogovori ElevenLabs stavi na prihodnost, kjer bodo orodja za ustvarjanje glasbe z umetno inteligenco postala standardni del ustvarjalnih delovnih tokov.
ElevenLabs, podjetje, ki je zaslovelo s svojo napredno tehnologijo pretvorbe besedila v govor, zdaj vstopa na področje umetne inteligence za ustvarjanje glasbe. Njihov pristop pa se bistveno razlikuje od konkurence, saj v ospredje postavljajo urejeno licenciranje in sodelovanje z glasbeniki.
Ključne značilnosti novega modela ElevenLabs
Umetna inteligenca v glasbi ni več le tehnološko vprašanje, temveč tudi vprašanje okusa, zaupanja in lastništva. ElevenLabs se tega zaveda in s premišljenim pristopom k licenciranju ter vključevanju umetnikov postavlja nove standarde v industriji. Kljub temu pa ostajajo odprta etična vprašanja, predvsem glede tega, kakšno glasbo bomo kot družba sprejeli in kako bomo zaščitili pravice ustvarjalcev.
ElevenLabs s svojim inovativnim modelom in odgovornim pristopom k licenciranju postavlja temelje za prihodnost, kjer bo umetna inteligenca pomemben, a etično uravnotežen del glasbene ustvarjalnosti. Glavno vprašanje pa ostaja: kakšno glasbo, ustvarjeno z umetno inteligenco, bomo pripravljeni sprejeti kot svojo?