Čo to je (ľudsky)
Token je základná jednotka, na ktorú si AI rozdeľuje text – zhruba časť slova. Modely „myslia“ v tokenoch a väčšina AI služieb sa aj účtuje za počet spracovaných tokenov (vstup + výstup).
Ako to funguje v praxi
Jedno slovo má typicky 1 až 3 tokeny; v slovenčine o niečo viac než v angličtine. Model má limit, koľko tokenov naraz zvládne (kontextové okno). Čím dlhší prompt a odpoveď, tým viac tokenov a tým vyššia cena.
Príklad zo Slovenska / Česka / EÚ
Ak cez API generuješ 1 000 produktových popisov a každý má vstup + výstup dokopy 800 tokenov, zaplatíš za 800 000 tokenov. Preto sa oplatí prompty skracovať a neposielať zbytočný kontext.
Kedy sa to oplatí
- ✓Pochopenie tokenov ti pomáha strážiť náklady
- ✓Pri optimalizácii promptov a kontextu
- ✓Pri výbere modelu podľa ceny za tokeny
Kedy je to problém
- •Dlhé prompty zbytočne zvyšujú cenu
- •Prekročenie kontextového okna oreže vstup
- •Skryté náklady pri veľkom objeme volaní
Typické chyby
- !Posielanie celých dokumentov namiesto výberu
- !Ignorovanie limitu kontextového okna
- !Nesledovanie spotreby tokenov v produkcii