Tokeny vs. Slova: Základní stavební jednotky kontextu v AI
V kontextu jazykových modelů pracujeme s pojmem “token”, který se liší od běžného slova. Pochopení tohoto rozdílu je klíčové - termín se běžně používá v AI nejenom z technologického, ale také cenového pohledu. Přes API je totiž placená cena uváděná za počet tokenů. Pojďme si tedy detailněji vysvětlit, co je to token a jaký je jeho vztah vůči slovu.