Jeśli korzystasz z ChatGPT, Claude lub Gemini, na pewno słyszałeś o tokenach. Ale czym właściwie są tokeny AI i dlaczego mają tak duże znaczenie dla Twojego portfela? Ten przewodnik wyjaśnia wszystko — od podstaw po praktyczne implikacje dla polskich użytkowników.
Czym jest token?
Token to podstawowa jednostka, w której modele językowe (LLM) przetwarzają tekst. To nie jest to samo co słowo, litera ani zdanie — to fragment tekstu, który model przetwarza jako jedną całość.
W uproszczeniu możesz myśleć o tokenie jako o "kawałku słowa". Typowe zasady:
- Proste angielskie słowo = 1 token (np. cat, run, the)
- Dłuższe lub rzadsze słowo = 2–3 tokeny (np. optimization = 2 tokeny)
- Polskie słowo z odmianą = często 3–5 tokenów (np. przygotowywujących = 4 tokeny)
- Spacja przed słowem jest zazwyczaj wliczona do tokena
- Cyfry i znaki specjalne mają własne tokeny
Modele OpenAI (GPT-4o, GPT-4 Turbo) używają tokenizera o nazwie tiktoken. Możesz go wypróbować bezpośrednio na iletokenow.pl — wklej dowolny tekst i natychmiast zobaczysz, ile tokenów zawiera.
Dlaczego modele używają tokenów, a nie słów?
Tokenizacja to rozwiązanie inżynierskie. Słownictwo każdego języka liczy setki tysięcy słów, a do tego dochodzą imiona własne, terminy techniczne i nowotwory językowe. Model, który musiałby znać każde możliwe słowo, byłby nieefektywny i niepraktyczny.
Tokenizacja pozwala modelowi rozłożyć nieznane słowo na znane fragmenty. Słowo nieprzygotowany może być tokenizowane jako nie + przygo + towany, co model potrafi zrozumieć, nawet jeśli nigdy wcześniej nie widział całego słowa.
Modele takie jak Claude i Gemini używają podobnych mechanizmów, choć ich dokładne tokenizery różnią się szczegółami — dlatego to samo zdanie może mieć różną liczbę tokenów w zależności od modelu.
Jak tokeny przekładają się na koszty?
Dostawcy API AI rozliczają się w tokenach, a nie w słowach czy znakach. Ceny są podawane jako koszt za milion tokenów (dawniej za tysiąc tokenów).
Przykładowe ceny (stan na kwiecień 2026):
| Model | Input | Output | |-------|-------|--------| | GPT-4o | $2,50/M | $10,00/M | | GPT-4 Turbo | $10,00/M | $30,00/M | | Claude Opus 4 | $15,00/M | $75,00/M | | Claude Sonnet 4 | $3,00/M | $15,00/M | | Gemini 2.5 Pro | $1,25/M | $10,00/M |
Ważna różnica: input tokens (tekst, który wysyłasz) i output tokens (odpowiedź modelu) są rozliczane osobno, przy czym output jest zazwyczaj droższy.
Przykład praktyczny
Wysyłasz do GPT-4o prompt zawierający 500 tokenów i dostajesz odpowiedź o długości 300 tokenów:
- Koszt inputu: 500 × $2,50 / 1 000 000 = $0,00125
- Koszt outputu: 300 × $10,00 / 1 000 000 = $0,003
- Łącznie: $0,00425 ≈ 0,02 PLN
Brzmi tanio? Przy 1000 takich zapytaniach dziennie to już ok. 15–20 PLN dziennie, czyli ponad 500 PLN miesięcznie.
Tokeny a kontekst modelu
Każdy model ma limit tokenów, które może "zobaczyć" jednocześnie — nazywamy to oknem kontekstowym (context window). Kiedy rozmowa przekracza ten limit, model "zapomina" najstarsze fragmenty.
Aktualne limity kontekstu (2026):
| Model | Okno kontekstowe | |-------|-----------------| | GPT-4o | 128 000 tokenów | | Claude Opus 4 | 200 000 tokenów | | Gemini 2.5 Pro | 1 000 000 tokenów | | Llama 3.3 70B | 128 000 tokenów |
Duże okno kontekstowe to ogromna zaleta przy analizie długich dokumentów. Ale pamiętaj — przetwarzanie długiego kontekstu kosztuje proporcjonalnie więcej.
Ile tokenów ma typowy tekst?
Żeby mieć intuicję co do tokenów, warto zapamiętać kilka orientacyjnych liczb:
- Tweet (280 znaków po angielsku): ~60–80 tokenów
- Strona A4 tekstu angielskiego: ~500–700 tokenów
- Strona A4 tekstu polskiego: ~700–1000 tokenów
- Artykuł prasowy (3000 słów): ~3000–4000 tokenów po angielsku
- Powieść (80 000 słów): ~80 000–120 000 tokenów
Zwróć uwagę na różnicę między polskim a angielskim — to kluczowa obserwacja dla polskich użytkowników AI.
Dlaczego polski kosztuje więcej?
Polskie słowa są długie i mają bogatą odmianę przez przypadki, liczby i osoby. Tokenizer trenowany głównie na angielskim tekście "nie zna" polskich wzorców morfologicznych i musi dzielić polskie słowa na więcej fragmentów.
Przykład:
- dog (ang.) = 1 token
- pies (pol.) = 1–2 tokeny
- dogs (ang.) = 1 token
- psów (pol.) = 2 tokeny
- dogs eating (ang.) = 2 tokeny
- psów jedzących (pol.) = 4–5 tokenów
Różnica rośnie przy dłuższych tekstach i złożonych konstrukcjach gramatycznych. Badania pokazują, że ten sam tekst po polsku kosztuje 30–50% więcej niż jego angielski odpowiednik.
Sprawdź to sam na iletokenow.pl — wklej zdanie po polsku, policz tokeny, a potem wklej jego angielskie tłumaczenie i porównaj wyniki.
Tokeny a prompt engineering
Dobry inżynier promptów wie, że każde słowo kosztuje. Kilka praktycznych wniosków:
Skróć prompt systemowy. Jeśli Twój system prompt ma 2000 tokenów i uruchamiasz aplikację 10 000 razy dziennie, zapłacisz za 20 milionów tokenów systemowych dziennie — tylko za instrukcje, nie za treść.
Unikaj powtórzeń. "Proszę, mógłbyś mi uprzejmie powiedzieć, czy mógłbyś..." to znacznie droższy sposób na napisanie "Odpowiedz".
Używaj angielskiego tam, gdzie możesz. Jeśli Twoja aplikacja przetwarza polskie dane, ale instrukcje systemu mogą być po angielsku — pisz instrukcje po angielsku.
Stosuj prompt caching. OpenAI i Anthropic oferują mechanizmy cache'owania powtarzających się fragmentów promptu, co może obniżyć koszty o 50–90% przy stałych prefixach.
Jak policzyć tokeny za darmo?
Najprostszy sposób to skorzystanie z iletokenow.pl — wklej tekst i natychmiast zobaczysz liczbę tokenów i koszt w złotówkach dla wybranego modelu.
Alternatywnie, możesz użyć oficjalnych narzędzi:
- OpenAI Tokenizer: oficjalne narzędzie od OpenAI (tylko dla modeli GPT)
- tiktoken: biblioteka Python od OpenAI (open source)
- Anthropic API: Claude zwraca liczbę tokenów w odpowiedzi API
Dla developerów — tiktoken jest najdokładniejszym rozwiązaniem dla modeli OpenAI. Biblioteka jest dostępna dla Pythona i JavaScript/TypeScript.
Podsumowanie
Tokeny to fundamentalna koncepcja w świecie AI API. Zrozumienie, jak działają, pozwala:
- Przewidzieć koszty przed uruchomieniem aplikacji
- Optymalizować prompty pod kątem długości i zwięzłości
- Wybrać właściwy model — droższy nie zawsze znaczy lepszy dla Twojego przypadku użycia
- Zrozumieć limity — kiedy kontekst jest zbyt długi, model "zapomina"
Jeśli budujesz aplikacje AI lub regularnie korzystasz z API, zainwestuj czas w zrozumienie tokenizacji. To wiedza, która bezpośrednio przekłada się na oszczędności.
Sprawdź też: Dlaczego polski kosztuje więcej w AI? oraz Jak zaoszczędzić na tokenach — 23 sprawdzone techniki