In de praktijk werken neurale netwerkmodellen echter in eenheden die tokens worden genoemd, niet in woorden. "Een woord dat vaak gebruikt wordt, kan zijn eigen token hebben, minder vaak voorkomende woorden zouden zeker uit meerdere tokens bestaan, en sommige tokens kunnen gewoon een spatie...