"Een woord dat vaak gebruikt wordt, kan zijn eigen token hebben, minder vaak voorkomende woorden zouden zeker uit meerdere tokens bestaan, en sommige tokens kunnen gewoon een spatie zijn gevolgd door 'th', omdat die reeks van drie tekens zo gebruikelijk is", aldus Thompson. Om een voo...
eenverschil,datergkleinis der3[deːɐ̯]ART der de der het das1[das]PRONdem das dat das dit dasheißt datwilzeggen dasister! datis'm! nurdasnicht! datnietalsjeblieft! nurdasnicht! datingeengeval! das2[das]PRONrel das