Tokenizacja

Tokenizacja może odnosić się do:

• Tokenizacja (analiza leksykalna) w przetwarzaniu języka
• Tokenizacja (bezpieczeństwo danych) w zakresie bezpieczeństwa danych
• Segmentacja słów
• Tokenizm mniejszości