Passer au contenu principal

ThesoTM thesaurus

Choisissez le vocabulaire dans lequel chercher

aligner
annoter
télécharger

Concept information

... > entity > occurrent > process > planned process > data transformation > operation > annotation > text annotation > structural annotation > tokenization

Terme préférentiel

tokenization  

Définition

  • The task/process of recognizing and tagging tokens (words, punctuation marks, digits etc.) in a text.

Concept générique

Note d'application

  • The task/process of recognizing and tagging tokens (words, punctuation marks, digits etc.) in a text

Traductions

URI

http://data.loterre.fr/ark:/67375/LTK-T5RXB3DL-2

Télécharger ce concept :

RDF/XML TURTLE JSON-LD