Skip to main content

Vocabulaire du traitement automatique des langues (POC)

Search from vocabulary

Concept information

Preferred term

tokenisation  

Definition

  • Tâche/processus de reconnaissance et d'étiquetage d'éléments (mots, signes de ponctuation, chiffres, etc.) dans un texte. (Loterre)

Broader concept

Entry terms

  • découpage de texte
  • segmentation de texte

In other languages

URI

http://data.loterre.fr/ark:/67375/8LP-T7Q0JFBM-5

Download this concept:

RDF/XML TURTLE JSON-LD Last modified 5/27/24