Concept information
Terme préférentiel
tokenisation
Définition
- Tâche/processus de reconnaissance et d'étiquetage d'éléments (mots, signes de ponctuation, chiffres, etc.) dans un texte.
Concept générique
Synonyme(s)
- segmentation en unités
Traductions
-
anglais
URI
http://data.loterre.fr/ark:/67375/LTK-T5RXB3DL-2
{{label}}
{{#each values }} {{! loop through ConceptPropertyValue objects }}
{{#if prefLabel }}
{{/if}}
{{/each}}
{{#if notation }}{{ notation }} {{/if}}{{ prefLabel }}
{{#ifDifferentLabelLang lang }} ({{ lang }}){{/ifDifferentLabelLang}}
{{#if vocabName }}
{{ vocabName }}
{{/if}}