Passer au contenu principal

ThesoTM thesaurus

Choisissez le vocabulaire dans lequel chercher

aligner
annoter
télécharger

Concept information

... > entity > continuant > generically dependent continuant > information content entity > language model > large language model > TinyBERT

Terme préférentiel

TinyBERT  

Définition

  • "TinyBERT is 7.5x smaller and 9.4x faster on inference than BERT-base and achieves competitive performances in the tasks of natural language understanding. It performs a novel transformer distillation at both the pre-training and task-specific learning stages." (source: https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT).

Concept générique

Référence(s) bibliographique(s)

  • • Jiao, X., Yin, Y., Shang, L., Jiang, X., Chen, X., Li, L., Wang, F., & Liu, Q. (2020). TinyBERT : Distilling BERT for natural language understanding. arXiv:1909.10351 [cs]. http://arxiv.org/abs/1909.10351

basé sur

a pour champ d'application

a pour pays de conception

  • China

a pour langage d'entrée

a pour entrepôt

URL de documentation

implémente

est encodé en

est exécuté dans

Traductions

URI

http://data.loterre.fr/ark:/67375/LTK-LKG67B9D-D

Télécharger ce concept :

RDF/XML TURTLE JSON-LD