Passer au contenu principal

ThesoTM thesaurus

Choisissez le vocabulaire dans lequel chercher

aligner
annoter
télécharger

Concept information

... > entity > continuant > generically dependent continuant > information content entity > language model > large language model > StructBERT

Terme préférentiel

StructBERT  

Définition

  • "a new type of contextual representation, StructBERT, which incorporates language structures into BERT pre-training by proposing two novel linearization strategies. Specifically, in addition to the existing masking strategy, StructBERT extends BERT by leveraging the structural information: word-level ordering and sentence-level ordering." (Wang et al., 2019).

Concept générique

Référence(s) bibliographique(s)

  • • Wang, W., Bi, B., Yan, M., Wu, C., Bao, Z., Xia, J., Peng, L., & Si, L. (2019). StrutcBERT: incorporating language structures into pre-training for deep language understanding. https://arxiv.org/abs/1908.04577v3

basé sur

a pour champ d'application

a pour pays de conception

  • China

a pour langage d'entrée

a pour entrepôt

URL de documentation

a pour localisation de téléchargement

implémente

est encodé en

est exécuté dans

a pour licence

Traductions

URI

http://data.loterre.fr/ark:/67375/LTK-N4MFP3CQ-3

Télécharger ce concept :

RDF/XML TURTLE JSON-LD