Concept information
Terme préférentiel
DeBERTa
Définition
- "Transformer-based neural language model DeBERTa (Decoding-enhanced BERT with disentangled attention), which improves previous state-of-the-art PLMs [Pre-trained Language Models] using two novel techniques: a disentangled attention mechanism, and an enhanced mask decoder." (He et al., 2020).
Concept générique
Synonyme(s)
- Decoding-enhanced BERT with disentangled attention
Référence(s) bibliographique(s)
- • He, P., Liu, X., Gao, J., & Chen, W. (2020). DeBERTa: Decoding-enhanced BERT with Disentangled Attention. https://arxiv.org/abs/2006.03654v1
basé sur
a pour champ d'application
a pour langage d'entrée
a pour entrepôt
implémente
est encodé en
est exécuté dans
a pour licence
Traductions
-
français
URI
http://data.loterre.fr/ark:/67375/LTK-G64XHKJT-9
{{label}}
{{#each values }} {{! loop through ConceptPropertyValue objects }}
{{#if prefLabel }}
{{/if}}
{{/each}}
{{#if notation }}{{ notation }} {{/if}}{{ prefLabel }}
{{#ifDifferentLabelLang lang }} ({{ lang }}){{/ifDifferentLabelLang}}
{{#if vocabName }}
{{ vocabName }}
{{/if}}