Passer au contenu principal

ThesoTM thesaurus

Choisissez le vocabulaire dans lequel chercher

aligner
annoter
télécharger

Concept information

... > entity > continuant > generically dependent continuant > information content entity > language model > large language model > Megatron-LM

Terme préférentiel

Megatron-LM  

Définition

  • A language model pre-training based on GPU parallelism.

Concept générique

Référence(s) bibliographique(s)

  • • Narayanan, D., Shoeybi, M., Casper, J., LeGresley, P., Patwary, M., Korthikanti, V. A., Vainbrand, D., Kashinkunti, P., Bernauer, J., Catanzaro, B., Phanishayee, A., & Zaharia, M. (2021). Efficient large-scale language model training on GPU clusters using megatron-lm. ArXiv:2104.04473 [Cs]. http://arxiv.org/abs/2104.04473
  • • Shoeybi, M., Patwary, M., Puri, R., LeGresley, P., Casper, J., & Catanzaro, B. (2019). Megatron-LM: Training multi-billion parameter language models using GPU model parallelism. https://arxiv.org/abs/1909.08053v1

base de

a pour champ d'application

a pour langage d'entrée

a pour entrepôt

URL de documentation

est encodé en

est exécuté dans

a pour licence

Traductions

URI

http://data.loterre.fr/ark:/67375/LTK-DCJM3LC1-6

Télécharger ce concept :

RDF/XML TURTLE JSON-LD