Deploying Open-Source Large Language Models
- Auteurs : Bendi-Ouis, Yannis, Centre Inria de l’Université de Bordeaux, Dutartre, Dan, Hinaut, Xavier
-
Description : Depuis la publication de ChatGPT en novembre 2022, les
MLL (large language models) ont connu un succès considérable. Cependant, les éléments à mettre en œuvre pour déployer un tel service sont souvent inconnus et difficiles à évaluer. Pour faciliter ce processus, nous avons effectué de nombreux tests au Centre Inria de l’Université de Bordeaux. Dans cet article, nous proposons une comparaison de la performance de plusieurs modèles de tailles différentes. Nos résultats constituent des informations utiles pour les groupes privés et publics. Cette étude contribue ainsi à faciliter l’adoption et l’utilisation de ces grands modèles linguistiques dans divers domaines d’application. - Collection : Publications professionnelles et scientifiques
- Thèmes : Monde de l'Information , Traitement de l'information
- Licence de diffusion : Licence Creative Commons
- Format : Fichier Adobe PDF
- Date de création : 13 novembre 2024
- Étendue : 318 Ko
- Étendue : 9 p.
- Date de publication : 13 novembre 2024
- Langue : en
- Éditeur ou organisme : Hal Open science
- Sujet(s) : A Performance Analysis , LLaMa , LLM , Mistral , Performance , vLLM
- Type de ressource : text