× Description Téléchargement Publication(s) Contact
 Retourner à Logiciels et Ressources

PAGnol

Modèle de langue neuronal du français de type GPT

Description

L'accès à différentes architectures de grands modèles de langue pour différentes langues est désormais crucial pour le traitement automatique des langues. À ce titre, nous présentons PAGnol, en collaboration avec LightON, une collection de grands modèles de langue génératifs pour le français, orientés vers la génération libre de texte. Avec 1,5 milliard de paramètres, PAGnol-XL est le plus grand modèle disponible pour le français. PAGnol est basé sur l'architecture GPT-3 avec certains composants spécifiques à GPT-2 et utilise les prédictions de lois d'échelle (scaling laws) pour un entraînement efficace. En utilisant les lois d'échelle, PAGNOL-XL (1.5B paramètres) s'entraîne avec le même budget de calcul que des modèles BERT pour le français de tailles très inférieures. PAGnol-XL est à ce jour le plus grand modèle de langue pour le français.

PAGnol est distribué sous une licence MIT

Contact

Pour plus d'informations ou pour poser une question, merci de contacter Djamé Seddah

djame.seddah[at]inria.fr