L'accès à différentes architectures de grands modèles de langue pour différentes langues est désormais crucial pour le traitement automatique des langues. À ce titre, nous présentons PAGnol, en collaboration avec LightON, une collection de grands modèles de langue génératifs pour le français, orientés vers la génération libre de texte. Avec 1,5 milliard de paramètres, PAGnol-XL est le plus grand modèle disponible pour le français. PAGnol est basé sur l'architecture GPT-3 avec certains composants spécifiques à GPT-2 et utilise les prédictions de lois d'échelle (scaling laws) pour un entraînement efficace. En utilisant les lois d'échelle, PAGNOL-XL (1.5B paramètres) s'entraîne avec le même budget de calcul que des modèles BERT pour le français de tailles très inférieures. PAGnol-XL est à ce jour le plus grand modèle de langue pour le français.
PAGnol est distribué sous une licence MIT