Généralisation hors distribution par composition : une perspective à travers les têtes d'induction dans les transformateurs

Étude sur la généralisation hors distribution et les mécanismes de composition dans les grands modèles de langage Contexte du papier Ces dernières années, les grands modèles de langage (Large Language Models, LLMs) comme GPT-4 ont montré une créativité étonnante dans la résolution de tâches nouvelles, en étant souvent capables de résoudre des probl...

Mise à l'échelle efficace des grands modèles de langage avec un mélange d'experts et un calcul analogique en mémoire 3D

Extension efficace des modèles de langage à grande échelle avec un mélange d’experts et le calcul analogique en mémoire 3D Contexte académique Ces dernières années, les modèles de langage à grande échelle (Large Language Models, LLMs) ont démontré des capacités impressionnantes dans le traitement du langage naturel et la génération de texte. Cepend...

Une lueur d'espoir dans le nuage des fausses nouvelles : Les grands modèles de langage peuvent-ils aider à détecter la désinformation ?

Comment les grands modèles de langage traitent-ils les fausses informations ? — Une étude approfondie basée sur les LLMs À l’ère actuelle où la diffusion d’informations est rapide, la propagation de la désinformation (misinformation) et des fausses informations (fake news) est devenue un défi majeur pour la société. L’essor d’Internet et des réseau...

Unifier les Grands Modèles de Langage et les Graphiques de Connaissances : Une Feuille de Route

Modèles de Langage Unifiés et Graphes de Connaissance Contexte Ces dernières années, le domaine du traitement automatique du langage naturel et de l’intelligence artificielle a vu émerger de nombreux résultats de recherche, parmi lesquels les modèles de langage de grande taille (Large Language Models, LLMs) tels que ChatGPT et GPT-4 se sont disting...

Grands modèles de langage pour identifier les déterminants sociaux de la santé dans les dossiers de santé électroniques

Identification des déterminants sociaux de la santé dans les dossiers de santé électroniques par les grands modèles linguistiques Contexte et motivation de la recherche Les déterminants sociaux de la santé (DSH) ont une influence significative sur les résultats de santé des patients. Cependant, dans les données structurées des dossiers de santé éle...