Séminaire Lattice – Karim Lasri 8 Juin 2021

Dans le cadre de ses séminaires, le Lattice invite Karim Lasri le 08/06/2021. Le sujet du séminaire sera "Comment les modèles neuronaux de language traitent les dépendances syntaxiques et le nombre ? Étude de la résolution de la tâche d'accord sujet-verbe par BERT".

Heure : 10h30 – 12h
Diffusion en visio : https://www.gotomeet.me/visio-lattice

Titre: Comment les modèles neuronaux de language traitent les dépendances syntaxiques et le nombre ? Étude de la résolution de la tâche d’accord sujet-verbe par BERT

Résumé:

Les architectures neuronales profondes capturent de nombreuses propriétés sémantiques et syntaxiques même en l’absence de supervision explicite pendant l’apprentissage. BERT est un modèle de langage basé sur des transformeurs, qui a surpassé les performances de ses prédecesseurs sur un grand nombre de tâches linguistiques. En particulier, ce modèle est capable d’accorder un verbe à son sujet, même lorsque la distance qui les sépare est grande et que de nombreux distracteurs sont présents. Cette prouesse a conduit à penser que BERT capture les relations de dépendance syntaxique. Les capacités du modèle sont spectaculaires, mais celui-ci reste une boîte noire. Les mécanismes à l’origine des inférences qu’il produit ainsi que l’encodage des propriétés linguistiques qu’il semble capturer ne sont pas encore bien compris. Au cours de ce séminaire, je présenterai les résultats d’études diagnostiques visant à mieux comprendre la nature de certaines propriétés acquises par BERT à l’aide de la tâche d’accord sujet-verbe. Dans un premier temps, je montrerai que la généralisation n’est pas purement syntaxique, et que BERT est sensible au lexique contenu dans la phrase lorsqu’il résout la tâche d’accord. Dans un second temps, je présenterai les mécanismes par lesquels BERT encode le nombre dans ses représentations intermédiaires, et utilise cette information pour réaliser l’accord. Ces résultats nous renseignent à la fois sur la nature des propriétés capturées par le modèle et la manière dont elles sont mobilisées pour réaliser des prédictions.

 

A lire aussi