Do LLMs lie?

Do LLMs lie? Many studies show that language models can mislead their users. In their answers, they sometimes state false things with unwarranted certainty or leave out important information; in their chains of thought, they can fabricate justifications or conceal what actually drove their answer. But is this really lying? Naïma Hassert, a computational linguist, will revisit what it means for a person to lie, then compare model deception to our own, particularly in terms of motivation, and look at the role training plays in these behaviours. Finally, she will show why anthropomorphization is a real safety issue, since it leads us to design our defences around the wrong mental model.Les grands modèles de langue mentent-ils? De nombreuses études montrent que les modèles de langue peuvent induire leurs utilisateurs en erreur : dans leurs réponses, ils affirment parfois sans nuance des choses fausses ou omettent des informations importantes; dans leurs chaînes de raisonnement, ils peuvent construire des justifications de toutes pièces ou taire ce qui a réellement guidé leur réponse. Mais s'agit-il de « mensonges » au sens courant? Naïma Hassert, linguiste computationnelle, reviendra sur ce qu'on entend par « mentir » chez l'humain, puis comparera la tromperie des modèles à la nôtre, notamment sur le plan de la motivation, et s'intéressera au rôle que joue l'entraînement dans ces comportements. Enfin, elle montrera en quoi l'anthropomorphisation est un véritable enjeu de sécurité, puisqu'elle nous amène à concevoir nos défenses à partir d'un mauvais modèle mental. — Où / Where: Ω Labs, 3813 Saint-DenisParking spot available on request Online: Join via Zoom at https://zoom.us/j/99005830598?pwd=3e21GRcTVAPTbvGOJv4RawurTc5ZXx.1 Contact host if you need assistance or for questions — Ω Labs is a community space funded from member contributions. Your donation keeps the space open and the snacks coming.