L’usage de l’intelligence artificielle en sociologie pour l’analyse des discours politiques

Les avancées récentes dans l’utilisation des grands modèles de langage (LLMs) offrent de nouvelles opportunités pour les recherches en sociologie, notamment dans l’analyse des discours politiques. Julien Figeac propose d’explorer l’impact de ces technologies sur les méthodes traditionnelles de recherche, en se concentrant sur l’étude des stratégies numériques des partis politiques.

Contextualisation

La recherche se concentre, en partie, sur la manière dont les partis politiques utilisent les médias sociaux, notamment en période électorale, et comment les usages diffèrent selon les logiques organisationnelles des partis. Il est alors question de comparer les stratégies des partis dits « historiques » (Parti Socialiste, Parti Communiste Français, EELV) et celles des nouveaux partis (La République En Marche, La France Insoumise, Reconquête).

Les premières analyses démontrent que les partis historiques, ancrés dans le paysage politique avec des réseaux locaux bien établis, exploitent les plateformes numériques différemment des nouveaux partis. Ces derniers, alors moins implantés localement, s’appuient davantage sur les outils numériques pour mobiliser et coordonner. En savoir plus.

Limite des outils traditionnels

Cependant, ces outils révèlent leurs limites lorsqu’il s’agit de réaliser des comparaisons complexes sur des corpus volumineux, surtout lorsque l’objectif est de comparer avec précision l’utilisation de grands thèmes communs. (ex. : l’économie abordée par le Rassemblement National versus les Républicains).

C’est ainsi que les grands modèles de langage s’imposent comme une alternative efficace, afin d’identifier, analyser et comparer la répartition des différents sujets dans les discours des différents partis.

Apports des grands modèles de langage

Comment est-ce que cela fonctionne ?

• Typologie et labellisation : tout en se fondant sur une typologie thématique pré-établie, les chercheurs entament un travail de labellisation manuelle sur un sous-échantillon de données, tiré d’un corpus volumineux. Ils les annotent selon les catégories définies, ici les grands thèmes abordés par les partis (immigration, économie, emploi, etc.). Cette étape repose sur une collaboration humaine pour garantir la qualité de la labellisation.
• Réentrainement : cette labellisation permet ensuite aux modèles de langage de s’entraîner et de réajuster leurs algorithmes, qui reconnaîtront au fur et à mesure les thèmes d’intérêt dans les corpus.
• Analyse ciblée : une fois réentrainé, le modèle propose une extraction des occurrences des thèmes identifiés et permet l’analyse précise de millions de données, en se ciblant sur les sujets significatifs.

Les grands modèles de langage, tels que CamemBERT ou FlauBERT, permettent ainsi une analyse très détaillée grâce à cette démarche supervisée.

Est-ce opérationnel ?

L’approche supervisée se distingue par sa précision, mais également par sa fiabilité. Julien Figeac explique avoir tenté de maîtriser la qualité de la démarche en comparant les taux de concordance entre l’humain et la machine, ainsi qu’entre deux individus.

Pour cela, deux chercheurs ont d’abord comparé le taux de concordance entre leur travail manuel et respectif de labellisation. Dans pratiquement 97% des cas, les deux annotateurs sont d’accord sur le sujet abordé par la publication.

Puis, ils ont fait la même démarche entre un annotateur et le modèle de langage entraîné : le score de correspondance est de 74%. Ce score est plus performant que les méthodes traditionnelles en sciences humaines et sociales, notamment les méthodes basées sur la détection de mots-clés, qui n’atteint que 50%.

Et ses limites ?

Bien que la fiabilité a été prouvée, de par la robustesse des catégories utilisées par l’IA, il n’empêche que se pose le défi de l’explicabilité. Bien qu’il soit possible de vérifier les résultats à l’aide des méthodes exposées ci-dessus, les modèles de langage demeurent une boîte noire, rendant difficile l’explicitation de la démarche adoptée pour parvenir au résultat.

Il est indéniable que ces grands modèles de langage représentent une avancée majeure pour les sciences humaines et sociales. Ils permettent de dépasser les méthodes traditionnelles et leurs limites. Cependant, leur utilisation nécessite une prudence méthodologique, encore incurable : bien que puissants, ces modèles restent opaques. Il est essentiel d’assurer la transparence des démarches et de combiner expertise humaine et supervision algorithmique pour garantir la qualité des résultats.

---

Crédits image de mise en avant : Emetamorworks de Getty Images / Canva Équipe

Crédits images :

• Logo IraMuTeQ – Licence publique générale GNU

---

---