Beaucoup de questions dépendent d’une date. Qui occupait tel poste telle année ? Quel événement a suivi tel autre ? Dans les grandes entreprises, les fonctions, les contrats et les règles ont tous une date de début et une date de fin. Un système qui ignore le temps peut donner une réponse qui était juste autrefois et qui ne l’est plus.
Le problème
Un graphe de connaissances temporel enregistre les faits avec la période pendant laquelle ils étaient vrais. Répondre à une question sur un tel graphe demande souvent plusieurs étapes : trouver un fait, utiliser sa date, puis trouver un autre fait.
Les méthodes existantes fondées sur des plongements peinent sur ces questions, car elles raisonnent en une seule passe. L’article traite aussi deux autres lacunes : distinguer l’entité sujet de l’entité objet d’un fait, et les lire toutes deux dans le contexte de la question.
La méthode
SABET-QA traite une question par étapes plutôt qu’en une seule passe. À chaque étape, la méthode évalue les entités et les dates candidates dans les deux sens, puis met à jour une mémoire de travail qui transmet ce qu’elle a trouvé à l’étape suivante. Elle lit aussi le sujet, l’objet et le temps à la lumière de la formulation de la question.
Nous avons retenu quatre étapes, le meilleur compromis entre précision et coût de calcul.
Les résultats
Nous avons testé la méthode sur quatre jeux de données publics. Le tableau indique le Hits@1, la part des questions pour lesquelles la première réponse est correcte, de 0 à 1. « Avec indices temporels » signifie que le système reçoit aussi les bornes temporelles de la question.
| Jeu de données | SABET-QA | SABET-QA avec indices temporels | Meilleure méthode comparée |
|---|---|---|---|
| CronQuestions | 0.843 | 0.954 | 0.914 |
| Complex-CronQuestions | 0.524 | 0.807 | 0.632 |
| MultiTQ | 0.373 | 0.403 | 0.337 |
| TimeQuestions | 0.502 | 0.504 | 0.419 |
Avec indices temporels, SABET-QA obtient le meilleur score sur les quatre jeux de données. L’écart le plus large concerne Complex-CronQuestions, 0.807 contre 0.632. Sans ces indices, la méthode arrive en tête sur MultiTQ et TimeQuestions, et reste derrière sur les deux jeux CronQuestions.
Les limites
- La méthode s’appuie sur des composants préentraînés qui restent figés pendant l’entraînement, ce qui peut limiter son adaptation à de nouveaux domaines.
- Elle perd en précision lorsque les entités et les dates manquent ou sont peu fiables, et les erreurs d’extraction se répercutent sur la réponse.
- Le travail par étapes ajoute de la complexité et peut augmenter le coût de calcul.
- Il s’agit d’une prépublication, qui n’a pas encore été évaluée par des pairs. Les tests portent sur des jeux de données publics, pas sur des données d’entreprise.
Les auteurs sont Brahim Touayouch, Mirette Moawad et Dmitry Akulov. La méthode complète et tous les résultats figurent dans l’article.
Lire sur arXiv↗