Il s’agit d’un projet financé par ShapeMed 2023 pour 3 ans. Notre objectif est de constituer une suite d’analyse de données multimodales, rassemblant les données cliniques, biologiques, moléculaires, pharmacologique et de résultats d’analyse d’image, des patients du CLB (périmètre à définir avec DPO et selon les données disponibles). Nous utiliserons les sources de données structurées, ainsi que des modèles de langue afin de combiner les données et produire une donnée cible qui correspondra à un compte rendu patient enrichit (figure 1). Afin d’utiliser ces données, nous utiliserons principalement des modèles de langues pour nos projets de recherche (SAEpred, pronostic, TM2…), et possiblement une stratégie de multi–agentic workflow (inspiré de https://arxiv.org/abs/2404.04667) pour la RCP moléculaire, qui nécessiterait de requêter un ou des outils existants (comme par exemple MedSam pour l’analyse d’images) et la modélisation de phénomènes dynamiques (par exemple avec une transformation par théorie des signatures) pour réaliser cette suite d’analyses. Nous faisons l’hypothèse qu’une analyse incluant de multiples données permettra d’améliorer les performances de prédiction d’événements futurs pour les patients suivis pour un cancer (SAEpred), ou l’éligibilité aux essais cliniques (TM2 et RCP moléculaire), ou la prédiction du pronostic des patients.