Panier

Aucun produit

0,00 € Expédition
0,00 € Total

Voir mon panier Commander

Evaluer les dispositifs médicaux avec intelligence artificielle

Publié le : 18/12/2019 16:34:31

/ Crédit DR HAS

Le numérique se déployant et la CNEDiMTS (Commission nationale d’évaluation des dispositifs médicaux et des technologies de santé) évaluant de plus en plus de dispositifs médicaux connectés, la question de l'accès au remboursement de ceux qui utiliseront l'intelligence artificielle (IA) va se poser. Afin de fluidifier l'instruction de ces dossiers – et ainsi permettre aux patients un accès rapide à l'innovation – la HAS a publié le 20 novembre dernier un projet de grille d'analyse des algorithmes auto-apprenants. Cette initiative est soumise à consultation publique jusqu'au 15 janvier 2020 pour recueillir les suggestions de tous les acteurs concernés. Entretien avec Isabelle Adenot, présidente de la CNEDiMTS.

 

 

Quels sont les dispositifs médicaux qui sont soumis à l'évaluation de la CNEDiMTS ?

Nous ne voyons que les dispositifs médicaux qui sont marqués CE. Tout dispositif médical qui a un marquage CE peut être mis sur le marché, mais l’évaluation de la CNEDiMTS est nécessaire pour que le dispositif soit remboursé par l’Assurance maladie. D’autre part, nous n’évaluons que les dispositifs qui sont destinés aux patients.

Ainsi, nous n’étudions pas les dispositifs comme les montres connectées et les dispositifs destinés uniquement aux professionnels de santé. C’est un point important à rappeler puisque dès que l’on parle d’intelligence artificielle, on pense assez naturellement à l’aide au diagnostic, au soin, à la prévention. Or, ces logiciels sont le plus souvent destinés aux professionnels de santé, donc nous ne les évaluons pas.

 

Comment est née l’idée de créer une grille d’évaluation pour les dispositifs utilisant l’IA ?

Au début, les dispositifs médicaux que nous étudiions étaient essentiellement des prothèses, des stents, des défibrillateurs, des pacemakers, bref des DM isolés. Au fil du temps, tous ces dispositifs sont devenus connectés (en audiologie, cardiologie, diabétologie, neurologie, ophtalmologie). Ces DM connectés impliquent des données et l’analyse de la donnée est indéniablement une valeur ajoutée. L’intelligence artificielle est arrivée dans ce domaine très innovant et nous devons pouvoir l’évaluer, à l’instar d’autres dispositifs.

L’autre constat est que nous sommes face à un choc des cultures. Les industriels qui travaillent sur l’IA ne sont pas forcément ceux avec lesquels nous étions habitués à travailler jusqu’alors et eux-mêmes ne sont pas toujours familiers du monde de la santé. Les industriels ont du mal à saisir ce que nous faisons en évaluation et nous avons aussi du mal à comprendre leur langage, d’autant plus qu’il n’est pas stabilisé. Par exemple, lorsqu’on parle d’algorithme auto apprenant, on comprend que cet algorithme va tout le temps changer. Or, ce n’est pas toujours le cas. Parfois, ces algorithmes qui ont appris au départ sont ensuite figés. Les mêmes mots recouvrent donc des réalités différentes et cela peut poser problème. Aussi, tous les membres de la CNEDiMTS se sont formés à l’intelligence artificielle, au travers de séminaires internes, pour participer à la diffusion de cette innovation. Plus les industriels savent ce que l’on regarde lors de l’évaluation, plus ils pourront anticiper. Le traitement des dossiers sera donc plus fluide et in fine ce seront les patients qui seront bénéficiaires.

 

Pour autant, toutes les grilles d’évaluation des dispositifs n’avaient pas fait l’objet d’une consultation publique. Pourquoi l’avoir fait en particulier sur la thématique de l’IA ?

Nous avons pensé que pour des technologies aussi innovantes que l’IA, il nous fallait avoir recours à l’intelligence collective. A ma connaissance, aucun pays n’a développé de grille d’évaluation de ces dispositifs médicaux fonctionnant avec l’intelligence artificielle. Des pays comme les Etats-Unis ont dit quels dispositifs ils allaient évaluer, mais nous sommes les premiers à dire publiquement « comment » va être menée cette évaluation.

Grâce à cette consultation publique, des experts, des mathématiciens peuvent nous révéler quels aspects de la grille leur semblent essentiels, importants, incomplets, superflus ou inutiles. Nous espérons donc aboutir à un genre de gradation dans les différents critères, puisque sur chacun d’entre eux, toutes les personnes sont invitées à faire les commentaires qu’ils souhaitent.

En outre, et c’est un point crucial, cette consultation publique nous permet de savoir si les acteurs impliqués dans ces technologies émergentes comprennent ce que nous voulons dire. Leur éventuelle incompréhension nous indiquera ce qu’il nous faut changer. La future grille permettra à l’industriel d’apporter les éléments descriptifs clés pour que les membres de la CNEDIMTs comprennent rapidement ce qu’est la technologie, comment elle a été conçue (sans rentrer dans la « boîte noire », ce n’est pas notre objectif) et mettent ces informations en perspective avec les données cliniques qui nous ont été apportées.

 

A quels aspects du dispositif utilisant l’IA s’intéresse votre projet de grille d'évaluation ?

Notre grille ne vise à évaluer que le composant algorithmique des dispositifs médicaux utilisant l’IA, la partie auto-apprenante. Cette grille comprend huit catégories de critères : la finalité d’usage (ce qui a été prévu lors de la construction de l’algorithme) ; l’apprentissage (est-il automatique ?) ; les données d’entrée ;  les modalités d'échantillonnage ; les variables d'entrées retenues dans la décision elle-même ; la performance de l’algorithme en vue de sa validation ; l’évolution du système dans le temps (ce que l’on a appelé sa « capacité de résilience ») ; enfin, les procédés d’explicabilité qui auront été mis en œuvre.

 

Aujourd’hui, qui évalue les logiciels utilisés par les professionnels de santé ?

En France, les logiciels pour les professionnels de santé ne sont pas évalués. Or, ils fonctionnent désormais pour beaucoup d’entre eux avec de l’intelligence artificielle. Faut-il tout évaluer ? Nous pensons à la HAS que non, mais il nous faut créer une matrice d’évaluation pour préciser ce qui doit faire l’objet d’une évaluation, c’est d’ailleurs prévu dans l’article 55 de la Loi de Santé. Des pays comme les Etats-Unis et l’Angleterre ont pris de l’avance puisqu’ils ont déjà développé ces matrices d’évaluation. Nous sommes convaincus que l’intelligence artificielle constitue une vraie valeur ajoutée, mais dans certaines conditions. S’il y a trop de problèmes avec l’IA, ce sera un frein à l’innovation, par manque de confiance. Autant avancer correctement.

 

Avez-vous déjà reçu des dossiers pour évaluer un dispositif médical utilisant l’IA ?

Dire que son dispositif médical fonctionne avec de l’intelligence artificielle est un argument marketing et les premiers dossiers que nous avons vu arriver utilisaient en fait des algorithmes déterministes. Dans les avis que nous rendons, et qui sont publics, il nous est donc arrivé de dire, alors même que l’industriel se prévalait dans les médias d’utiliser l’IA, que ce dispositif-là n’embarquait pas d’intelligence artificielle. L’industriel a donc dû modifier son message.

 

 

A ce jour, existe-t-il un dispositif médical contenant de l’IA qui a été évalué et validé par la CNEDiMTS ?

Plusieurs dispositifs sont en cours d’instruction je n’en parlerai donc pas. Au travers de notre grille d’analyse qui sera intégrée au dossier accessible aux industriels, nous avons voulu diminuer le nombre de dossiers incomplets. Qui dit dossier incomplet , dit dossier en suspension ! Sur le second semestre 2018, tout dossier confondu, nous avons eu un taux de suspension de délai de 44 %. Nous espérons donc gagner du temps au moment de l’instruction et favoriser l’accès à l’innovation pour les patients.

 

 

L’exercice qui consiste à discriminer ce qui est de l’ordre de l’IA, donc de l’apprentissage automatique, de l'algorithme classique paraît extrêmement compliqué. Comment font vos équipes ?

C’est même encore plus compliqué que ça… Ce sont généralement plusieurs algorithmes imbriqués les uns dans les autres qui contribuent à un dispositif médical, certains fonctionnant avec IA, d’autres sans. Nous ne sommes pas des mathématiciens mais nous sommes habitués à cet exercice. Nous sommes 22 membres à la CNEDiMTS, avec plusieurs spécialités médicales représentées. Nous avons des cardiologues, des orthopédistes, des pharmaciens, des ingénieurs, et si l’on avait par exemple un dossier en ophtalmologie ou en urologie à traiter, nous ferions appel à des experts. De la même manière, nous faisons appel à des experts en intelligence artificielle pour évaluer des dispositifs qui en contiennent ou qui disent en contenir.

Mais nous ne cherchons pas à comprendre le modèle mathématique de l’algorithme, ce qui en termes de complexité serait de toute façon impossible. Nous faisons une évaluation clinique et regardons le maintien de cette performance clinique dans le temps. Le dispositif doit avant tout apporter un bénéfice pour le patient en termes de santé et/ou de qualité de vie. L’innovation technologique, aussi pointue soit-elle, n’est pas toujours corrélée à un bénéfice clinique. Aussi, il est fondamental que l’industriel apporte des données cliniques convaincantes, s’il souhaite un financement spécifique.

 

Concrètement, dans quels domaines va-t-on voir arriver les premiers dispositifs intégrant l’IA ?

En diabétologie certainement, avec le pancréas artificiel. Pour les défibrillateurs. Dans des appareils de suivi de pathologie qui permettent d’alerter le patient ou un professionnel de santé. D’autres dispositifs très intéressants sont en train d’être créés, comme des semelles connectées qui vont révolutionner la rééducation des patients. Nous ne sommes qu’au tout début d’une nouvelle ère.

  

Comment avoir confiance en des algorithmes qui évoluent en permanence ?

C’est précisément la question que nous nous sommes posée pour créer la grille d’évaluation. Cette IA bouscule nos processus d’évaluation. Jusqu’à maintenant, nous évaluions des dispositifs stables, figés dans une étude clinique. Lorsqu’on évalue un dispositif avec IA, on sait qu’un tel dispositif peut avoir évolué le temps de sa mise sur le marché. Cela nous interroge forcément et nous voulons nous assurer que l’outil que nous évaluons va produire un résultat clinique stable ou meilleur dans le temps.

Nous sommes à la HAS, par les évaluations et les avis que nous rendons, des créateurs de confiance et il n’est bien sûr pas pensable de réévaluer un dispositif tous les mois. Pour tout dispositif médical (DM), nous évaluons pour une période maximum de cinq ans. Nous pouvons réduire cette période à quatre ans, voire trois ou même deux ans et demander une étude complémentaire à l’étude clinique de départ, ce que nous appelons « une étude post-inscription ». Ce sont des études observationnelles en vie réelle. Lorsque le DM arrivera en renouvellement, on exigera alors les résultats de cette étude. Lors de ce renouvellement, tout avis de la CNEDiMTS est réversible, dans un sens ou dans l’autre.

 

Qui peut participer à la consultation publique et comment ?

Nous n’avons pas limité cette consultation à des entités, institutions, entreprises ou experts concernés par l’IA. Toute personne peut répondre à titre individuel à cette consultation. Cette consultation est également disponible en anglais afin que nous puissions avoir des contributions internationales.

Pour répondre à cette consultation publique, qui se déroule du 20 novembre 2019 au 15 janvier 2020, un questionnaire a été mis en place sur le site internet de la HAS. L’objectif, après prise en compte de toutes ces contributions, est de parvenir à une grille d’évaluation opérationnelle en avril 2020. Compte tenu de l’intérêt du grand public pour l’intelligence artificielle, qui regrette son manque de transparence et parle de « boîte noire », nous pensons que nous aurons beaucoup de réponses…

 Propos recueillis par Romain Bonfillon

Répondre à la consultation publique de la HAS.