La fidélité de TherAppX CORE : Aujourd'hui et demain
La fidélité est nécessaire pour prendre des décisions éclairées
Le besoin d'une plateforme pour aider les cliniciens à naviguer dans l'impressionnant écosystème des outils de santé numérique (ONS) est désormais largement reconnu, comme le montre l'un des derniers outils développés en collaboration avec l'American Psychiatric Association (Lagan, Aquino, Emerson, Fortuna, Walker, & Torous, 2020). Chez TherAppX, nous avons une vision claire lorsqu'il s'agit d'évaluer les ONS et de partager nos connaissances avec la communauté professionnelle. TherAppX CORE rassemble plus de 50 informations clés sur chaque ONS sous un même toit. Le processus de révision que nous avons mis en place fournit aux cliniciens des informations exploitables pour faciliter l'intégration des ONS dans leur pratique. Cependant, il existe plusieurs défis associés à la production de telles informations et la fiabilité en fait partie. Les chercheurs ont déjà souligné la fiabilité relativement faible des données partagées par certaines autres plateformes, telles que Psyberguide, ORCHA et MindTools.io (Carlo, Ghomi, Renn, & Arean, 2019). Cela signifie que les informations sont parfois incohérentes entre les plateformes et probabement même à l’intérieur de celles-ci. TherAppX a été construit à partir d'un examen de la recherche scientifique existante et vise à assurer la même rigueur dans la technologie qu'elle développe. Dans ce qui suit, nous partageons quelques actions concrètes prises par notre équipe pour nous assurer que les informations fournies par notre plateforme sont aussi fiables que possible, la fiabilité étant nécessaire pour prendre des décisions éclairées.
Comment fonctionne notre processus de révision
Tout d'abord, un petit rappel du fonctionnement de notre processus de révision (voir également cet article). Les nombreuses composantes que nous évaluons sont dérivées d'échelles validées par la recherche scientifique, comme la Mobile Application Rating Scale (Stoyanov, Hides, Kavanagh, & Wilson, 2016). À ce jour, chaque ONS est examiné par un recherchiste et un professionnel de la santé, tous deux formés. La tâche du recherchiste est d’évaluer la politique de confidentialité ainsi que d’autres éléments objectifs liés à la gestion des données, aux fonctionnalités et aux études empiriques réalisées sur l’outil. La tâche du professionnel de la santé est de fournir un examen du potentiel clinique de l'ONS, en utilisant des jugements objectifs et subjectifs. Notre expérience avec les cliniciens nous a informé de la valeur particulière d'un certain nombre d'informations spécifiques que nous partageons sur la plateforme, notamment des informations sur le potentiel de changement de comportement et les objectifs cliniques!
Parmi toutes les informations collectées par les professionnels de la santé, ces derniers doivent évaluer des critères sélectionnés à partir de la App Behavior Change Scale ou ABACUS (McKay, Slykerman, & Dunn, 2019). L'ABACUS a été développée à partir d'un examen de plus de 50 documents de recherche sur les composantes technologiques favorisant le changement de comportement et les nouvelles habitudes. Avec TherAppX CORE, les cliniciens peuvent ainsi identifier le potentiel d'un ONS pour aider un patient à adopter un nouveau comportement. De plus, les professionnels de la santé qui examinent un ONS doivent identifier ses objectifs cliniques, qui couvrent l'ensemble du continuum de soins, de la promotion du bien-être au traitement, au suivi, au diagnostic et à la prévention (Cohen, Dorsey, Mathews, Bates, & Safavi, 2020). Compte tenu de l'importance de ces informations pour prendre une décision sur un ONS, il semble tout simplement naturel de s'assurer que celle-ci est fiable. La méthode systématique que nous avons choisie est la suivante.
Évaluer la fidélité avec une approche systématique
Nous avons recruté trois nouveaux professionnels de santé en cours d'études en pharmacie, dont les noms seront abrégés par A, B et C. Pendant leur phase de formation chez TherAppX, A, B et C ont accumulé plusieurs heures d'activité, consistant en une introduction magistrale sur les processus d'évaluation probants sur les ONS, en plus d'un aperçu complet de notre cadre de révision et d'un manuel soigneusement conçu pour les aider à prendre des décisions lors de leurs révisions. Ils ont également reçu des commentaires sur leur révision de cinq ONS, qui avaient tous été auparavant examinés par un professionnel de la santé ayant suivi la même formation que A, B et C. À la fin de cette phase de formation exhaustive, nous avons assumé que leurs réflexions seraient alignées à notre cadre de révision. Ensuite, A, B et C ont chacun examiné douze ONS qui n'avaient jamais été soumis à un professionnel de la santé auparavant. Nous avons examiné la fiabilité de ces révisions.
Nous avons utilisé la statistique Kappa de Cohen (k), qui est une mesure de la fiabilité inter-juges permettant d'obtenir une estimation qui prend en compte les accords et les désaccords qui seraient attendus par hasard (Hallgren, 2012). À titre indicatif, les scores de 0,61 à 0,80 indiquent une concordance substantielle, tandis que les scores de 0,81 à 1,0 indiquent une concordance presque parfaite. Pour chaque paire de professionnels de la santé, nous avons calculé un k global pour l'échelle ABACUS et les objectifs de soins identifiés. Pour la paire A-B, k était de 0,92 et 0,90 pour l'échelle ABACUS et le continuum de soins, respectivement, alors qu'il variait de 0,75 à 0,77 pour les paires A-C et B-C. Les k moyens pour l'ABACUS (k = 0,80) et le continuum de soins (k = 0,79) étaient élevés, ce qui se compare favorablement à ce qui est obtenu ailleurs (Lagan, Aquino, Emerson, Fortuna, Walker, & Torous, 2020). Cela montre que notre processus de révision conduit à des jugements fiables entre les évaluateurs et que les informations affichées dans TherAppX CORE sont dignes de confiance.
TherAppX CORE aujourd’hui et demain
Que pouvons-nous en apprendre? Certaines conclusions peuvent être tirées en examinant la fiabilité spécifique entre les paires. Deux professionnels sur trois avaient un accord presque parfait, tandis que l'autre a produit un accord substantiel, mais légèrement inférieur. Étant donné que l'utilisation de notre plateforme a un impact direct sur la manière dont les cliniciens interagissent avec les patients et utilisent les ONS, nous avons mis en place des mesures pour nous assurer de continuer à partager les informations les plus fiables. Premièrement, les professionnels de la santé reçoivent des commentaires fréquents et nous avons récemment lancé TherAppX COMMUNITY, une plateforme sociale qui s'adresse aussi bien aux cliniciens qu'aux évaluateurs de TherAppX. L'objectif de cette communauté est double. Cela permettra aux cliniciens d'intégrer les ONS dans leur pratique en ayant accès à des experts, mais plus important encore, cela nous permettra d'offrir une formation supplémentaire à nos évaluateurs, ainsi qu'aux cliniciens utilisant notre technologie. Deuxièmement, nous travaillons actuellement à ajouter encore plus de contrôles de qualité, y compris des vérifications aléatoires des révisions avant qu'elles ne soient partagées sur TherAppX CORE. Nous pensons que la révision d'ONS doit être traitée comme un processus continu. À cet effet, nous améliorons actuellement la nature itérative de notre processus d'évaluation.
Les mises à jour des ONS sont l'un des plus grands défis auxquels les instances réglementaires doivent faire face (Moshi, Tooher, & Merlin, 2018). La difficulté de se tenir au courant des mises à jour des logiciels est également l'une des critiques les plus importantes adressées aux plateformes existantes. L'intervalle de temps entre les évaluations et les mises à jour est un risque important pour la validité des révisions d'ONS. En fait, l'âge moyen d'une évaluation réalisée par Mindtools.io, Psyberguide et ORCHA est de 475 jours, ORCHA étant le plus bas à 109 jours. Chez TherAppX, nous avons mis en place des moyens de suivre les mises à jour à mesure qu'elles sont annoncées et de faire la distinction entre les plus mineures et les plus majeures. Dans les mois à venir, nous avons l'intention de partager une mesure de rapidité qui, nous en sommes convaincus, surpassera celle d'autres plateformes.
Moshi, M. R., Tooher, R., & Merlin, T. (2018). Suitability of current evaluation frameworks for use in the health technology assessment of mobile medical applications: a systematic review. International Journal of Technology Assessment in Health Care, 34(5), 464-475. doi: 10.1017/S026646231800051X
Stoyanov, S. R., Hides, L., Kavanagh, D. J., & Wilson, H. (2016). Development and validation of the user version of the Mobile Application Rating Scale (uMARS). JMIR mHealth and uHealth, 4(2), e72. doi: 10.2196/mhealth.5849