TherAppX Review: ou comment passer de 350 000+ apps de santé à 1000+ dans notre bibliothèque?

Surmonter les défis de l'analyse des outils numériques en santé

Comme l'a récemment souligné l'European mHealth Hub, qui a publié un outil de connaissances sur les différents cadres d'évaluation des Outils numériques en santé (ONS) en Europe, il est très difficile de rendre opérationnel un processus d'évaluation d’ONS. Ce rapport met en évidence le défi de suivre le rythme rapide auquel les nouvelles applications mobiles ou web arrivent sur le marché et l'importance d’évaluations en temps opportun:

[Traduction libre] «Au cours de la pandémie à la COVID-19, plusieurs applications ont été développées en très peu de temps et, compte tenu de la situation, il se peut que les gouvernements ou d'autres agences ne puissent pas effectuer une évaluation approfondie. Cela constitue clairement un défi pour la qualité des applications de santé dans le contexte des urgences de santé publique.

Au fur et à mesure que les ONS arrivent ou quittent le marché, ou sont fréquemment mises à jour, quel est l'équilibre parfait entre des recommandations fondées sur les évidences, et, ce qui est possible pour surmonter ces défis?

Chez TherAppX, nous avons investi au cours des deux dernières années dans des technologies et des processus qui nous permettent d'atteindre cet équilibre en 1) mettant en évidence plus de 58 points de données sur un ONS en 24 à 48 heures; 2) parcourant les mises à jour de milliers d’ONS à chaque jour; 3) dépister les nouveaux ONS qui arrivent sur le marché chaque semaine.

Voici comment nous y sommes parvenus:

Étape 1 - Découverte et priorisation

Pour être informés des nouveaux ONS qui arrivent sur le marché et qui correspondent aux besoins potentiels des patients, nous avons programmé un algorithme. Chaque semaine, ce dernier nous achemine automatiquement des listes d’ONS nouvellement sur le marché.

De plus, nous utilisons également cet algorithme pour trouver des ONS qui correspondent à des critères spécifiques lorsque nous en avons de besoin. Grâce à ce procédé nous pouvons rapidement effectuer une revue rapide du marché, de façon similaire à une revue systématique. En utilisant cette dernière technique, il devient alors possible de trouver tous les ONS qui «supportent les patients atteints de diabète grâce à l'autogestion», à titre d'exemple.

En somme, ces deux procédés nous permettent de couvrir à la fois les besoins d'identification d’ONS nouvellement lancés sur le marché et de trouver ceux déjà disponibles.

Notre algorithme nous permet ensuite de raccourcir ces listes d’ONS en utilisant des critères spécifiques, par exemple en excluant ceux qui n'ont pas eu de mise à jour au cours des six derniers mois, ceux qui ont des notes d’utilisateurs faibles, ou ne sont pas disponibles dans les langues officielles du pays de nos utilisateurs, etc. L’algorithme peut ensuite analyser les descriptions fournies par les fabricants afin de raccourcir à nouveau les listes. Lorsqu'une application donnée est considérée comme potentiellement pertinente après ces multiples filtres, un analyste d'application l'ajoute à notre liste de révisions à être poursuivies par un humain.

Finalement, notre dernière façon  de trouver et prioriser les ONS à réviser - et notre préférée - est de se fier à vous! Les clients de TherAppX Core ont le pouvoir d'orienter nos décisions de révision en effectuant une requête de révision (valide en fonction de leur plan d’abonnement). Nous répondons à ces demandes dans un délai de 24 à 48 heures si l'outil est disponible publiquement ou demandons au développeur de nous donner accès dans le cas contraire. Dès que notre équipe termine la révision, notre client reçoit une notification par e-mail.

En termes de priorisation, nous commençons par les demandes de révision de nos clients; puis, nous procédons avec les ONS identifiés par notre algorithme, en commençant par ceux avec le plus grand nombre de téléchargements.

Étape 2 - Acceptabilité et faisabilité

La première étape de notre processus de révision consiste à l’évaluation de critères pertinents dans six catégories clés (utilisabilité ou convivialité, confidentialité, fonctionnalité, interopérabilité, critères réglementaires et économiques). Cette évaluation est complétée par un analyste d’application et vise à mettre en évidence si un outil contient ce que nous appelons des critères d’exclusion. En termes simples, nous visons à répondre à quelques questions importantes: Est-ce que l’ONS exposerait les patients à des risques spécifiques (ex de confidentialité)? Est-ce que les patients et leurs professionnels de la santé peuvent prendre une décision éclairée concernant la manière dont leurs données personnelles sont gérées et utilisées? Y’a-t’il présence de bogues ou de problèmes d'utilisabilité?

Ces critères d'exclusion font partie d’une analyse de plus de 30 points de données supplémentaires, qui sera complétée par l'analyste d'applications pour chaque application incluse dans TherAppX Core. Voici plus de détails sur les catégories d’évaluation couvertes à ce point-ci:

Convivialité (expérience utilisateur)

Ces points de données incluent le recensement des objets connectés compatibles (montres, dispositifs médicaux, etc.), la possibilité de se connecter à Healthkit et GoogleFit, la revue des commandes tactiles, de la navigation et des bogues. Étant donné que notre algorithme à l’étape 1 est efficace, seuls 5% des ONS évalués présentent des problèmes mineurs d'utilisation tels que des bogues ou un manque de convivialité.

Confidentialité et sécurité

Nous regardons d'abord si le fabricant annonce la conformité à des règlements sur la confidentialité (par exemple PIPEDA, RGPD, HIPAA, etc.) ou à certaines normes de sécurité (ISO27001, IEC, SOC2, etc.). Ensuite, nous évaluons la transparence du développeur, principalement par les informations contenues dans sa politique de confidentialité concernant la gestion des données. Nous affichons les informations pertinentes dans TherAppX Core (par exemple, la collecte - ou non - de renseignements personnels de santé, la localisation de l’hébergement des données, si les données personnelles sont potentiellement partagées à des tiers, etc.).

Fonctionnalité et interopérabilité

Nos analystes identifient les principales fonctionnalités de l'outil. Parmi les fonctionnalités, nous évaluerons la capacité d'une application à échanger des données avec un professionnel de la santé (par exemple, le partage simple par e-mail ou la synchronisation directe avec un dossier de santé électronique).

Statut réglementaire

Nous déterminons si l'outil a reçu l'approbation d'organismes réglementaires tels que la FDA, la Commission européenne et Santé Canada.

Évidences

Chaque application est recherchée dans Pubmed et Google scholar à la recherche d’articles publiés qui concernent l'outil. Nos analystes classeront chaque article en fonction de son type d'étude, qu'il s'agisse d'un essai clinique ou d'une revue systématique, ou de l'un des quatre autres types d'études que nous recensons dans TherAppX Core.

Faisabilité économique

Notre algorithme collecte d’abord des informations sur le coût d’une application. Malgré tout, il se peut que nous n'ayons toujours pas le portrait réel du modèle commercial d'un outil. Est-il disponible sur l'App Store à des fins de bien-être ou s'agit-il d'une thérapie numérique disponible uniquement par l'intermédiaire d’une prescription d’un clinicien? Pour analyser plus en détail ce dernier point, les analystes utilisent le site Web du développeur, entre autres sources d'informations, pour déterminer comment un patient peut accéder à l’outil. Nous recensons également les études économiques pour mettre en évidence l’ONS qui a fait l'objet d'au moins une analyse coût-efficacité, de même que la couverture d’assurance (au Canada).

Note rapide: Core agit comme un dictionnaire sur les outils numériques en santé. Nous incluons TOUS les ONS jugés pertinents par nos logiciels avancés et nos chercheurs, qu’ils soient bons ou non. Ceci permet aux utilisateurs de visualiser des critères objectifs sur chacun d'eux. Ainsi, les utilisateurs peuvent faire des choix éclairés en naviguant sur la plateforme et les pages d’ONS, en utilisant des filtres ou en profitant de la fonctionnalité de comparaison (à venir).

À ce stade-ci, la monographie de l’ONS contient des informations provenant de notre algorithme et de notre revue de l’outil par un analyste:

Étape 3 - Évaluation clinique

C'est à cette étape que TherAppX se démarque, car nous sommes la seule organisation au monde à avoir passé en revue plus de 700 ONS par de vrais humains impliqués dans les soins aux patients au quotidien (c'est-à-dire des cliniciens).

Nos cliniciens examinent tous les ONS qui ne contiennent pas de critères d’exclusion. Pour prédire la pertinence clinique, ils utilisent un processus très similaire à celui des analystes d'applications. Ils évaluent différents points de données (20) et rédigent une description d'application affichée dans TherAppX Core pour nos clients. Ensuite, les utilisateurs de Core qui paient pour la fonctionnalité Prescribe peuvent utiliser et personnaliser (si nécessaire) des posologies pré-écrites par nos cliniciens lors de leurs évaluations, lorsqu'ils envoient une recommandation d'outil à un patient (fonctionnalité bientôt disponible).

Certaines données du processus de révision par les cliniciens indiquent les objectifs cliniques de l'outil. Chaque patient a des besoins différents pour l'utilisation des ONS. Fournir ces informations spécifiques aux utilisateurs leur permet de prendre des décisions éclairées, confiants que les données proviennent d'un pair et non du fabricant de l’ONS lui-même.

D'autres points de données fournies par les cliniciens visent à présenter dans TherAppX Core si l’ONS a les fonctionnalités minimales pour conduire un changement de comportement chez les patients nécessitant de telles interventions (tels que définis par ABACUS).

Chez TherAppX, nous croyons que même si un ONS a d'excellentes fonctionnalités, cela ne signifie pas que celles-ci sont pertinentes pour toutes les conditions de santé mentionnées par un créateur d'application dans sa description. Par exemple, nous avons souvent vu l’ONS cibler l'anxiété et la dépression et fournir des fonctionnalités applicables uniquement aux situations d'anxiété. Par conséquent, nos cliniciens confirment la pertinence de l’ONS pour chaque condition de santé revendiquée et fournissent à nos utilisateurs ces informations dans TherAppX Core.

Pour conclure, les données affichées dans TherAppX Core ont atteint un taux de variabilité inter-réviseurs «presque parfait», basé sur l'analyse statistique Kappa de Cohen. Ceci signifie que les données sont fiables et objectivables par nos réviseurs  (nous couvrirons cet aspect dans un autre article à venir).

À ce stade, la monographie ONS est terminée et contient toutes les informations affichées dans Core:

Étape 4 - Évaluation de l'évolution de l’ONS

Tel qu’indiqué ci-dessus, les ONS sont fréquemment mis à jour et évoluent rapidement.

Pour surmonter ce défi, nous nous assurons de capturer toutes les mises à jour des ONS précédemment révisés. Nous analysons les informations fournies par les ONS sur leurs modifications. Si une mise à jour contient des modifications suffisantes à l'un des points de données que nous avons précédemment explorés, nous la modifions dans la bibliothèque TherAppX Core.

La plupart du temps, les mises à jour sont mineures. De temps à autre, les fabricants déploient des changements significatifs de leur ONS (refactoring, par exemple), qui peuvent avoir un impact sur la façon dont les patients réagissent d'un point de vue clinique. Dans un tel cas, les chercheurs et les cliniciens mettent à jour leurs révisions antérieures pour tenir compte des nouvelles informations qu'ils ont en main.

De plus, en utilisant notre algorithme avancé, nous pouvons détecter si une application n'est plus disponible sur un marché donné (par exemple, l'App Store d'Apple).

Ainsi, les utilisateurs auront à tout moment les informations les plus précises et les plus à jour sur chaque application de notre bibliothèque Core!

À propos de nos relations avec les fabricants ONS

Chez TherAppX, nous gardons des distances entre nos processus de révision (les fondements de nos produits) et les fabricants des ONS. Pour que nos produits affichent les meilleures informations pour nos utilisateurs, nous ne sommes pas payés par les fournisseurs d’outils pour être affichés dans Core.

Cela étant dit, nous permettons aux fabricants de fournir des informations à nos analystes s'ils ont connaissance de données manquantes dans TherAppX Core, ou s'ils souhaitent accélérer l'évaluation de leur ONS par notre équipe. Ils peuvent le faire en utilisant ce formulaire.

Nos utilisateurs ne voient jamais les informations fournies par les fabricants et les fournisseurs. Ils ne sont disponibles que pour nos analystes. Cette auto-évaluation les aide à se concentrer sur les informations des deux premières étapes de notre processus. De temps à autre, les analystes de TherAppX peuvent également envoyer des demandes d'informations aux fabricants en utilisant le formulaire précédent.

Enfin, nous offrons aux fabricants la possibilité d'accéder à nos évaluations complètes à des fins d'amélioration (y compris les points de données actuellement non disponibles dans Core). C'est notre façon de contribuer à l'amélioration de la qualité globale des ONS offerts aux patients. Comme fabricant, si vous souhaitez accéder à votre évaluation complète, veuillez contacter notre équipe d’analystes à support@therappx.com.

Conclusion

Nous espérons que notre série d'articles de blog vous aidera à comprendre nos processus. Dans un article précédent, nous avons mis en évidence notre vision en matière d'évaluation des applications de santé. Nous avons expliqué comment une combinaison de critères de qualité et de validation dans le monde réel garantit des recommandations ONS centrées sur le patient qui se traduisent en valeur pour les patients. Dans cet article-ci, nous mettons en évidence notre processus de révision et les différents points de données que nous recueillons, que vous trouvez dans Core.