AI-ondersteunde abstractselectie versnelt literatuuronderzoek, maar mist relevantie

Systematische literatuurreviews zijn essentieel voor evidence-based geneeskunde, maar kosten veel tijd. AI-gestuurde tools zoals ASReview beloven dit proces te versnellen door relevante abstracts te prioriteren. Dit onderzoek vergeleek ASReview met handmatige abstractselectie bij een complexe systematische review in de reumatologie, gericht op de vraag of een verhoogde dosis biologische therapieën betere uitkomsten geeft bij reumatoïde artritis.

Het proces omvatte 4538 abstracts, waarvan 100 als trainingsdataset dienden. De overige abstracts werden in twee helften verdeeld en door twee onderzoekers gescreend, waarbij zowel ASReview als handmatige selectie werd toegepast; afwijkende beoordelingen werden opnieuw geëvalueerd. De AI-tool werkte in fasen met een Naïve Bayes-classificator en vervolgens een neuraal netwerk, met een vooraf gedefinieerd stopcriterium.

In helft A screende ASReview 318 abstracts (14,3%) in 4 uur en 15 minuten en identificeerde 83 relevante abstracts, terwijl handmatige screening 79 relevante abstracts opleverde in 15 uur en 26 minuten; 20 van de 66 definitief geselecteerde abstracts (30,3%) werden door AI gemist. In helft B identificeerde ASReview 78 relevante abstracts in 3 uur en 53 minuten tegenover 92 handmatig in 23 uur en 18 minuten, waarbij 17 van de 85 relevante abstracts (20%) werden gemist. Over beide datasets miste ASReview 24,5% van de relevante abstracts.

De onderzoekers concluderen dat AI-tools het literatuuronderzoek aanzienlijk versnellen, maar momenteel een substantieel aantal relevante abstracts missen; bij complexe vragen blijft handmatige controle noodzakelijk en is verdere optimalisatie van de algoritmen essentieel.