Dokumenterede gevinster ved Dora
Nedenfor findes en række publikationer. Udvalgte pointer:
Dokumenterede gevinster ved Dora
1. Forbedret klinisk nøjagtighed og fuldstændighed
Læger identificerede 48–49 % flere blødningsepisoder under journalgennemgang med Dora-assistance end uden og missede ingen hændelser ved brug af Dora (1). Uden blev >33 % af relevante sætninger overset; med Dora blev intet overset (1).
2. Høj teknisk præcision på tværs af sygdomsområder
Dora opnåede en macro F1 = 0,945, på niveau med de bedste internationale systemer. Modellen identificerede seks kliniske entiteter – sygdom, symptom, diagnostik, behandling, anatomi og resultat – og uden systematisk bias på køn eller alder; der ses kun et let fald i psykiatriske noter, fortsat på højt niveau (2).
3. Klinisk anvendelighed, effektivitet og sikker implementering
Ved implementering i rutinevurdering af trombofili identificerede læger yderligere relevante oplysninger i 68 % af patientforløb, som tidligere var overset. Eye-tracking viste 33,3 % kortere gennemgangstid og 35,2 % hurtigere time-to-first-fixation på relevante afsnit. Systemet var non-inferior til manuel gennemlæsning og øgede fuldstændigheden. (3)
4. Evidens for metodisk robusthed og datavaliditet
I blærecancer-kohorten fandt Doras sproglige modeller 99 % af hæmaturi-tilfælde, mens diagnosekoder fandt 8 %. Samlet viste Dora-pipelines sensitivitet 99 % og specificitet 100 % for hæmaturi-identifikation, hvilket dokumenterer, at NLP-baseret informationsudtræk giver mere komplette og korrekte data end traditionelle kodningssystemer (4).
Kliniske publikationer, der anvender vores sprogmodeller
Early clinical implementation and evaluation of an NLP-Based AI system for thrombophilia assessment using electronic health records. Alnor, A. B., Adelhelm, J. B. H., Pedersen, L. E., Faurø, K. K., Laursen, M. S., Lynggaard, R. B., & Vinholt, P. J. International Journal of Medical Informatics 2025: 106135
Natural language processing for identifying major bleeding risk in hospitalised medical patients. Alnor AB, Lynggaard RB, Laursen MS, Vinholt PJ. Comput Biol Med. 2025 (resume her)
Identification of hematuria with a natural language processing model and validation of hematuria diagnosecodes. Hansen RS, Lynggaard RB, Laursen MS, Lykke FM, Vinholt PJ. Thromb Res. 2024 Oct 12;244:109182. doi: 10.1016/j.thromres.2024.109182. PMID: 39426095
Validity of Major Osteoporotic Fracture Diagnoses in the Danish National Patient Registry. Clausen A , Möller S , Skjødt MK , Lynggaard RB , Vinholt PJ , Lindberg-Larsen M , Søndergaard J , Abrahamsen B , Rubin KH. Clin Epidemiol . 2024 Apr 13:16:257-266. doi: 10.2147/CLEP.S444447.
Cumulative rib fracture risk after stereotactic body radiotherapy in patients with localized non-small cell lung cancer. Kristian Kirkelund Bentsen, Carsten Brink, Tine Bjørn Nielsen, Rasmus Bank Lynggaard, Pernille Just Vinholt, Tine Schytte, Olfred Hansen, Stefan Starup Jeppesen. Radiother Oncol 2024 17:110481. doi: 10.1016/j.radonc.2024.110481.
Validation of Anorexia Nervosa and Bulimia Nervosa Diagnosis Coding in Danish Hospitals Assisted by a Natural Language Processing model. Egedal, J. M., Støving, R. K., Lynggaard, R. B., Laursen, M. S., Vinholt, P. J., & Hansen, R. S. (2024). Journal of Psychiatric Research.
Tekniske publikationer
Dora explores Clinically Relevant Information in EHRs using NER. Laursen, M., Pedersen, L. E., Adelhelm, J. B. H., Lynggaard, R. B., & Vinholt, P. J. In Proceedings of the 8th International Conference on Natural Language and Speech Processing (ICNLSP-2025) 2025. pp. 258-270)
Mining Electronic Health Records: Turning Unstructured Text into Research Data Using Natural Language Processing – Ph.d. afhandling af Martin Sundahl Laursen
Unlocking the Potential of Electronic Health Records With Danish Clinical Language Models for Text Mining – Ph.d.afhandling af Jannik Skyttegaard Pedersen
Doctors identify hemorrhage better during chart review when assisted by artificial intelligence. Martin S. Laursen , Jannik S. Pedersen, Rasmus S. Hansen, Thiusius R. Savarimuthu and Pernille J. Vinholt. Clinical Applied Informatics (accepted)
Automatic Annotation of Training Data for Deep Learning Based De-identification of Narrative Clinical Text. Martin S. Laursen , Jannik S. Pedersen, Pernille J. Vinholt and Thiusius Rajeeth Savarimuthu. WNLPe-Health 2022
Danish Clinical Named Entity Recognition and Relation Extraction. Martin S. Laursen, Jannik S. Pedersen, Rasmus S H.ansen, Thiusius R. Savarimuthu, Pernille J. Vinholt. Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa), 2023.
MeDa-BERT: A medical Danish pretrained transformer model. Jannik S. Pedersen, Martin S. Laursen, Pernille J. Vinholt, Thiusius R. Savarimuthu. Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa), 2023.
Investigating anatomical bias in clinical machine learning algorithms. Jannik S. Pedersen, Martin S. Laursen, Pernille J. Vinholt, Anne Alnor, Thiusius R. Savarimuthu. Findings of the Association for Computational Linguistics: EACL 2023, 1368-1380.
Benchmark for Evaluation of Danish Clinical Word Embeddings. Martin S Laursen, Jannik S. Pedersen, Pernille J. Vinholt, Rasmus S. Hansen, Thiusius R. Savarimuthu. Northern European Journal of Language Technology 2023/3/1.
Domain over size: Clinical ELECTRA surpasses general BERT for bleeding site classification in the free text of electronic health records. Jannik S. Pedersen, Martin S. Laursen, Cristina S. Ruiz, Thiusius R. Savarimuthu, Rasmus S. Hansen, Pernille J. Vinholt. IEEE-EMBS International Conference on Biomedical and Health Informatics, 2022.
Factors Facilitating the Acceptance of Diagnostic Robots in Healthcare: A Survey. Martin S. Laursen, Jannik S. Pedersen, Søren A. Just, Thiusius R. Savarimuthu, Brian Blomholt, Jakob KH Andersen, and Pernille J. Vinholt. In 2022 IEEE 10th International Conference on Healthcare Informatics (ICHI), pp. 442-448. IEEE, 2022.
Deep learning detects and visualizes bleeding events in electronic health records. Jannik S. Pedersen, Martin S. Laursen, Thiusius R. Savarimuthu, Rasmus S. Hansen, Anne Alnor, Bjerre KV, Kjær IM, Gils C, Thorsen AF, Andersen ES, Nielsen CB, Andersen LC, Just SA, Vinholt PJ. Res Pract Thromb Haemost. 2021 May 5;5(4):e12505. doi: 10.1002/rth2.12505.