Диагностическая точность и согласованность ИИ-сервисов между собой и с врачом-экспертом при оценке маммографических исследований по шкале BI-RADS: ретроспективное аналитическое исследование

ВВЕДЕНИЕ: По данным литературы, диагностическая точность маммографических ИИ-сервисов при определении категории BI-RADS может колебаться в достаточно широком диапазоне. При этом отсутствуют исследования, посвященные оценке согласованности между ИИ-сервисами и врачом-рентгенологом при определении категории BI-RADS.

ЦЕЛЬ: Оценить диагностическую точность и согласованность трех ИИ-сервисов между собой и с врачом-экспертом при оценке маммографических исследований по шкале BI-RADS.

МАТЕРИАЛЫ И МЕТОДЫ: Выполнено смешанное исследование, включавшее ретроспективный диагностический и аналитический компоненты. В анализ вошли 99 анонимизированных маммографических исследований. Исследования оценивались врачом-экспертом с определением категории BI-RADS 1–5 отдельно для правой и левой молочной железы; полученные оценки использовались в качестве референсного стандарта. Набор данных был обработан тремя коммерческими ИИ-сервисами, также определявшими категории BI-RADS 1–5.

Статистика: Статистический анализ проводился на уровне отдельных молочных желёз (n=198). Оценивали ROC AUC, чувствительность, специфичность и точность с 95% доверительными интервалами для двух бинарных шкал BI-RADS: BI-RADS 1–3 против 4–5 и BI-RADS 1–2 против 3–5. Согласованность между ИИ-сервисами и врачом-экспертом оценивали с помощью внутриклассовой корреляции и каппы Коэна. Для сравнения диагностических показателей применяли тест Мак-Немара, для оценки различий согласованности bootstrap-анализ с 5000 повторений.

РЕЗУЛЬТАТЫ: Оценки диагностической точности представлены в виде диапазонов значений, полученных для отдельных ИИ-сервисов, оценки согласованности включают значения, полученные для отдельных пар ИИ-сервисов или пар «ИИ-сервис + врач». Диагностическая точность ИИ-сервисов по бинарной шкале BI-RADS № 1: ROC AUC — 0,644–0,876, точность — 0,788–0,909, специфичность — 0,816–0,977, чувствительность — 0,333–0,883. По бинарной шкале BI-RADS № 2: ROC AUC — 0,795–0,915, точность — 0,808–0,939, специфичность — 0,818–0,961, чувствительность — 0,739–0,870. Согласованность между парами ИИ-сервисов по бинарной шкале BI-RADS № 1 находилась в диапазоне от 0,232 до 0,504, по бинарной шкале BI-RADS № 2 — от 0,416 до 0,663, по полной шкале BI-RADS — от 0,387 до 0,564. Согласованность между ИИ-сервисами и врачом-экспертом по бинарной шкале BI-RADS № 1 находилась в диапазоне от 0,288 до 0,641, по бинарной шкале BI-RADS № 2 — от 0,518 до 0,832, по полной шкале BI-RADS — от 0,570 до 0,701.

ОБСУЖДЕНИЕ: Диагностическая точность ИИ-сервисов по бинарной шкале BI-RADS № 1 и бинарной шкале BI-RADS № 2 соответствует диапазонам в аналогичных исследованиях. По сравнению с результатами нашего предыдущего исследования согласованность по бинарной шкале BI-RADS № 1, бинарной шкале BI-RADS № 2 и полной шкале оказалась в подавляющем большинстве случаев ниже, чем согласованность между врачами-рентгенологами.

ЗАКЛЮЧЕНИЕ: Полученные результаты подтверждают данные литературы, свидетельствующие о широких диапазонах колебаний диагностической точности ИИ-сервисов. С учетом различных шкал BI-RADS согласованность ИИ-сервисов и врача-эксперта оказалась в подавляющем большинстве случаев ниже, чем согласованность между врачами-рентгенологами, которую мы оценивали в предыдущем исследовании.

1. Bray F., Laversanne M., Sung H. et al. Global cancer statistics 2022: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries // CA: A Cancer Journal for Clinicians. 2024. Vol. 74, No. 3. Р. 229–263. doi: 10.3322/caac.21834.

2. Владзимирский А.В., Васильев Ю.А., Шахов А.В. и др. Влияние технологий искусственного интеллекта на активную выявляемость рака молочной железы: эффективность и масштабирование // Здравоохранение стран СНГ. 2026. Т. 2, № 1. С. 11–19.

3. Мерабишвили В.М. Состояние онкологической помощи в России: рак молочной железы среди женского населения. Заболеваемость, смертность, достоверность учета, детальная локализационная и гистологическая структура. Популяционное исследование на уровне федерального округа // Вопросы онкологии 2022. Т. 68, № 3. С. 286–293.

4. Ren W., Chen M., Qiao Y., Zhao F. Global guidelines for breast cancer screening: A systematic review // Breast. Churchill Livingstone. 2022. Vol. 64. Р. 85–99. doi: 10.1016/j.breast.2022.04.003.

5. Spak D.A., Plaxco J.S., Santiago L., Dryden M.J., Dogan B.E. BI-RADS® fifth edition: A summary of changes // Diagnostic and Interventional Imaging. 2017. Vol. 98, No. 3. Р. 179–190. doi: 10.1016/j.diii.2017.01.001.

6. Васильев Ю.А., Сон И.М., Пестренин Л.Д., Владзимирский А.В. Результативность профилактической маммографии в Российской Федерации: сравнение итогов первого этапа диспансеризации в 2019 и 2022 гг. // Менеджер здравоохранения. 2024. T. 11. С. 63–76.

7. Cai H., Wang J., Dan T. et al. An Online Mammography Database with Biopsy Confirmed Types // Scientific Data. 2023. Vol. 10. Р. 123. doi: 10.1038/s41597-02302025-1.

8. Васильев Ю.А., Тыров И.А., Владзимирский А.В. и др. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований // Digital Diagnostics. 2023. Т. 4, № 2. С. 93–104.

9. Арзамасов К.М., Васильев Ю.А., Владзимирский А.В. и др. Применение компьютерного зрения для профилактических исследований на примере маммографии // Профилактическая медицина. 2023. Т. 26, № 6. С. 117–123.

10. Dang L.A., Chazard E., Poncelet E. et al. Impact of artificial intelligence in breast cancer screening with mammography // Breast Cancer. 2022. Vol. 29, No. 6. Р. 967–977. doi: 10.1007/s12282-022-01375-9.

11. Liu J., Lei J., Ou Y. et al. Mammography diagnosis of breast cancer screening through machine learning: a systematic review and meta-analysis // Clin. Exp. Med 2022. Vol. 23, No. 6. Р. 2341–2356. doi: 10.1007/s10238-022-00895-0.

12. Le Boulc’h M., Bekhouche A., Kermarrec E. et al. Comparison of breast density assessment between human eye and automated software on digital and synthetic mammography: Impact on breast cancer risk // Diagn. Interv. Imaging. 2020. Vol. 101, No. 12. Р. 811–819. doi: 10.1016/j.diii.2020.07.004.

13. Ji H., Jang Mjin, Chang J.M. Variability in Breast Density Estimation and Its Impact on Breast Cancer Risk Assessment // J. Breast Cancer. 2024. Vol. 27, No. 5. Р. 334–342. doi: 10.4048/jbc.2024.0101.

14. Rigaud B., Weaver O.O., Dennison J.B. et al. Deep Learning Models for Automated Assessment of Breast Density Using Multiple Mammographic Image Types // Cancers (Basel). 2022. Vol. 14, No. 20, Р. 5003. doi: 10.3390/cancers14205003.

15. Бобровская Т.М., Васильев Ю.А., Никитина Н.Ю. и др. Объем выборки для оценки диагностической точности программного обеспечения на основе технологий искусственного интеллекта в лучевой диагностике // Сибирский журнал клинической и экспериментальной медицины. 2024. Т. 39, № 3. С. 188–198.

16. Tan H., Wu Q., Wu Y. et al. Mammography-based artificial intelligence for breast cancer detection, diagnosis, and BI-RADS categorization using multi-view and multi-level convolutional neural networks // Insights Imaging. 2025. Vol. 16, No. 1. Р. 109. doi: 10.1186/s13244-025-01983-x.

17. Васильев Ю.А., Владзимирский А.В., Арзамасов К.М. и др. Первые 10 000 маммографических исследований, выполненных в рамках услуги «описание и интерпретация данных маммографического исследования с использованием искусственного интеллекта» // Менеджер здравоохранения. 2023. № 8. С. 54–67.

18. Sasaki M., Tozaki M., Rodríguez-Ruiz A. et al. Artificial intelligence for breast cancer detection in mammography: experience of use of the ScreenPoint Medical Transpara system in 310 Japanese women // Breast Cancer. 2020. Vol. 27, No. 4. Р. 642–651. doi: 10.1007/S12282-020-01061-8.

19. Arzamasov K., Vasilev Y., Vladzymyrskyy A. et al. An International Non-Inferiority Study for the Benchmarking of AI for Routine Radiology Cases: Chest X-ray, Fluorography and Mammography // Healthcare. 2023. Vol. 11, No. 12. Р. 1684. doi: 10.3390/healthcare11121684.

20. Li H.Y., Lin Y., Hong Y.T., Chou C.P. Comparative Study of Artificial Intelligence-based System Alone in Synthesized Mammography Versus Radiologist’s Interpretation of Digital Breast Tomosynthesis in Screening Women // Journal of Radiological Science. 2024. Vol. 49. No. 1. Р. 59–65. doi: 10.4103/jradiolsci.JRADIOLSCI-D-23-00027.

21. Caldas F.A.A., Caldas H.C., Henrique T. et al. Evaluating the performance of artificial intelligence and radiologists accuracy in breast cancer detection in screening mammography across breast densities // European Journal of Radiology Artificial Intelligence. 2025. Vol. 2. Р. 100013. doi: 10.1016/j.ejrai.2025.100013.

22. Азарян А.С., Пестренин Л.Д., Васильев Ю.А., Ахмад Е.С., Арзамасов К.М. Согласованность между рентгенологами города Москвы при интерпретации маммографических исследований по шкале BI-RADS // Альманах клинической медицины. 2024. Т. 52, № 7. С. 377–384.

23. Taya M. Comparative Performance of Artificial Intelligence Algorithms for Screening Mammography. Radiol. Imaging Cancer. 2020. Vol. 2, No. 6. Р. e209034. doi: 10.1148/rycan.2020209034.

24. Renard X., Laugel T., Detyniecki M. Understanding Prediction Discrepancies in classification // Machine Learning. 2024. Vol. 113, No. 3. Р. 7997–8026. doi: 10.1007/s10994-024-06557-4.

25. Han T., Yun H., Sur Y.K., Park H. Optimizing Artificial Intelligence Thresholds for Mammographic Lesion Detection: A Retrospective Study on Diagnostic Performance and Radiologist-Artificial Intelligence Discordance // Diagnostics. 2025. Vol. 15, No. 11. Р. 1368. doi: 10.3390/diagnostics15111368

26. Chen Y., Partridge G.J.W., Vazirabad M. et al. Performance of Algorithms Submitted in the 2023 RSNA Screening Mammography Breast Cancer Detection AI Challenge // Radiology. 2025. Vol. 316, No. 2. Р. e241447. doi: 10.1148/radiol.241447.