ldtЛучевая диагностика и терапияDiagnostic radiology and radiotherapy2079-5343Baltic Medical Education Center10.22328/2079-5343-2020-11-2-58-65ldt-526Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИORIGINAL RESEARCHВАЛИДАЦИЯ ДИАГНОСТИЧЕСКОЙ ТОЧНОСТИ АЛГОРИТМА «ИСКУССТВЕННОГО ИНТЕЛЛЕКТА» ДЛЯ ВЫЯВЛЕНИЯ РАССЕЯННОГО СКЛЕРОЗА В УСЛОВИЯХ ГОРОДСКОЙ ПОЛИКЛИНИКИVALIDATION OF DIAGNOSTIC ACCURACY OF ANARTIFICIAL INTELLIGENCE ALGORITHM FOR DETECTING MULTIPLE SCLEROSIS IN A CITY POLYCLINIC SETTINGhttps://orcid.org/0000-0001-6545-6170МорозовС. П.MorozovS. P.

доктор медицинских наук, профессор, директор

109029, Москва, Средняя Калитниковская ул., д. 28, стр. 1

SPIN: 8542–1720

morozov@npcmr.ruhttps://orcid.org/0000-0002-2990-7736ВладзимирскийА. В.ChernyaevaG. N.

доктор медицинских наук, заместитель директора по научной работе

109029, Москва, Средняя Калитниковская ул., д. 28, стр. 1

SPIN: 3602–7120  

chernyaeva_galin@inbox.ruЧерняеваГ. Н.BazhinA. V.

младший научный сотрудник; врач-рентгенолог, заведующий рентгенологическом отделением

109029, Москва, Средняя Калитниковская ул., д. 28, стр. 1

115533, Москва, ул. Высокая, д. 19, корп. 2

a.vladzimirsky@npcmr.ruhttps://orcid.org/0000-0003-3198-1334БажинА. В.PimkinA. A.

кандидат медицинских наук, врач-рентгенолог;

109029, Москва, Средняя Калитниковская ул., д. 28, стр. 1;

117556, Москва, Фруктовая ул., д. 12

SPIN: 6122–5786

Moscow

Dolgoprudny

avbazhin@yandex.ruhttps://orcid.org/0000-0003-1164-1826ПимкинА. А.BelyaevM. G.

младший инженер-исследователь

121205, Москва, территория Инновационного центра «Сколково», Большой бульвар, д. 30, стр. 1

Moscow

M.Belyaev@skoltech.ruhttps://orcid.org/0000-0001-9906-6453БеляевМ. Г.VladzymyrskyA. V.

кандидат физико-математических наук, старший преподаватель

121205, Москва, территория Инновационного центра «Сколково», Большой бульвар, д. 30,стр. 1

SPIN: 2406–1772

M.Belyaev@skoltech.ruhttps://orcid.org/0000-0001-7385-5032КляшторныйВ. Г.KlyashtornyV. G.

кандидат биологических наук, статистик

109029, Москва, Средняя Калитниковская ул., д. 28, стр. 1

SPIN: 3918–9762

v.klyashtornyy@npcmr.ruГоршковаТ. Н.GorshkovaT. N.

109029, Москва, Средняя Калитниковская ул., д. 28, стр. 1

 

tamara.gorsh@yandex.ruКурочкинаН. С.KurochkinaN. S.

инженер-исследователь,

121205, Москва, территория Инновационного центра «Сколково»; Большой бульвар, д. 30, стр. 1

M.Belyaev@skoltech.ruЯкушеваС. Ф.YakushevаS. F.

студентка

141701, Московская облаcть, г. Долгопрудный, Институтский пер., д. 9

M.Belyaev@skoltech.ruНаучно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города МосквыРоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care DepartmentRussian FederationНаучно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города МосквыРоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; Medical Center in KolomenskoyeRussian FederationНаучно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы; Медицинский центр в КоломенскомРоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; City Polyclinic No 2 of the Moscow Health Care DepartmentRussian FederationНаучно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы; Городская поликлиника № 2 Департамента здравоохранения города МосквыРоссияSkolkovo Institute of Science and Technology; Moscow Institute of Physics and TechnologyRussian FederationСколковский институт науки и технологийРоссияSkolkovo Institute of Science and TechnologyRussian FederationСколковский институт науки и технологийРоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care DepartmentRussian FederationНаучно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города МосквыРоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care DepartmentRussian FederationМосковский физико-технический институтРоссияMoscow Institute of Physics and TechnologyRussian Federation2020130820201125865Copyright © Морозов С.П., Владзимирский А.В., Черняева Г.Н., Бажин А.В., Пимкин А.А., Беляев М.Г., Кляшторный В.Г., Горшкова Т.Н., Курочкина Н.С., Якушева С.Ф., 20202020Морозов С.П., Владзимирский А.В., Черняева Г.Н., Бажин А.В., Пимкин А.А., Беляев М.Г., Кляшторный В.Г., Горшкова Т.Н., Курочкина Н.С., Якушева С.Ф.Morozov S.P., Chernyaeva G.N., Bazhin A.V., Pimkin A.A., Belyaev M.G., Vladzymyrsky A.V., Klyashtorny V.G., Gorshkova T.N., Kurochkina N.S., Yakushevа S.F.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://radiag.bmoc-spb.ru/jour/article/view/526Цель

Цель: оценить диагностическую точность оригинального алгоритма выявления РС в условиях отделения лучевой диагностики медицинской организации, оказывающей первичную (амбулаторно-поликлиническую) медицинскую помощь.

Материалы и методы

Материалы и методы. Проведен анализ деперсонализированных результатов МР-исследований головного мозга, выполненных 93 пациентам в период с 22.08.2019 г. по 26.09.2019 г., из которых 42 мужчины (средний возраст 47,5±15,9 лет) и 51 женщина (средний возраст 52,3±16,8 лет); лица европеоидной расы, жители г. Москвы. Все  пациенты подписали добровольное информированное согласие. Исследования  проводились на томографе VANTAGE Atlas (Toshiba, Япония) с индукцией магнитного поля 1,5 Тл по стандартному протоколу.

Результаты

Результаты. Все МР-исследования проанализированы с применением оригинального  алгоритма «искусственного интеллекта» (ИИ). Решения алгоритма (индекс-теста)  сопоставлены с референс-тестом, значения которого приняты за истинный статус  обследуемых лиц. Чувствительность индекс-теста — 100%, специфичность — 75,3%,  точность — 76,3%, прогностическая ценность отрицательного результата — 100%, площадь под характеристической кривой — 0,861. Результаты свидетельствуют о надежном «отсеивании» алгоритмом результатов исследований без признаков РС.  Показано достаточное качество и отличная воспроизводимость результатов работы  алгоритма на независимых данных.

Заключение

Заключение. Разработанный алгоритм ИИ обеспечивает эффективную сортировку МР-исследований в условиях первичного звена здравоохранения с поддержанием оптимального уровня настороженности относительно РС.

The objective of the study is to evaluate the diagnostic accuracy of an original artificial intelligence (AI) algorithm for detecting MS in the radiology department of primary (outpatient) hospital.

Materials and methods

Materials and methods. Depersonalized results of brain magnetic resonance imaging (MRI) studies performed in the period from August 22, 2019 to September 26, 2019 in 93 patients (42 men (mean age 47,5±15,9 years) and 51 women (mean age 52,3±16,8 years)) were analyzed. All patients signed a voluntary informed consent form. Brain MRIwere carried out on the VANTAGE Atlas 1,5T MRI scanner (Toshiba, Japan) under a standard protocol.

Results

Results. All MRI studies were analyzed by AI-algorithm (index-test). It decisions were compared with a  reference test (groundtruth). The sensitivity of the index-test is 100%, specificity — 75,3%, accuracy —  76,3%, negative predictive value — 100%, area under ROC-curve — 0,861. The algorithm reliably sorts out the studies without signs of MS. The algorithmshows sufficient quality and excellent reproducibility of the results on independent data.

Conclusion

Conclusion. The developed AI algorithm ensures effective triage of MRI studies in primary care settings, maintaining an optimal index of suspicion in MS.

искусственный интеллектнейронная сетьрассеянный склерозмагнитно-резонансная томографияartificial intelligenceradiologymultiple sclerosismagnetic resonance imagingReferencesХанох Е.В., Рождественский А.С., Кудрявцева Е.А. Исследование наследственных факторов предрасположенности к рассеянному склерозу и особенностей его течения в русской этнической группе // Бюллетень Сибирского отделения Российской академии медицинских наук. 2011. Т. 31, № 1. С. 113–118.Hanoh E.V., Rozhdestvenskij A.S., Kudryavceva E.A. [Research on hereditary factors of multiple sclerosis susceptibility and peculiarities of its course in russian ethnic group. The Bulletin of Siberian Branch of Russian Academy of Medical Science, 2011, Vol. 31, No. 1, рр. 113–118 (In Russ.).Atlas of MS 2013. Multiple Sclerosis International Federation, 2013. 28 р.Atlas of MS 2013. Multiple Sclerosis International Federation, 2013. 28 р.Шмидт Т.Е., Яхно Н.Н. Рассеянный склероз: воспаление, дегенерация: руководство для врачей. 3-е изд. М.: МЕДпресс-информ, 2012. 272 c.Shmidt T.E., Yahno N.N. Multiple sclerosis: inflammation, degeneration: guidelines for clinicians. 3rd ed. Мoscow: MEDpress-inform, 2012, 272 р. (In Russ.).Karussis D. The diagnosis of multiple sclerosis and the various related demyelinating syndromes: a critical review // J. Autoimmun. 2014. Feb-Mar. Vol. 48–49. P. 134–142. doi: 10.1016/j.jaut.2014.01.022.Karussis D. The diagnosis of multiple sclerosis and the various related demyelinating syndromes: a critical review // J. Autoimmun. 2014. Feb-Mar. Vol. 48–49. P. 134–142. doi: 10.1016/j.jaut.2014.01.022.Guillemin F., Baumann C., Epstein J. LORSEP Group. Older Age at Multiple Sclerosis Onset Is an Independent Factor of Poor Prognosis: A PopulationBased Cohort Study // Neuroepidemiology. 2017. No. 48 (3–4). P. 179–187. doi: 10.1159/000479516.Guillemin F., Baumann C., Epstein J. LORSEP Group. Older Age at Multiple Sclerosis Onset Is an Independent Factor of Poor Prognosis: A PopulationBased Cohort Study // Neuroepidemiology. 2017. No. 48 (3–4). P. 179–187. doi: 10.1159/000479516.Gelfand J.M. Multiple sclerosis: diagnosis, differential diagnosis, and clinical presentation // Handb Clin Neurol. 2014. No 122. P. 269–290. doi: 10.1016/B978-0-444-52001-2.00011-X.Gelfand J.M. Multiple sclerosis: diagnosis, differential diagnosis, and clinical presentation // Handb Clin Neurol. 2014. No 122. P. 269–290. doi: 10.1016/B978-0-444-52001-2.00011-X.Брюхов В.В., Кротенкова И.А., Морозова С.Н. Современный взгляд на МРТ-диагностику рассеянного склероза: обновленные МРТ-критерии 2016 г. // Журнал неврологии и психиатрии им. C.C. Корсакова. 2017. Т. 117. № 2–2. С. 66–73.Bryuhov V.V., Krotenkova I.A., Morozova S.N. A current view on the MRI diagnosis of multiple sclerosis: an update of 2016 revised MRI criteria. S.S. Korsakov journal of neurology and psychiatry, 2017, Vol. 117, No. 2–2, рp. 66–73 (In Russ.).Гомболевский В.А., Лайпан А.Ш., Шапиев А.Н. Применение критериев диагностики и контроля рассеянного склероза по MAGNIMS. М., 2018. Вып. 11. 12 c. (Серия: «Лучшие практики лучевой и инструментальной диагностики»).Gombolevskij V.A., Lajpan A.Sh., Shapiev A.N. MAGNIMS diagnosis and control criteria use in multiple sclerosis. Мoscow, 2018; Issue 11. 12 р. (Series «Best practices in imaging and instrumental diagnostics») (In Russ.).Захарова М.Н., Абрамова А.А., Аскарова Л.Ш. Рассеянный склероз: вопросы диагностики и лечения. М.: Медиа-Менте, 2018. 240 с.Zaharova M.N., Abramova A.A., Askarova L.Sh. et al. Multiple sclerosis: diagnosis and treatment issues. Мoscow: MediaMente, 2018, 240 р. (In Russ.).Гусев А.В., Плисс М.А. Основные рекомендации к созданию и развитию информационных систем в здравоохранении на базе искусственного интеллекта // Врач и информационные технологии. 2018. № 3. С. 45–60.Gusev A.V., Pliss M.A. The basic recommendations for the creation and development of information systems in health care based on artificial intelligence. Information technologies for the physician, 2018, No. 3, рp. 45–60 (In Russ.).Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кузьмина Е.С., Ледихова Н.В. Искусственный интеллект: автоматизированный анализ текста на естественном языке для аудита радиологических исследований // Вестник рентгенологии и радиологии. 2018. Т. 99, № 5. С. 253–258.Morozov S.P., Vladzimirskij A.V., Gombolevskij V.A., Kuz’mina E.S., Ledihova N.V. Artificial intelligence: natural language processing for peerreview in radiology. Journal of radiology and nuclear medicine, 2018, Vol. 99, No. 5, рp. 253–258 (In Russ.).Arani L.A., Hosseini A., Asadi F. Intelligent Computer Systems for Multiple Sclerosis Diagnosis: a Systematic Review of Reasoning Techniques and Methods // Acta Inform Med. 2018. Dec. 26 (4). P. 258–264. doi: 10.5455/aim.2018.26:258-264.Arani L.A., Hosseini A., Asadi F. Intelligent Computer Systems for Multiple Sclerosis Diagnosis: a Systematic Review of Reasoning Techniques and Methods // Acta Inform Med. 2018. Dec. 26 (4). P. 258–264. doi: 10.5455/aim.2018.26:258-264.Ranschaert E.R., Morozov S.P., Algra P.R. Artificial intelligence in medical imaging. Springer International Publishing, 2019. 369 р.Ranschaert E.R., Morozov S.P., Algra P.R. Artificial intelligence in medical imaging. Springer International Publishing, 2019. 369 р.Solomon A.J., Naismith R.T., Cross A.H. Misdiagnosis of multiple sclerosis: Impact of the 2017 McDonald criteria on clinical practice // Neurology. 2019. Jan 1. Vol. 92, No. 1. P. 26–33. doi: 10.1212/WNL.0000000000006583.Solomon A.J., Naismith R.T., Cross A.H. Misdiagnosis of multiple sclerosis: Impact of the 2017 McDonald criteria on clinical practice // Neurology. 2019. Jan 1. Vol. 92, No. 1. P. 26–33. doi: 10.1212/WNL.0000000000006583.Морозов С.П., Владзимирский А.В., Кляшторный В.Г., Андрейченко А.Е., Кульберг Н.С., Гомболевский В.А., Сергунова К.А. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика). М., 2019. Вып. 57. 33 с. (Серия «Лучшие практики лучевой и инструментальной диагностики»)Morozov S.P., Vladzymyrskyy A.V., Klyashtornyj V.G., Andrejchenko A.E., Kul’berg N.S., Gombolevskij V.A., Serguniva K.A. Clinical studies of intelligence technology-based software (radiology).]. Мoscow, 2019, Issue 57, 33 р. (Series «Best practices in imaging and instrumental diagnostics») (In Russ.).Morozov S.P., Vladzymyrskyy A.V., Klyashtornyy V.G. Clinical acceptance of software based on artificial intelligence technologies (radiology). M., 2019, Issue 57, 51 р. (Series «Best practices in medical imaging»). arXiv: 1908.00381.Morozov S.P., Vladzymyrskyy A.V., Klyashtornyy V.G. Clinical acceptance of software based on artificial intelligence technologies (radiology). M., 2019, Issue 57, 51 р. (Series «Best practices in medical imaging»). arXiv: 1908.00381.Avants B.B., Tustison N., Song G. Advanced normalization tools (ANTS) // Insight j. 2009. Jun 4. No. 2. P. 1–35.Avants B.B., Tustison N., Song G. Advanced normalization tools (ANTS) // Insight j. 2009. Jun 4. No. 2. P. 1–35.He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. P. 770–778.He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. P. 770–778.Gros C., De Leener B., Badji A. Automatic segmentation of the spinal cord and intramedullary multiple sclerosis lesions with convolutional neural networks // Neuroimage. 2019. Jan 1. No. 184. P. 901–915. doi: 10.1016/j.neuroimage.2018.09.081.Gros C., De Leener B., Badji A. Automatic segmentation of the spinal cord and intramedullary multiple sclerosis lesions with convolutional neural networks // Neuroimage. 2019. Jan 1. No. 184. P. 901–915. doi: 10.1016/j.neuroimage.2018.09.081.Wang S.H., Tang C., Sun J. Multiple Sclerosis Identification by 14-Layer Convolutional Neural Network With Batch Normalization, Dropout, and Stochastic Pooling // Front Neurosci. 2018. Nov. 8. P. 812–818. doi: 10.3389/fnins.2018.00818.Wang S.H., Tang C., Sun J. Multiple Sclerosis Identification by 14-Layer Convolutional Neural Network With Batch Normalization, Dropout, and Stochastic Pooling // Front Neurosci. 2018. Nov. 8. P. 812–818. doi: 10.3389/fnins.2018.00818.Yoo Y., Tang L.Y.W., Brosch T. Deep learning of joint myelin and T1w MRI features in normal-appearing brain tissue to distinguish between multiple sclerosis patients and healthy controls // Neuroimage Clin. 2017. Oct. 14. No. 17. P. 169–178. doi: 10.1016/j.nicl.2017.10.015.Yoo Y., Tang L.Y.W., Brosch T. Deep learning of joint myelin and T1w MRI features in normal-appearing brain tissue to distinguish between multiple sclerosis patients and healthy controls // Neuroimage Clin. 2017. Oct. 14. No. 17. P. 169–178. doi: 10.1016/j.nicl.2017.10.015.Valverde S., Cabezas M., Roura E. Improving automated multiple sclerosis lesion segmentation with a cascaded 3D convolutional neural network approach // Neuroimage. 2017. Jul 15. No. 155. P. 159–168. doi: 10.1016/j.neuroimage.2017.04.034.Valverde S., Cabezas M., Roura E. Improving automated multiple sclerosis lesion segmentation with a cascaded 3D convolutional neural network approach // Neuroimage. 2017. Jul 15. No. 155. P. 159–168. doi: 10.1016/j.neuroimage.2017.04.034.Hackmack K., Paul F., Weygandt M. Alzheimer’s Disease Neuroimaging Initiative. Multi-scale classification of disease using structural MRI and wavelet transform // Neuroimage. 2012. Aug 1. No. 62 (1). P. 48–58. doi: 10.1016/j.neuroimage.2012.05.022.Hackmack K., Paul F., Weygandt M. Alzheimer’s Disease Neuroimaging Initiative. Multi-scale classification of disease using structural MRI and wavelet transform // Neuroimage. 2012. Aug 1. No. 62 (1). P. 48–58. doi: 10.1016/j.neuroimage.2012.05.022.

The authors declare that there are no conflicts of interest present.