radiologyРадиология — практикаRadiology - Practice2713-0118Центральный научно-исследовательский институт лучевой диагностики10.52560/2713-0118-2022-3-51-66radiology-295Research ArticleМЕДИЦИНСКИЕ ТЕХНОЛОГИИMEDICAL TECHNOLOGIESДиагностическая эффективность различных систем автоматического анализа рентгенограмм в выявлении периферических образований легкихDiagnostic Efficiency of Various Systems for Automatic Analysis of Radiographs in the Detection of Lung Nodulehttps://orcid.org/0000-0001-9568-3577СмольниковаУ. А.SmolnikovaU. A.

Смольникова Ульяна Алексеевна, аспирант

191036, Санкт-Петербург, Лиговский пр., д. 2-4

Телефон: +7 (812) 775-75-55

Smol’nikova Uliana Alekseevna, Рostgraduate

2-4, Ligovskiy pr., St. Petersburg, 191036

Phone number: +7 (812) 775-75-55

ulamonika@mail.ruhttps://orcid.org/0000-0003-3251-4084ГавриловП. В.GavrilovP. V.

Гаврилов Павел Владимирович, кандидат медицинских наук, ведущий научный сотрудник, руководитель направления «Лучевая диагностика» 

191036, г. Санкт-Петербург, Лиговский пр., д. 2-4

Телефон: +7 (812) 775-75-55

Gavrilov Pavel Vladimirovich, Ph. D. Med., Leading Researcher, Head of the Department of Radiology

2-4, Ligovsky pr., St. Petersburg, 191036

Phone number: +7 (812) 775-75-55

spbniifrentgen@mail.ruhttps://orcid.org/0000-0003-4385-9643ЯблонскийП. К.YаblonskiyP. K.

Яблонский Петр Казимирович, доктор медицинских наук, профессор, директор

191036, г. Санкт-Петербург, Лиговский пр., д. 2–4

Телефон: +7 (812) 775-75-55

Yаblonskiy Petr Kazimirovich, М. D. Med., Professor, Director 

2-4, Ligovsky pr., St. Petersburg, 191036

Phone number: +7 (812) 775-75-55

glhirurg2@mail.ruФГБУ «Санкт-Петербургский научно-исследовательский институт фтизиопульмонологии» Минздрава РоссииРоссияSt. Petersburg State Research Institute of PhthisiopulmonologyRussian FederationФГБУ «Санкт-Петербургский научно-исследовательский институт фтизиопульмонологии» Минздрава России; Санкт-Петербургский государственный университетРоссияSt. Petersburg State Research Institute of Phthisiopulmonology; St. Petersburg State UniversityRussian Federation202230062022035166Copyright © Смольникова У.А., Гаврилов П.В., Яблонский П.К., 20222022Смольникова У.А., Гаврилов П.В., Яблонский П.К.Smolnikova U.A., Gavrilov P.V., Yаblonskiy P.K.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.radp.ru/jour/article/view/295

Цель исследования — сравнительная оценка эффективности различных систем искусственного интеллекта для выявления очагов и округлых образований в легких. Для тестирования нами было выбрано четыре программных продукта на основе сверточных нейронных сетей, позиционирующих себя как системы автоматической оценки цифровых рентгенограмм легких. Для клинической оценки был использован метод аналитической валидации. Для тестирования было сформировано три выборки данных с различной распространенностью патологии (выборка 1–5150 рентгенограмм, распространенность патологических изменений 3 %; выборка 2–100 рентгенограмм, распространенность патологических изменений 6 %; выборка 3–300 рентгенограмм, распространенность патологических изменений 50 %). Ни один из программных продуктов не прошел порогового значения AUC 0,811 на всех трех выборках. Во всех трех выборках все программные продукты показали высокую специфичность и низкую чувствительность при выявлении округлых образований, что свидетельствует о редких случаях гипердиагностики и частых случаях гиподиагностики. Использование систем анализа цифровых рентгенологических изображений на основе технологии искусственного интеллекта является перспективным направлением повышения качества диагностики, в первую очередь при использовании их молодыми врачами-рентгенологами в качестве дополнительного второго мнения.

The purpose of the study was to compare the effectiveness of various artificial intelligence systems for detecting foci and rounded lesions in the lungs. For testing, we selected four software products based on convolutional neural networks, positioning themselves as a sensitive system for evaluating digital chest radiographs. An analytical validation method was used for clinical evaluation. For diagnostics, 3 data samples were formed with the identification of signs of diseases (sample 1–5150 radiographs, detection of pathological changes 3 %; sample 2–100 radiographs, detection of pathological changes 6 %; sample 3–300 radiographs, detection of the prevalence of pathological changes 50 %). None of the software products passed the AUC threshold of 0.811 on all three samples. In all three samples, all software products have high accuracy and high sensitivity in detecting round formations, which leads to rare cases of overdiagnosis and special cases of underdiagnosis. The use of digital X-ray image analysis systems based on artificial intelligence technologies is a promising direction for high-quality diagnostics, primarily when considering their young radiologists as an additional opinion.

рентгенография легкихокруглые образованияскринингискусственный интеллектсверточные нейронные сетиX-ray of the LungsLung MassScreeningArtificial IntelligenceConvolutional Neural NetworksReferencesВасильев А. Ю., Малый А. Ю., Серова Н. С. Анализ данных лучевых методов исследования на основе принципов доказательной медицины: учебное пособие. М.: ГЭОТАР-Медиа, 2008. 32 с.Vasil’ev A. Yu., Maliy A. Yu., Serova N. S. Analysis of data from radiation research methods based on the principles of evidence-based medicine Moscow: GEOTAR-Media. 2008. 32 p. (in Russian).Гаврилов П. В., Ушков А. Д., Смольникова У. А. Выявление округлых образований в легких при цифровой рентгенографии: роль опыта работы врача-рентгенолога // Медицинский альянс. 2019. № 2. С. 51–56.Gavrilov P. V., Ushkov A. D., Smolnikova U. A. Detection of lumps in the lungs with digital X-ray: the role of the work experience of the radiologist. Medical alliance. 2019. No. 2. P. 51–56 (in Russian).Гаврилов П. В., Смольникова У. А. Оценка диагностической точности системы автоматического анализа цифровых рентгенограмм легких при выявлении округлых образований // Альманах клинической медицины. 2021. Т. 49. № 6. С. 359–364.Gavrilov P. V., Smolnikova U. A. Evalua tion of diagnostic accuracy of the automatic system for the analysis of digital lung X-ray for detection of spherical masses. Almanac of Clinical Medicine. 2021. V. 49. No. 6. P. 359–364 (in Russian). doi:10.18786/2072-0505-2021-49-035.Мелдо А. А., Уткин Л. В., Трофимова Т. Н. Искусственный интеллект в медицине: современное состояние и основные направления развития интеллектуальной диагностики // Лучевая диагностика и терапия. 2020. Т. 11. № 1. С. 9–17.Meldo А. А., Utkin L. V., Trofimova T. N. Artificial intelligence in medicine: modern condition and the main directions of deve lopment. Radiation diagnostics and the rapy. 2020. No. 1. P. 9–17 (in Russian). doi:10.22328/2079-5343-2020-11-1-9-17.Морозов С. П., Владзимирский А. В., Ледихова Н. В., Соколина И. А., Кульберг Н. С., Гомболевский В. А. Оценка диагностической точности системы скрининга туберкулеза легких на основе искусственного интеллекта // Туберкулез и болезни легких. 2018. Т. 96. № 8. С. 42–49.Morozov S. P., Vladzimirskiy A. V., Ledikhova N. V., Sokolina I. A., Kulberg N. S., Gombolevskiy V. A. Evaluation of diagnostic accuracy of the system for pulmonary tuberculosis screening based on artificial neural networks. Tuberculosis and Lung Diseases. 2018. V. 96 (8). P. 42–49 (in Russian). doi.org/10.21292/2075-1230-2018-96-8-42-49.Морозов С. П., Владзимирский А. В., Кляшторный В. Г., Андрейченко А. Е., Кульберг Н. С., Гомболевский В. А. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика) // М. Сер. Лучшие практики лучевой и инструментальной диагностики. Вып. 23. 2019. 34 с.Morozov S. P., Vladzimirskii A. V., Klyashtornyi V. G., Andreichenko A. E., Kulberg N. S., Gombolevskii V. A. Clinical Trials of Intelligent Software (radiation diagnostics). Series «Best Practices in Radiation and Instrumental Diagnostics». М, 2019. 34 p. (in Russian).Морозов С. П., Кокина Д. Ю., Павлов Н. А., Кирпичев Ю. С., Гомболевский В. А., Андрейченко А. Е. Клинические аспекты применения искусственного интеллекта для интерпретации рентгенограмм органов грудной клетки // Туберкулез и болезни легких. 2021. Т. 99. № 4. С. 58–64.Morozov S. P., Kokina D. Yu., Pavlov N. A., Kirpichev Yu. S., Gombolevskiy V. A., Аndreychenko A. E. Clinical as pects of using artificial intelligence for the interpretation of chest X-rays. Tuberculosis and Lung Diseases. 2021. V. 99 (4). P. 58–64 (in Russian). https://doi.org/10.21292/2075-1230-2021-99-4-58-64Lee J. H., Sun H. Y., Park S., Kim H., Hwang E. J., Goo J. M., Park C. M. Performan ce of a Deep Learning Algo rithm Compared with Radiologic Interpretation for Lung Cancer Detection on Chest Radiographs in a Health Scree ning Population. Radiol. 2020 Dec; 297(3): 687–696. doi: 10.1148/radiol.2020201240Lee J. H., Sun H. Y., Park S., Kim H., Hwang E. J., Goo J. M., Park C. M. Performance of a Deep Learning Algo rithm Compared with Radiologic Interpretation for Lung Cancer Detection on Chest Radiographs in a Health Scree ning Population. Radiol. 2020 Dec; 297(3): 687–696. doi: 10.1148/radiol.2020201240Nakamura K. et al. Studies on the diagnostic value of 70 mm radiophotograms by mirror camera and the reading ability of physicians. Kekkaku. 1970. V. 45. No. 4. С. 121–128.Nakamura K. et al. Studies on the diagnostic value of 70 mm radiophotograms by mirror camera and the reading ability of physicians. Kekkaku. 1970. V. 45. No. 4. P. 121–128.

The authors declare that there are no conflicts of interest present.