Скачать электронную версию статьи (в свободном доступе).
Цель: в условиях постоянного роста количества разработанных алгоритмов компьютерного зрения на основе искусственного интеллекта (ИИ) для медицинской диагностики возникает необходимость определения критериев для принятия решения о целесообразности их практического
применения для массовых профилактических исследований населения.
Материал и методы: Исследование с участием нескольких врачей-рентгенологов проводилось на
"Веб-платформе для оценки рентгенологических исследований" на размеченном наборе данных
из набора рентгенограмм и флюорограмм в передней прямой проекции. На этом же наборе данных с помощью "Платформы тестирования при смене версионности" были получены ответы от
двух коммерческих алгоритмов компьютерного зрения на основе ИИ, разработанных для анализа цифровых рентгенограмм. Оценка полученных от врачей и алгоритмов результатов (бинарных, в терминах "с патологией" и "без патологии") проводилась с помощью ROC-анализа. Для порогового значения, рассчитанного по методу Юдена, определялись метрики: чувствительность,
специфичность и точность.
Результаты: Рассчитаны метрики диагностической точности для усредненной оценки врачей-рентгенологов и алгоритмов компьютерного зрения на основе ИИ при поиске патологических изменений на рентгенограммах органов грудной клетки в передней прямой проекции по данным
ROC-анализа. Средние значения показателей диагностической точности врачей рентгенологов
превзошли показатели ИИ алгоритмов.
Выводы: При принятии решения о внедрении в практику алгоритмов компьютерного зрения на
основе ИИ для профилактических исследований следует руководствоваться метриками диагностической точности конкретного алгоритма, а в качестве целевых значений метрик использовать усредненный результат врачей при решении данной диагностической задачи.
Ключевые слова: искусственный интеллект, лучевая диагностика, диагностическая точность, профилактические исследования
Purpose: In the conditions of a constant increase in the number of computer vision algorithms developed based on artificial intelligence (AI) for medical diagnostics, it becomes necessary to determine criteria for deciding whether their practical application for mass preventive studies of the population is
appropriate.
Materials and methods: The study with the participation of several radiologists was conducted on a
"Web platform for evaluating radiological studies" on a marked data set containing digital radiographs
and fluorograms in an anterior direct projection. On the same data set, using the "Versioning Testing
Platform", responses were obtained from two commercial AI-based computer vision algorithms developed for the analysis of digital radiographs. Evaluation of the results obtained from doctors and algorithms (binary, in terms of "with pathology” and “without pathology") was carried out using ROC analysis. For the threshold value calculated by the Yuden method, the following metrics were determined:
sensitivity, specificity and accuracy.
Results: diagnostic accuracy metrics were calculated for the average assessment of radiologists and AI-based computer vision algorithms when searching for pathological changes on chest X-rays in anterior
direct projection according to ROC analysis. The average values of diagnostic accuracy indicators of radiologists exceeded the indicators of AI services.
Conclusions: when deciding on the implementation of AI-based computer vision algorithms for preventive research, One should be guided by the metrics of diagnostic accuracy of a particular algorithm and
use the average result of doctors in solving this diagnostic problem as the target values of metrics.
Key words: artificial Intelligence, diagnostic, radiology, diagnostic accuracy, screening
DOI: 10.52775/1810-200X-2022-96-4-56-63