Это трёхмерное изображение интегральной схемы, на котором показаны срезы по всей толщине, было реконструировано с помощью новой технологии, включающей искусственный интеллект под названием «механизм реконструкции итеративной томографии с объединённым восприятием». Источник: Брукхейвенская национальная лаборатория
Рентгеновская томография — это мощный инструмент, который позволяет учёным и инженерам изучать объекты в трёхмерном пространстве, в том числе компьютерные чипы и современные аккумуляторные материалы, без какого-либо инвазивного вмешательства. Это тот же метод, который используется при компьютерной томографии в медицине.
Ученые или технические специалисты делают рентгеновские снимки, поворачивая объект, а затем с помощью продвинутого программного обеспечения математически реконструируют трехмерную внутреннюю структуру объекта. Но для получения изображений мелких деталей на наноуровне, например элементов микрочипа, требуется гораздо более высокое пространственное разрешение, чем при обычной медицинской компьютерной томографии, — примерно в 10 000 раз выше.
Линия жёсткого рентгеновского нанозондирования (Hard X-ray Nanoprobe, HXN) в Национальном источнике синхротронного излучения II (National Synchrotron Light Source II, NSLS-II), который находится в ведении Управления научных исследований Министерства энергетики США (DOE) в Брукхейвенской национальной лаборатории DOE, способна обеспечить такое разрешение с помощью рентгеновских лучей, которые более чем в миллиард раз ярче, чем при традиционной компьютерной томографии.
Томография эффективна только в том случае, если проекционные изображения можно получить со всех сторон. Однако во многих реальных случаях это невозможно. Например, учёные не могут повернуть плоский компьютерный чип на 180 градусов, не заблокировав часть рентгеновских лучей.
При параллельном расположении к поверхности под большим углом в чип проникает меньше рентгеновских лучей, что ограничивает углы обзора при измерении. Из-за отсутствия данных в этом угловом диапазоне возникает «слепое пятно», из-за чего программное обеспечение для реконструкции создаёт размытые, искажённые изображения.
«Мы называем это проблемой „недостающего клина“», — сказал Ханьфэй Янь, ведущий научный сотрудник линии HXN и автор соответствующей статьи. «На протяжении десятилетий эта проблема ограничивала применение рентгеновской и электронной томографии во многих областях науки и техники».
Чтобы решить эту проблему, исследователи из НЯЦ-II разработали новый метод под названием «механизм реконструкции итеративной томографии с объединением восприятия» (PFITRE). Этот новый подход сочетает в себе физические свойства рентгеновских лучей и возможности искусственного интеллекта (ИИ). Результаты исследования были опубликованы в npj Computational Materials.
Команда обучила свёрточную нейронную сеть — разновидность модели ИИ, которая автоматически изучает закономерности в данных, — на смоделированных данных. Свёрточные нейронные сети используют свёрточные слои для обнаружения важных признаков, таких как края, текстуры или формы, и комбинируют эти признаки для прогнозирования, например для определения того, что изображено на картинке.
Компонент искусственного интеллекта собирает данные о восприятии образца, о том, как, по мнению команды, должно выглядеть решение, и использует их для улучшения восстановленного изображения на основе этих данных. В то же время модель, основанная на законах физики, проверяет, насколько результаты соответствуют научным данным.
Этот процесс повторяется несколько раз, пока результаты работы ИИ и физических компонентов не совпадут, что позволит получить точную и визуально понятную реконструкцию.
Для улучшения зрения требуется длительное обучение
В отличие от коррекции изображений в потребительских устройствах, таких как камеры мобильных телефонов, при создании научных изображений необходимо сохранять точность, а не только внешний вид. Учёным нужно было разработать метод, который позволил бы гарантировать, что исправленное изображение по-прежнему соответствует физической модели и данным.
Для этого учёные из NSLS-II внедрили искусственный интеллект в механизм итеративного решения — математический инструмент, который решает сложные задачи, многократно перебирая улучшенные решения, шаг за шагом, пока не приблизится к правильному ответу.
Встроенный искусственный интеллект действует как «умный» регуляризатор — функция, которая ограничивает избыточную коррекцию и использует физическое моделирование, чтобы гарантировать соответствие реконструкций реальным рентгеновским измерениям.
«Нам не нужен был ИИ, который просто делает изображения лучше. Нам нужен был ИИ, который работает в связке с физикой, чтобы результаты были не только визуально понятными, но и заслуживающими доверия с научной точки зрения, — сказал Чунхан Чжао, постдок в HXN и ведущий автор этой работы. — В этом и заключается сила нашего метода — сочетание возможностей ИИ с физической моделью для обеспечения точности».
Искусственный интеллект в PFITRE основан на типе нейронной сети под названием U-net — архитектуре с кодировщиком и декодировщиком, которая популярна для общей обработки изображений. На этапе кодировщика происходит обучение и выявление основных характеристик, таких как края, текстуры и формы входного изображения, а на этапе декодировщика изображение восстанавливается с использованием этих характеристик для восстановления деталей и исправления искажений.
Исследователи расширили возможности U-net с помощью структурных модификаций, называемых остаточными плотными блоками и расширенными свёртками. Они помогают сети улавливать информацию на разных уровнях, от мелких текстур до более крупных структур, что делает сеть более подходящей для решения проблемы недостающего клина в томографии. Однако такая модель не может обучаться самостоятельно. Для её обучения требуется значительный объём данных.
Реальные наборы данных для научной микроскопии слишком ограничены для эффективного обучения конкретной модели ИИ, такой как PFITRE, поэтому команда использовала синтетические данные. Они создали обучающие наборы данных, используя в качестве образцов естественные изображения, смоделированные паттерны и изображения схем, полученные с помощью сканирующего электронного микроскопа.
Чтобы сделать обучение максимально реалистичным, они создали «цифрового двойника» эксперимента и виртуальные данные, имитирующие реальные условия. Они намеренно добавили шум, смещение и другие дефекты, чтобы ИИ мог обрабатывать физические данные.
Влияние на будущее визуализации
Несмотря на то, что этот метод ещё предстоит усовершенствовать, его преимущества очевидны. Образцы, которые раньше были недоступны из-за своего размера или формы, теперь могут давать информативные данные. Более широкое поле зрения позволяет анализировать большую часть образца, не сталкиваясь с проблемой «пропущенного клина».
Этот метод также может оказаться полезным в экспериментах, где требуется меньше измерений, что позволит быстрее проводить исследования на месте и снизить дозу облучения чувствительных образцов.
«Это открывает возможности для детального изучения образцов, которые раньше нельзя было исследовать. Это очень большой шаг вперёд, — сказал Ян. — Будь то диагностика дефектов в микросхемах или понимание причин износа аккумуляторов, PFITRE позволяет нам рассмотреть детали в условиях, которые раньше считались невозможными».
Несмотря на то, что PFITRE — это значительный шаг вперёд, команда признаёт, что есть возможности для улучшения. В настоящее время метод обрабатывает 3D-объекты послойно. Если расширить его до полноценного 3D-подхода, это ещё больше повысит согласованность, но потребует больше вычислительных ресурсов.
Другая сложность заключается в том, чтобы включить в модель больше артефактов, например, связанных с неисправными пикселями или движением образца, чтобы расширить область её применения. Как и другие модели ИИ, она не может устранять проблемы, с которыми раньше не сталкивалась. Чтобы решить эту проблему, в будущем планируется создать более обширный набор обучающих данных, включающий множество типов артефактов, а также разработать способы более эффективного обучения модели с меньшим количеством обучающих данных.
Этот новый мощный метод анализа 3D-изображений может ускорить научные открытия во многих областях: от разработки более быстрых и эффективных микрочипов до синтеза новых материалов и даже применения в биомедицине. По мере того как машинное обучение и синхротронная наука продолжают развиваться, подобные инструменты расширяют возможности учёных по изучению микромира и помогают решать важнейшие научные задачи.