eng
Выпуск #6/2024
Е.В.Панфилова, А.Р.Ибрагимов, Д.В.Францышин
НЕЙРОСЕТЕВАЯ МОДЕЛЬ ДЛЯ КОРРЕКТИРОВКИ ПРОЦЕССА ИССЛЕДОВАНИЯ КОЛЛОИДНЫХ НАНО- И МИКРОСТРУКТУР МЕТОДОМ АТОМНО-СИЛОВОЙ МИКРОСКОПИИ
НЕЙРОСЕТЕВАЯ МОДЕЛЬ ДЛЯ КОРРЕКТИРОВКИ ПРОЦЕССА ИССЛЕДОВАНИЯ КОЛЛОИДНЫХ НАНО- И МИКРОСТРУКТУР МЕТОДОМ АТОМНО-СИЛОВОЙ МИКРОСКОПИИ
Просмотры: 845
Получено: 27.06.2024 г. | Принято: 1.07.2024 г. | DOI: https://doi.org/10.22184/1993-8578.2024.17.6.346.354
Научная статья
НЕЙРОСЕТЕВАЯ МОДЕЛЬ ДЛЯ КОРРЕКТИРОВКИ ПРОЦЕССА ИССЛЕДОВАНИЯ КОЛЛОИДНЫХ НАНО- И МИКРОСТРУКТУР МЕТОДОМ АТОМНО-СИЛОВОЙ МИКРОСКОПИИ
Е.В.Панфилова1, к.т.н., доц., ORCID: 0000-0001-7944-2765 / panfilova.e.v@bmstu.ru
А.Р.Ибрагимов1, асс., ORCID: 0000-0001-9689-1837
Д.В.Францышин1, 2, студ., инж., ORCID: 0009-0007-7493-8199
Аннотация. Важным этапом процесса формирования микро- и наноструктур являются операции контроля. Для оперативного контроля коллоидных нано- и микроструктурированных пленок используют атомно-силовую микроскопию, реализуемую методом амплитудно-модуляционного полуконтактного сканирования. Этот способ характеризуется сложностью и длительностью настроек режимов сканирования образцов. В данном проекте разработана нейронная сеть для автоматической оптимизации параметров процесса в ходе сканирования, что позволяет значительно ускорить процедуру контроля, повысить качество изображений и точность измерений.
Ключевые слова: наноструктуры, серебро, атомно-силовая микроскопия, частицы серебра
Для цитирования: Е.В. Панфилова, А.Р. Ибрагимов, Д. В. Францышин. Нейросетевая модель для корректировки процесса исследования коллоидных нано- и микроструктур методом атомно-силовой микроскопии. НАНОИНДУСТРИЯ. 2024. Т. 17. № 6. С. 346–354. https://doi.org/10.22184/1993-8578.2024.17.6.346.354
Received: 27.06.2024 | Accepted: 1.07.2024 | DOI: https://doi.org/10.22184/1993-8578.2024.17.6.346.354
Original paper
NEURAL NETWORK MODEL FOR ADJUSTING THE PROCESS OF STUDYING COLLOIDAL NANO- AND MICROSTRUCTURES USING ATOMIC FORCE MICROSCOPY
E.V.Panfilova1, Cand. of Sci. (Tech), Assistant Professor, ORCID: 0000-0001-7944-2765 / panfilova.e.v@bmstu.ru
A.R.Ibragimov1, Assistant, ORCID: 0000-0001-9689-1837
D.V.Frantsisin1, 2, Student, Еengineer, ORCID: 0009-0007-7493-8199
Abstract. An important stage in the process of formation of micro- and nanosystems is control operations. For operational monitoring of colloidal nano- and microstructured films, atomic force microscopy is used, implemented by the method of amplitude modulation semi-contact scanning. This method is characterized by the complexity and duration of setting the sample scanning parameters. In this project, a neural network has been developed to automatically optimize process parameters during scanning, which can significantly speed up the process and improve image quality and measurement accuracy.
Keywords: nanostructures, silver, atomic force microscopy
For citation: E.V. Panfilova, A.R. Ibragimov D.V. Frantsisin. Neural network model for adjusting the process of studying colloidal nano- and microstructures using atomic force microscopy. NANOINDUSTRY. 2024. Vol. 17. No. 6. PP. 346–354. https://doi.org/10.22184/1993-8578.2024.17.6.346.354.
ВВЕДЕНИЕ
Коллоидные нано- и микроструктуры находят практическое применение во множестве активно развивающихся областей науки и инженерного дела. Использование для формирования коллоидных структур диоксида кремния (SiO2), диоксида титана (TiO2), полистирольного латекса (PS) и ряда других материалов позволяет получать из них коллоидные фотонные кристаллы (КФК), являющиеся перспективным материалом для устройств фотоники, оптоэлектроники и лазерной техники [1]. В [2] описывается разнообразие отражающих дисплеев на основе природоподобных фотонно-кристаллических структур. В [3] представлен колориметрический датчик деформации на основе КФК, интегрированный деформируемым графеновым фотопреобразователем. В [4] предлагается концепция полностью оптических логических вентилей на основе КФК, модулированных фотолюминесценцией перовскитных нанокристаллов.
Разнообразие применений коллоидных нано- и микроструктур ставит перед учеными множество задач и научных вызовов, связанных с прецизионностью объектов разработки. Классическими методами их контроля и исследования являются электронная и зондовая микроскопии. Однако диэлектрические материалы, используемые в КФК, ограничивают использование электронной микроскопии. Поэтому для неразрушающего контроля морфологии коллоидных нано- и микроструктурированных пленок используют зондовую атомно-силовую микроскопию (АСМ), реализуемую методом амплитудно-модуляционного полуконтактного (прерывисто контактного) сканирования [5]. Метод позволяет оперативно осуществлять в атмосфере высокоточные измерения без предварительной подготовки образцов. Несмотря на наличие большого количества достоинств методу свойственно появление артефактов, появляющихся по причине наличия разнообразных шумов, конволюции зонда и образца, залипания зонда при взаимодействии с образцом и др. Возникновение многих проблем может являться следствием неправильно подобранных параметров сканирования, которые отличаются от образца к образцу. Текущие системы АСМ позволяют осуществлять подбор параметров в автоматическом режиме, однако, данная опция подходит в основном для тривиальных исследований поверхностей без каких-либо особенностей. Поэтому для исследования хрупких образцов с развитым рельефом и получения наилучших результатов по-прежнему требуется подбор корректных параметров сканирования "вручную", что является трудоемкой задачей, требующей высокого уровня подготовки и опыта у оператора.
В настоящее время существуют различные методы повышения эффективности сканирования, начиная от математической обработки до создания принципиально новых элементов системы. В работе [6] для функции системы зонд-образец вычисляется оптимальный набор параметров сканирования. В работе [7] экспериментальным путем выявляют зависимости износа зонда АСМ на качество сканирования, затем получая оптимальные настройки параметров, которые могут облегчить износ зонда. В работе [8] описывается метод увеличения скорости сканирования в диапазоне сканирования в несколько десятков микрометров путем использования одночастотного управляющего сигнала и внедрением в систему нечеткого регулятора. Все большую популярность обретают нейросетевые алгоритмы, используемые для улучшения широкого круга производственных и исследовательских процессов. В работе [9] описываются применения нейросетевых моделей и алгоритмов для АСМ, которые позволяют повысить эффективность процесса сканирования на основе характеристик изучаемых образцов. В ряде работ предлагается осуществлять нейросетевую постобработку полученных результатов контроля [10], фильтрации изображений и подавления на них артефактов [11], сжатия количества точек при сканировании, с последующей их реконструкцией [12]. Нейросетевая модель, объединяющая в себе оба подхода, была представлена авторами ранее в работе [13], она позволяет подбирать индивидуальные параметры сканирования для образцов КФК на основе параметров, описывающих их свойства и методы формирования. Наибольший интерес представляют нейронные сети, которые позволяют в режиме реального времени корректировать параметры сканирования без какого-либо присутствия человека. Ведущие компании-разработчики атомно-силовых микроскопов уже начали внедрять такие нейронные сети (НС) в свое программное обеспечение: NanoScope Analysis компании BRUKER (США) [14], интеллектуальный программный модуль SCANTRONIC™ компании NT‑MDT Spectrum Instruments (Россия) [5]. Названные модули, будучи предназначенными для большого круга пользователей, требуют для корректной работы знания свойств и характеристик исследуемых образцов, которые в рамках исследовательских лабораторий не всегда известны, что ограничивает их применимость. Поэтому в данной работе представлена нейросетевая модель для оптимизации процесса получения изображений поверхности коллоидных нано- и микроструктур методом атомно-силовой микроскопии посредством настройки параметров сканирования непосредственно при исследовании образца. Принцип модели заключается в обработке изображения, получаемого на АСМ в режиме реального времени, и корректировке параметров сканирования до получения оптимального изображения по системе обратной связи.
МЕТОДЫ И МАТЕРИАЛЫ
В качестве исследуемых коллоидных нано- и микроструктур использовались фотонно-кристаллические пленки из сферических частиц диоксида кремния и полистирола. Коллоидный раствор диоксида кремния был получен модифицированным методом Штобера на стенде управляемого синтеза коллоидных растворов. Коллоидные частицы полистирола представляли собой коммерческие стандартные образцы. Пленки были сформированы на подложках из кремния и полиэтилентерефталат методами spin-coating и вертикального вытягивания с помощью оборудования, входящего в лабораторный комплекс для получения коллоидных фотонно-кристаллических структур [15].
Контроль образцов осуществлялся на атомно-силовом микроскопе Solver NEXT компании NT-MDT Spectrum Instruments (Россия) в полуконтактном режиме. Основными варьируемыми параметрами при сканировании являлись Set Point – уровень параметра взаимодействия зонда и поверхности, поддерживаемый обратной связью при сканировании, Gain – коэффициент усиления синхронного усилителя, Rate – скорость сканирования, Amplitude – амплитуда колебаний кантилевера в полуконтактном режиме. Параметр Points – количество точек сканирования – оставался неизменным для получения и был равен 512 × 512. Разработка нейронной сети велась в среде Visual Studio Code с использованием языка Python 3.11.
Данные, полученные методом АСМ, обычно представляют собой массив данных, который может быть представлен в виде трехмерной модели. Для представления их НС все результаты сканирования сохранялись в виде двухмерных изображений поверхности с помощью встроенного программного обеспечения и представляли собой RGB-изображения размером 675 × 675 пикселей (рис.1). Каждое изображение фрагментировалось на левять частей размером 675 × 75 пикселей для имитации начального этапа сканирования. C целью сокращения объема данных без потери качества и информативности изображения были преобразованы в оттенки серого. В таком виде НС получала данные о пикселе не в виде кортежа RGB, а в качестве единичного значения, соответствующего оттенку серого.
В процессе нормализации входных данных для нормализации и получения матрицы значений от 0 до 1 все значения пикселей делились на 255. В результате независимо от природы входного числа (пиксель или значение параметра процесса) его значение всегда находилось в одинаковых пределах, что позволило получить НС с более равномерными весами. Данные о параметрах сканирования подверглись нормализации по аналогичному принципу, таким образом, чтобы значение 0 соответствовало минимальному значению параметра из обучающей выборки, а 1 – максимальному.
Задача разработки и реализации нейронной сети усложнялась необходимостью сочетать обработку изображений и параметров процесса, что привело к наличию двух входных слоев у нейронной сети. Разработанная архитектура содержит 19 слоев с суммарным количеством варьируемых параметров более 43 миллионов. Структурно НС состоит из нескольких частей, которые выполняют выделение дефектов в изображении, анализ дефектов на изображении, анализ дефектов с учетом параметров процесса, при котором было получено изображение, и корректировка.
Выделение дефектов осуществляется после того, как изображение проходит чередующиеся слои свертки и подвыборки. Для уменьшения объема информации, ускорения процесса обучения и упрощения НС изображение проходит слои подвыборки, которые сжимают изображение в четыре раза после каждого слоя. В первой части разработанной НС присутствуют входной слой, четыре слоя свертки и четыре слоя подвыборки и технический слой для преобразования матрицы (рис. 2). Результатом прохождения изображением ядра свертки является признак, в первом слое свертки присутствует восемь признаков, то есть на каждую двухмерную матрицу (изображение), поступающее на вход слоя на выходе будет четыре изображения, где выделяются искомые признаки. В каждом следующем слое количество признаков увеличивается.
После выделения признаков реализуется процесс их анализа. В этой части НС происходит классификация выявленных дефектов и оценивается их влияние на параметры процесса. Для этого используется классическая MLP (multi-layer perceptron) архитектура, состоящая из шести слоев с количеством нейронов 512, 256, 64, 4, соответственно, где 2-й и 4-й слои – обнуляющие слои DropOut. В качестве функции активации нейронов был принят гиперболический тангенс.
В последнюю часть НС подаются параметры процесса, при которых было получено изображение. Эта часть сети реализуется, как и предыдущая, на основе MLP архитектуры с количеством нейронов в слоях 32, 4, а первые два слоя являются входным слоем и техническим слоем конкатенации.
Суммарное количество связей в разработанной нейронной сети составляет 43427108 единиц. Все веса нейросетевой модели занимают около 498 Мб памяти. Изображение нейронной сети с указанием типов слоев и связей между ними показано на рис.3.
В процессе обучения нейронной сети использовался алгоритм обратного распространения ошибки. После каждого прохода по сети обратное распространение выполняет проход в обратную сторону и регулирует параметры модели (веса и смещения). Параметры, выбранные для обучения, приведены в табл.1.
Для ускорения обучения был использован метод мини-выборки, и параметры НС обновлялись после прохождения целой мини-выборки. За счет этого удалось снизить время обучения с 8,5 ч до 20 мин. Ошибка на обучающей выборке составила около 8%, на выборке валидации – около 20%, на тестовой – 8,5%.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Зависимость ошибки на обучающей выборке и ошибки на выборке валидации можно увидеть на рис.4. Ошибка падает с увеличением эпох, учитывая плавность графика можно утверждать, что гиперпараметры НС подобраны корректно, то есть нейронная сеть сходима.
Научный интерес представляет понимание того, как разработанная НС воспринимает изображение. Алгоритмически была извлечена информация, содержащая измененные нейронной сетью изображения (Рис.5). Можно заметить, что на финальном слое свертки на изображениях выделяются именно дефекты, а изображение без дефектов является менее ярким, что свидетельствует о меньшей степени активации нейронов. Изображение на рис.5 (и) уже не содержит элементов полученного на вход изображения. При этом НС выделила те участки, которые в ходе анализа посчитала наиболее важными и перевела информацию из концептуально-качественной в аналитическо-количественный формат. Уменьшение разрешения изображения связано с прохождением слоев пулинга.
Для анализа качества работы нейронной сети был выполнен анализ изображений с артефактами и без них. В обоих случаях процент ошибки составил менее 5% для каждого из параметров. В табл.2 представлены результаты этого тестирования НС.
ВЫВОДЫ
Для предупреждения появления артефактов на АСМ-изображениях нано- и микроструктур, в частности коллоидных фотонно-кристаллических пленок, рационально выполнять корректировку параметров сканирования образцов с использованием искусственного интеллекта. Хорошие результаты анализа и выявления признаков формируемых изображений показала глубокая нейронная сеть, содержащая слои свертки, подвыборки и регуляризации, дополненная сетью с архитектурой многослойного персептрона, отвечающей за анализ входных параметров (режимов) процесса. Такая модель способна выдавать качественные корректировки параметров сканирования в требуемых ситуациях. Ошибка обобщения при обработке АСМ-изображений в этом случае не превышает 5%. Полученные результаты и наработки могут быть использованы в лабораторных исследованиях, а также при разработке метрологической документации.
ИНФОРМАЦИЯ О РЕЦЕНЗИРОВАНИИ
Редакция благодарит анонимного рецензента (рецензентов) за их вклад в рецензирование этой работы, а также за размещение статей на сайте журнала и передачу их в электронном виде в НЭБ eLIBRARY.RU.
Декларация о конфликте интересов. Авторы заявляют об отсутствии конфликтов интересов или личных отношений, которые могли бы повлиять на работу, представленную в данной статье.
ЛИТЕРАТУРА / REFERENCES
Панфилова Е.В. Перспективные методы формирования планарных наноструктур // Наноинженерия. Машиностроение. 2014. № 8. C. 29–33.
Liu Y. et al. Bioinspired reflective display based on photonic crystals // Interdisciplinary Materials. 2024. Vol. 3. No. 1. PP. 54–73.
Snapp P. et al. Colloidal photonic crystal strain sensor integrated with deformable graphene phototransducer // Advanced Functional Materials. 2019. Vol. 29. No. 33. P. 1902216.
Wang Y. et al. All-optical logic gates based on hierarchical photonic crystal modulated photoluminescence of perovskite nanocrystals // Science China Technological Sciences. 2023. Vol. 66. No. 9. PP. 2735–2742.
Быков В.А. и др. Зондовая микроскопия и спектроскопия: приборы, техника и технология измерений // Взаимодействие сверхвысокочастотного, терагерцового и оптического излучения с полупроводниковыми микро- и наноструктурами, метаматериалами и биообъектами. 2019. С. 29–32.
Giessibl F.J. et al. Calculation of the optimal imaging parameters for frequency modulation atomic force microscopy // Applied Surface Science. 1999. Vol. 140. No. 3–4. PP. 352–357.
Xue B. et al. Study on effects of scan parameters on the image quality and tip wear in AFM tapping mode // Scanning: The Journal of Scanning Microscopies. 2014. Vol. 36. No. 2. PP. 263–269.
Wang Y. et al. Improving the scanning speed of atomic force microscopy at the scanning range of several tens of micrometers // Ultramicroscopy. 2013. Vol. 124. PP. 102–107.
Giergiel M. et al. AFM image analysis of porous structures by means of neural networks // Biomedical Signal Processing and Control. 2022. Vol. 71. P. 103097.
Vekinis A.A., Constantoudis V. Neural network evaluation of geometric tip-sample effects in AFM measurements // Micro and Nano Engineering. 2020. Vol. 8. P. 100057.
Kocur V. et al. Correction of AFM data artifacts using a convolutional neural network trained with synthetically generated data // Ultramicroscopy. 2023. Vol. 246. P. 113666.
Sun M. et al. Fast AFM Imaging Based on Neural Network Compressed Sensing // 2022 IEEE 24th International Workshop on Multimedia Signal Processing (MMSP). IEEE. 2022. PP. 1–5.
Panfilova E.V., Ibragimov A.R., Mozer K.V. Neural network module for tuning an atomic force microscope in the study of photonic crystal films // Journal of Physics: Conference Series. IOP Publishing. 2020. Vol. 1571. No. 1. P. 012004.
Yablon D. et al. Deep learning to establish structure property relationships of impact copolymers from AFM phase images // Mrs Communications. 2021. Vol. 11. PP. 962–968.
Панфилова Е.В., Дюбанов В.А., Ибрагимов А.Р., Шрамко Д.Ю. Лабораторный комплекс для получения коллоидных фотонно-кристаллических структур. Ч. 1 // НАНОИНДУСТРИЯ. 2024. Т. 17. № 3–4. C. 190–199. https://doi.org/10.22184/1993-8578.2024.17.3-4.190.198
Научная статья
НЕЙРОСЕТЕВАЯ МОДЕЛЬ ДЛЯ КОРРЕКТИРОВКИ ПРОЦЕССА ИССЛЕДОВАНИЯ КОЛЛОИДНЫХ НАНО- И МИКРОСТРУКТУР МЕТОДОМ АТОМНО-СИЛОВОЙ МИКРОСКОПИИ
Е.В.Панфилова1, к.т.н., доц., ORCID: 0000-0001-7944-2765 / panfilova.e.v@bmstu.ru
А.Р.Ибрагимов1, асс., ORCID: 0000-0001-9689-1837
Д.В.Францышин1, 2, студ., инж., ORCID: 0009-0007-7493-8199
Аннотация. Важным этапом процесса формирования микро- и наноструктур являются операции контроля. Для оперативного контроля коллоидных нано- и микроструктурированных пленок используют атомно-силовую микроскопию, реализуемую методом амплитудно-модуляционного полуконтактного сканирования. Этот способ характеризуется сложностью и длительностью настроек режимов сканирования образцов. В данном проекте разработана нейронная сеть для автоматической оптимизации параметров процесса в ходе сканирования, что позволяет значительно ускорить процедуру контроля, повысить качество изображений и точность измерений.
Ключевые слова: наноструктуры, серебро, атомно-силовая микроскопия, частицы серебра
Для цитирования: Е.В. Панфилова, А.Р. Ибрагимов, Д. В. Францышин. Нейросетевая модель для корректировки процесса исследования коллоидных нано- и микроструктур методом атомно-силовой микроскопии. НАНОИНДУСТРИЯ. 2024. Т. 17. № 6. С. 346–354. https://doi.org/10.22184/1993-8578.2024.17.6.346.354
Received: 27.06.2024 | Accepted: 1.07.2024 | DOI: https://doi.org/10.22184/1993-8578.2024.17.6.346.354
Original paper
NEURAL NETWORK MODEL FOR ADJUSTING THE PROCESS OF STUDYING COLLOIDAL NANO- AND MICROSTRUCTURES USING ATOMIC FORCE MICROSCOPY
E.V.Panfilova1, Cand. of Sci. (Tech), Assistant Professor, ORCID: 0000-0001-7944-2765 / panfilova.e.v@bmstu.ru
A.R.Ibragimov1, Assistant, ORCID: 0000-0001-9689-1837
D.V.Frantsisin1, 2, Student, Еengineer, ORCID: 0009-0007-7493-8199
Abstract. An important stage in the process of formation of micro- and nanosystems is control operations. For operational monitoring of colloidal nano- and microstructured films, atomic force microscopy is used, implemented by the method of amplitude modulation semi-contact scanning. This method is characterized by the complexity and duration of setting the sample scanning parameters. In this project, a neural network has been developed to automatically optimize process parameters during scanning, which can significantly speed up the process and improve image quality and measurement accuracy.
Keywords: nanostructures, silver, atomic force microscopy
For citation: E.V. Panfilova, A.R. Ibragimov D.V. Frantsisin. Neural network model for adjusting the process of studying colloidal nano- and microstructures using atomic force microscopy. NANOINDUSTRY. 2024. Vol. 17. No. 6. PP. 346–354. https://doi.org/10.22184/1993-8578.2024.17.6.346.354.
ВВЕДЕНИЕ
Коллоидные нано- и микроструктуры находят практическое применение во множестве активно развивающихся областей науки и инженерного дела. Использование для формирования коллоидных структур диоксида кремния (SiO2), диоксида титана (TiO2), полистирольного латекса (PS) и ряда других материалов позволяет получать из них коллоидные фотонные кристаллы (КФК), являющиеся перспективным материалом для устройств фотоники, оптоэлектроники и лазерной техники [1]. В [2] описывается разнообразие отражающих дисплеев на основе природоподобных фотонно-кристаллических структур. В [3] представлен колориметрический датчик деформации на основе КФК, интегрированный деформируемым графеновым фотопреобразователем. В [4] предлагается концепция полностью оптических логических вентилей на основе КФК, модулированных фотолюминесценцией перовскитных нанокристаллов.
Разнообразие применений коллоидных нано- и микроструктур ставит перед учеными множество задач и научных вызовов, связанных с прецизионностью объектов разработки. Классическими методами их контроля и исследования являются электронная и зондовая микроскопии. Однако диэлектрические материалы, используемые в КФК, ограничивают использование электронной микроскопии. Поэтому для неразрушающего контроля морфологии коллоидных нано- и микроструктурированных пленок используют зондовую атомно-силовую микроскопию (АСМ), реализуемую методом амплитудно-модуляционного полуконтактного (прерывисто контактного) сканирования [5]. Метод позволяет оперативно осуществлять в атмосфере высокоточные измерения без предварительной подготовки образцов. Несмотря на наличие большого количества достоинств методу свойственно появление артефактов, появляющихся по причине наличия разнообразных шумов, конволюции зонда и образца, залипания зонда при взаимодействии с образцом и др. Возникновение многих проблем может являться следствием неправильно подобранных параметров сканирования, которые отличаются от образца к образцу. Текущие системы АСМ позволяют осуществлять подбор параметров в автоматическом режиме, однако, данная опция подходит в основном для тривиальных исследований поверхностей без каких-либо особенностей. Поэтому для исследования хрупких образцов с развитым рельефом и получения наилучших результатов по-прежнему требуется подбор корректных параметров сканирования "вручную", что является трудоемкой задачей, требующей высокого уровня подготовки и опыта у оператора.
В настоящее время существуют различные методы повышения эффективности сканирования, начиная от математической обработки до создания принципиально новых элементов системы. В работе [6] для функции системы зонд-образец вычисляется оптимальный набор параметров сканирования. В работе [7] экспериментальным путем выявляют зависимости износа зонда АСМ на качество сканирования, затем получая оптимальные настройки параметров, которые могут облегчить износ зонда. В работе [8] описывается метод увеличения скорости сканирования в диапазоне сканирования в несколько десятков микрометров путем использования одночастотного управляющего сигнала и внедрением в систему нечеткого регулятора. Все большую популярность обретают нейросетевые алгоритмы, используемые для улучшения широкого круга производственных и исследовательских процессов. В работе [9] описываются применения нейросетевых моделей и алгоритмов для АСМ, которые позволяют повысить эффективность процесса сканирования на основе характеристик изучаемых образцов. В ряде работ предлагается осуществлять нейросетевую постобработку полученных результатов контроля [10], фильтрации изображений и подавления на них артефактов [11], сжатия количества точек при сканировании, с последующей их реконструкцией [12]. Нейросетевая модель, объединяющая в себе оба подхода, была представлена авторами ранее в работе [13], она позволяет подбирать индивидуальные параметры сканирования для образцов КФК на основе параметров, описывающих их свойства и методы формирования. Наибольший интерес представляют нейронные сети, которые позволяют в режиме реального времени корректировать параметры сканирования без какого-либо присутствия человека. Ведущие компании-разработчики атомно-силовых микроскопов уже начали внедрять такие нейронные сети (НС) в свое программное обеспечение: NanoScope Analysis компании BRUKER (США) [14], интеллектуальный программный модуль SCANTRONIC™ компании NT‑MDT Spectrum Instruments (Россия) [5]. Названные модули, будучи предназначенными для большого круга пользователей, требуют для корректной работы знания свойств и характеристик исследуемых образцов, которые в рамках исследовательских лабораторий не всегда известны, что ограничивает их применимость. Поэтому в данной работе представлена нейросетевая модель для оптимизации процесса получения изображений поверхности коллоидных нано- и микроструктур методом атомно-силовой микроскопии посредством настройки параметров сканирования непосредственно при исследовании образца. Принцип модели заключается в обработке изображения, получаемого на АСМ в режиме реального времени, и корректировке параметров сканирования до получения оптимального изображения по системе обратной связи.
МЕТОДЫ И МАТЕРИАЛЫ
В качестве исследуемых коллоидных нано- и микроструктур использовались фотонно-кристаллические пленки из сферических частиц диоксида кремния и полистирола. Коллоидный раствор диоксида кремния был получен модифицированным методом Штобера на стенде управляемого синтеза коллоидных растворов. Коллоидные частицы полистирола представляли собой коммерческие стандартные образцы. Пленки были сформированы на подложках из кремния и полиэтилентерефталат методами spin-coating и вертикального вытягивания с помощью оборудования, входящего в лабораторный комплекс для получения коллоидных фотонно-кристаллических структур [15].
Контроль образцов осуществлялся на атомно-силовом микроскопе Solver NEXT компании NT-MDT Spectrum Instruments (Россия) в полуконтактном режиме. Основными варьируемыми параметрами при сканировании являлись Set Point – уровень параметра взаимодействия зонда и поверхности, поддерживаемый обратной связью при сканировании, Gain – коэффициент усиления синхронного усилителя, Rate – скорость сканирования, Amplitude – амплитуда колебаний кантилевера в полуконтактном режиме. Параметр Points – количество точек сканирования – оставался неизменным для получения и был равен 512 × 512. Разработка нейронной сети велась в среде Visual Studio Code с использованием языка Python 3.11.
Данные, полученные методом АСМ, обычно представляют собой массив данных, который может быть представлен в виде трехмерной модели. Для представления их НС все результаты сканирования сохранялись в виде двухмерных изображений поверхности с помощью встроенного программного обеспечения и представляли собой RGB-изображения размером 675 × 675 пикселей (рис.1). Каждое изображение фрагментировалось на левять частей размером 675 × 75 пикселей для имитации начального этапа сканирования. C целью сокращения объема данных без потери качества и информативности изображения были преобразованы в оттенки серого. В таком виде НС получала данные о пикселе не в виде кортежа RGB, а в качестве единичного значения, соответствующего оттенку серого.
В процессе нормализации входных данных для нормализации и получения матрицы значений от 0 до 1 все значения пикселей делились на 255. В результате независимо от природы входного числа (пиксель или значение параметра процесса) его значение всегда находилось в одинаковых пределах, что позволило получить НС с более равномерными весами. Данные о параметрах сканирования подверглись нормализации по аналогичному принципу, таким образом, чтобы значение 0 соответствовало минимальному значению параметра из обучающей выборки, а 1 – максимальному.
Задача разработки и реализации нейронной сети усложнялась необходимостью сочетать обработку изображений и параметров процесса, что привело к наличию двух входных слоев у нейронной сети. Разработанная архитектура содержит 19 слоев с суммарным количеством варьируемых параметров более 43 миллионов. Структурно НС состоит из нескольких частей, которые выполняют выделение дефектов в изображении, анализ дефектов на изображении, анализ дефектов с учетом параметров процесса, при котором было получено изображение, и корректировка.
Выделение дефектов осуществляется после того, как изображение проходит чередующиеся слои свертки и подвыборки. Для уменьшения объема информации, ускорения процесса обучения и упрощения НС изображение проходит слои подвыборки, которые сжимают изображение в четыре раза после каждого слоя. В первой части разработанной НС присутствуют входной слой, четыре слоя свертки и четыре слоя подвыборки и технический слой для преобразования матрицы (рис. 2). Результатом прохождения изображением ядра свертки является признак, в первом слое свертки присутствует восемь признаков, то есть на каждую двухмерную матрицу (изображение), поступающее на вход слоя на выходе будет четыре изображения, где выделяются искомые признаки. В каждом следующем слое количество признаков увеличивается.
После выделения признаков реализуется процесс их анализа. В этой части НС происходит классификация выявленных дефектов и оценивается их влияние на параметры процесса. Для этого используется классическая MLP (multi-layer perceptron) архитектура, состоящая из шести слоев с количеством нейронов 512, 256, 64, 4, соответственно, где 2-й и 4-й слои – обнуляющие слои DropOut. В качестве функции активации нейронов был принят гиперболический тангенс.
В последнюю часть НС подаются параметры процесса, при которых было получено изображение. Эта часть сети реализуется, как и предыдущая, на основе MLP архитектуры с количеством нейронов в слоях 32, 4, а первые два слоя являются входным слоем и техническим слоем конкатенации.
Суммарное количество связей в разработанной нейронной сети составляет 43427108 единиц. Все веса нейросетевой модели занимают около 498 Мб памяти. Изображение нейронной сети с указанием типов слоев и связей между ними показано на рис.3.
В процессе обучения нейронной сети использовался алгоритм обратного распространения ошибки. После каждого прохода по сети обратное распространение выполняет проход в обратную сторону и регулирует параметры модели (веса и смещения). Параметры, выбранные для обучения, приведены в табл.1.
Для ускорения обучения был использован метод мини-выборки, и параметры НС обновлялись после прохождения целой мини-выборки. За счет этого удалось снизить время обучения с 8,5 ч до 20 мин. Ошибка на обучающей выборке составила около 8%, на выборке валидации – около 20%, на тестовой – 8,5%.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Зависимость ошибки на обучающей выборке и ошибки на выборке валидации можно увидеть на рис.4. Ошибка падает с увеличением эпох, учитывая плавность графика можно утверждать, что гиперпараметры НС подобраны корректно, то есть нейронная сеть сходима.
Научный интерес представляет понимание того, как разработанная НС воспринимает изображение. Алгоритмически была извлечена информация, содержащая измененные нейронной сетью изображения (Рис.5). Можно заметить, что на финальном слое свертки на изображениях выделяются именно дефекты, а изображение без дефектов является менее ярким, что свидетельствует о меньшей степени активации нейронов. Изображение на рис.5 (и) уже не содержит элементов полученного на вход изображения. При этом НС выделила те участки, которые в ходе анализа посчитала наиболее важными и перевела информацию из концептуально-качественной в аналитическо-количественный формат. Уменьшение разрешения изображения связано с прохождением слоев пулинга.
Для анализа качества работы нейронной сети был выполнен анализ изображений с артефактами и без них. В обоих случаях процент ошибки составил менее 5% для каждого из параметров. В табл.2 представлены результаты этого тестирования НС.
ВЫВОДЫ
Для предупреждения появления артефактов на АСМ-изображениях нано- и микроструктур, в частности коллоидных фотонно-кристаллических пленок, рационально выполнять корректировку параметров сканирования образцов с использованием искусственного интеллекта. Хорошие результаты анализа и выявления признаков формируемых изображений показала глубокая нейронная сеть, содержащая слои свертки, подвыборки и регуляризации, дополненная сетью с архитектурой многослойного персептрона, отвечающей за анализ входных параметров (режимов) процесса. Такая модель способна выдавать качественные корректировки параметров сканирования в требуемых ситуациях. Ошибка обобщения при обработке АСМ-изображений в этом случае не превышает 5%. Полученные результаты и наработки могут быть использованы в лабораторных исследованиях, а также при разработке метрологической документации.
ИНФОРМАЦИЯ О РЕЦЕНЗИРОВАНИИ
Редакция благодарит анонимного рецензента (рецензентов) за их вклад в рецензирование этой работы, а также за размещение статей на сайте журнала и передачу их в электронном виде в НЭБ eLIBRARY.RU.
Декларация о конфликте интересов. Авторы заявляют об отсутствии конфликтов интересов или личных отношений, которые могли бы повлиять на работу, представленную в данной статье.
ЛИТЕРАТУРА / REFERENCES
Панфилова Е.В. Перспективные методы формирования планарных наноструктур // Наноинженерия. Машиностроение. 2014. № 8. C. 29–33.
Liu Y. et al. Bioinspired reflective display based on photonic crystals // Interdisciplinary Materials. 2024. Vol. 3. No. 1. PP. 54–73.
Snapp P. et al. Colloidal photonic crystal strain sensor integrated with deformable graphene phototransducer // Advanced Functional Materials. 2019. Vol. 29. No. 33. P. 1902216.
Wang Y. et al. All-optical logic gates based on hierarchical photonic crystal modulated photoluminescence of perovskite nanocrystals // Science China Technological Sciences. 2023. Vol. 66. No. 9. PP. 2735–2742.
Быков В.А. и др. Зондовая микроскопия и спектроскопия: приборы, техника и технология измерений // Взаимодействие сверхвысокочастотного, терагерцового и оптического излучения с полупроводниковыми микро- и наноструктурами, метаматериалами и биообъектами. 2019. С. 29–32.
Giessibl F.J. et al. Calculation of the optimal imaging parameters for frequency modulation atomic force microscopy // Applied Surface Science. 1999. Vol. 140. No. 3–4. PP. 352–357.
Xue B. et al. Study on effects of scan parameters on the image quality and tip wear in AFM tapping mode // Scanning: The Journal of Scanning Microscopies. 2014. Vol. 36. No. 2. PP. 263–269.
Wang Y. et al. Improving the scanning speed of atomic force microscopy at the scanning range of several tens of micrometers // Ultramicroscopy. 2013. Vol. 124. PP. 102–107.
Giergiel M. et al. AFM image analysis of porous structures by means of neural networks // Biomedical Signal Processing and Control. 2022. Vol. 71. P. 103097.
Vekinis A.A., Constantoudis V. Neural network evaluation of geometric tip-sample effects in AFM measurements // Micro and Nano Engineering. 2020. Vol. 8. P. 100057.
Kocur V. et al. Correction of AFM data artifacts using a convolutional neural network trained with synthetically generated data // Ultramicroscopy. 2023. Vol. 246. P. 113666.
Sun M. et al. Fast AFM Imaging Based on Neural Network Compressed Sensing // 2022 IEEE 24th International Workshop on Multimedia Signal Processing (MMSP). IEEE. 2022. PP. 1–5.
Panfilova E.V., Ibragimov A.R., Mozer K.V. Neural network module for tuning an atomic force microscope in the study of photonic crystal films // Journal of Physics: Conference Series. IOP Publishing. 2020. Vol. 1571. No. 1. P. 012004.
Yablon D. et al. Deep learning to establish structure property relationships of impact copolymers from AFM phase images // Mrs Communications. 2021. Vol. 11. PP. 962–968.
Панфилова Е.В., Дюбанов В.А., Ибрагимов А.Р., Шрамко Д.Ю. Лабораторный комплекс для получения коллоидных фотонно-кристаллических структур. Ч. 1 // НАНОИНДУСТРИЯ. 2024. Т. 17. № 3–4. C. 190–199. https://doi.org/10.22184/1993-8578.2024.17.3-4.190.198
Отзывы читателей
