Совершенствование методов обработки сигналов потенциометрических мультисенсорных систем для аналитического контроля жидких сред тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Белугина Регина Борисовна

• Белугина Регина Борисовна
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Белугина Регина Борисовна

РЕФЕРАТ

SYNOPSIS

ВВЕДЕНИЕ

ГЛАВА 1. ОБЗОР ЛИТЕРАТУРНЫХ ИСТОЧНИКОВ

1.1 Общие сведения о мультисенсорных системах

1.2 Потенциометрическая мультисенсорная система как прибор контроля

1.3 Традиционные методы обработки результатов регистрации сигналов потенциометрических мультисенсорных систем

1.3.1 Методы разведочного анализа данных

1.3.2 Методы классификации

1.3.3 Методы количественной оценки значений параметров жидких сред

1.4 Разнообразие жидких сред, исследуемых потенциометрическими мультисенсорными системами

1.5 Выводы по Главе

ГЛАВА 2. РЕГИСТРАЦИЯ СИГНАЛОВ ПОТЕНЦИОМЕТРИЧЕСКИХ МУЛЬТИСЕНСОРНЫХ СИСТЕМ

2.1 Описание процедуры подбора и изготовления потенциометрических сенсоров

2.2 Общая информация о методике проведения измерений потенциометрической мультисенсорной системой

2.3 Описание эксперимента 1 (лекарственные вещества)

2.3.1 Описание потенциометрической мультисенсорной системы

2.3.2 Описание исследуемых жидких сред

2.3.3 Особенности процедуры измерений

2.4 Описание эксперимента 2 (биологические материалы)

2.4.1 Описание исследуемых жидких сред

2.4.2 Описание потенциометрической мультисенсорной системы

2.4.3 Особенности процедуры измерений

2.5 Описание эксперимента 3 (растительные масла)

2.5.1 Описание потенциометрической мультисенсорной системы

2.5.2 Описание исследуемых жидких сред

2.5.3 Особенности процедуры измерений

2.6 Выводы по Главе

ГЛАВА 3. УСОВЕРШЕНСТВОВАНИЕ ПОДХОДОВ ДЛЯ РЕШЕНИЯ ЗАДАЧ РАЗВЕДОЧНОГО АНАЛИЗА СИГНАЛОВ ПОТЕНЦИОМЕТРИЧЕСКИХ МУЛЬТИСЕНСОРНЫХ СИСТЕМ

3.1 Задача кластерного анализа как один из этапов разведочного анализа данных

3.2 Исследование фармацевтических веществ потенциометрической мультисенсорной системой

3.3 Традиционный подход к разведочному анализу сигналов потенциометрических сенсоров

3.4 Современные подходы к разведочному анализу данных: разработка и апробация процедуры анализа сигналов сенсоров

3.4.1 Выбор алгоритма кластеризации данных

3.4.2 Слияние данных как инструмент повышения информативности контроля свойств объектов

3.4.3 Сравнение методов оценки корреляций между матрицами независимых переменных, полученными разными методами исследований

3.4.4 Процедура слияния данных и применение новых подходов к их анализу

3.4.5 Метрики качества кластеризации и сравнение результатов

3.5 Выводы по Главе

ГЛАВА 4. ПОВЫШЕНИЕ ТОЧНОСТИ КЛАССИФИКАЦИИ МАТЕРИАЛОВ НА ОСНОВЕ СИГНАЛОВ СЕНСОРОВ ПОТЕНЦИОМЕТРИЧЕСКИХ МУЛЬТИСЕНСОРНЫХ СИСТЕМ

4.1 Задача классификации жидких сред на основе сигналов потенциометрических сенсоров

4.2 Исследование биологических материалов потенциометрической мультисенсорной системой

4.3 Традиционный подход к классификации сигналов потенциометрических сенсоров

4.3.1 Предобработка данных

4.3.2 Оценка возможности разделения жидких сред методом главных компонент

4.3.3 Оценка возможности разделения жидких сред методом линейного дискриминантного анализа

4.4 Выбор алгоритма классификации данных

4.5 Метрики оценки качества классификации, апробация процедуры обработки сигналов сенсоров и сравнение результатов

4.6 Выводы по главе

ГЛАВА 5. УСОВЕРШЕНСТВОВАНИЕ КОЛИЧЕСТВЕННОЙ ОЦЕНКИ ЗНАЧЕНИЙ ПАРАМЕТРОВ ЖИДКИХ СРЕД НА ОСНОВЕ СИГНАЛОВ ПОТЕНЦИОМЕТРИЧЕСКИХ МУЛЬТИСЕНСОРНЫХ СИСТЕМ

5.1 Задача количественной оценки значений параметров на основе сигналов потенциометрических сенсоров

5.2 Исследование растительных масел потенциометрической мультисенсорной системой

5.3 Традиционный подход к количественной оценке значений параметров на основе сигналов потенциометрических сенсоров

5.4 Выбор алгоритма количественной оценки значений параметров

5.5 Метрики оценки качества количественной оценки значений параметров, апробация процедуры определения численных значений концентрации веществ

5.6 Выводы по Главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А. Акт о внедрении

ПРИЛОЖЕНИЕ Б

ПРИЛОЖЕНИЕ В

ПРИЛОЖЕНИЕ Г

ПРИЛОЖЕНИЕ Д

ПРИЛОЖЕНИЕ Е. Процедуры анализа результатов исследования жидких сред

потенциометрическими мультисенсорными системами

ПРИЛОЖЕНИЕ Ж. Тексты публикаций

РЕФЕРАТ

Введение диссертации (часть автореферата) на тему «Совершенствование методов обработки сигналов потенциометрических мультисенсорных систем для аналитического контроля жидких сред»

Актуальность темы исследования

Мультисенсорные системы для аналитического контроля являются относительно новым видом инструментов исследования различных жидких сред: объектов окружающей среды, пищевых продуктов и напитков, биологических жидкостей. Благодаря возможностям миниатюризации оборудования и автоматизации процесса измерений, а также простоте практического применения для контроля свойств широкого перечня жидких сред, подобные инструменты являются предметом научных исследований в разных странах.

Мультисенсорные системы представляют собой сочетание набора химических сенсоров, имеющих перекрестную чувствительность (т.е. откликающихся сразу на несколько компонентов исследуемых жидких сред), и методов обработки данных, позволяющих извлекать из этих откликов качественную и количественную информацию об анализируемых жидких средах. Наиболее широко используемым типом мультисенсорных систем являются устройства на основе потенциометрических сенсоров. Это обусловлено простотой приборной реализации метода потенциометрии и возможностью управлять спектрами чувствительности используемых потенциометрических датчиков на основе полимерных пластифицированных мембран. Потенциометрические системы были первыми предложенными в научной литературе мультисенсорными устройствами и для них в настоящее время доказана применимость к широкому перечню практических задач химического анализа жидких сред.

Регистрируемые сигналы сенсоров потенциометрических мультисенсорных систем зависят от состава анализируемых жидких сред. Следует отметить, что сигналы сенсоров имеют сложную природу, поскольку на отклик каждого сенсора могут влиять сразу несколько компонентов исследуемых жидких сред. Поэтому применение методов обработки данных к результатам измерительного контроля с использованием мультисенсорных систем является одним из важнейших этапов создания и применения таких систем.

Одним из способов повышения точности является подбор методов обработки данных. Таким образом, совершенствование методов обработки сигналов мультисенсорных систем способствует не только улучшению точностных характеристик данного метода анализа, но и позволяет решать новые задачи измерительного контроля.

Между тем, для обработки сигналов сенсоров преимущественно используются устоявшиеся подходы, которые имеют ряд ограничений, сдерживающих распространение потенциометрических мультисенсорных систем как измерительного оборудования.

При анализе жидких сред мультисенсорными системами решается три основных типа задач: разведочный анализ данных, классификация и количественная оценка значений параметров жидких сред. В рамках разведочного анализа данных изучается наличие среди анализируемых жидких сред определенных групп со схожими свойствами (кластерный анализ), устанавливается, какие именно параметры жидких сред схожи среди различных групп. При решении задачи классификации оценивается соответствие жидких сред некоторой норме либо схожесть образца среды с некоторыми заранее известными эталонами. Задачи количественной оценки значений параметров включают в себя определение концентраций компонентов в исследуемых жидких средах или определение интегральных показателей их качества.

Традиционно для анализа сигналов мультисенсорных систем используется ограниченный набор методов обработки сигналов. Как правило, в большинстве исследований разработчики используют метод главных компонент (МГК) для разведочного анализа данных, методы линейного дискриминантного анализа (ЛДА) и БШСЛ (мягкое независимое моделирование классовых аналогий) для задач классификации, метод проекций на латентные структуры (ПЛС) для количественной оценки значений параметров.

Степень разработанности темы исследования

Среди научных групп, внесших значительный вклад в формирование и развитие подходов к обработке сигналов мультисенсорных систем, можно

выделить группы Manel del Valle (университет Барселоны), Patrycja Ciosek-Skibinska (Варшавский институт), Rajib Bandyopadhyay (Джадавпурский университет), А.В. Паршиной (Воронежский государственный университет), Л.Р. Кабировой, Р.А. Зильберг и В. Н. Майстренко (Башкирский государственный университет).

Одной из ключевых проблем методов обработки сигналов потенциометрических мультисенсорных систем, ограничивающей применение данного метода для контроля свойств жидких сред, является недостаточная изученность потенциала новых методов обработки данных. Следует отметить, что большинство из опубликованных работ направлены на совершенствование методов обработки данных, которые давно применяются для измерительного контроля с использованием мультисенсорных систем, и широко известны. Поскольку результаты исследований с использованием потенциометрических мультисенсорных систем представляют собой классические матрицы с числовыми показателями откликов сенсоров, методы машинного обучения, которые были представлены как алгоритмы для работы с табличными данными, должны позволять решать задачи при работе с откликами сенсоров. Поиск новых методов обработки сигналов потенциометрических сенсоров позволит повысить точность и информативность анализа жидких сред потенциометрическими мультисенсорными системами, что является актуальной задачей для развития данного метода контроля.

Важно отметить, что повышающиеся требования к качеству изделий во многих случаях приводят к повышению требований к точности измерений параметров и характеристик как исходного сырья, так и самих изделий. Таким образом, разработка новых методов анализа сигналов потенциометрических мультисенсорных систем, способных повысить точность и информативность контроля жидких сред, является актуальной задачей.

Объект исследования - жидкие среды различной природы.

Поскольку при исследовании жидких сред часто решаются разные задачи, для демонстрации применимости современных методов машинного обучения для

обработки сигналов потенциометрических мультисенсорных систем для каждой задачи были выбраны типичные примеры объектов исследований. В области задач разведочного анализа данных применение новых методов обработки изучалось на примере лекарственных веществ. В области задач классификации новые методы тестировались на образцах биологических материалов от пациентов с диагностированным заболеванием и здоровых добровольцев. В области развития методов численной оценки значений параметров рассматривалась задача определения показателей качества растительных масел.

Предмет исследования - методы обработки сигналов потенциометрических мультисенсорных систем.

Цель исследования

Цель работы заключается в повышении точности и информативности контроля жидких сред за счет совершенствования методов обработки сигналов потенциометрических мультисенсорных систем.

Задачи исследования

Для достижения цели исследования были поставлены и решены следующие задачи:

1. Изготовить опытные образцы потенциометрических мультисенсорных систем для исследования разных типов жидких сред (образцы лекарственных веществ, биологических материалов, пищевых продуктов), провести мультисенсорные измерения и сбор данных.

2. Разработать процедуры обработки результатов исследования жидких сред потенциометрическими мультисенсорными системами для решения задач разведочного анализа данных, классификации и численной оценки значений параметров.

3. Провести экспериментальную апробацию разработанных процедур обработки результатов исследования жидких сред потенциометрическими мультисенсорными системами для задач разведочного анализа данных, классификации и численной оценки значений параметров.

4. Сравнить результаты применения разработанных процедур с традиционно применяемыми в области мультисенсорных систем методами обработки данных для задач разведочного анализа данных, классификации и численной оценки значений параметров.

Научная новизна исследования

1. Разработана и апробирована процедура анализа сигналов потенциометрической мультисенсорной системы, которая в отличие от традиционных подходов повышает информативность разведочного анализа данных, полученных для лекарственных веществ.

2. Разработана и апробирована процедура анализа сигналов потенциометрической мультисенсорной системы, которая в отличие от традиционных подходов повышает точность классификации биологических материалов.

3. Разработана и апробирована процедура анализа сигналов потенциометрической мультисенсорной системы, которая в отличие от традиционных подходов снижает ошибку количественной оценки значений параметров растительных масел.

Теоретическая значимость

Теоретическая значимость результатов диссертационной работы состоит в том, что предложены новые подходы к обработке сигналов потенциометрических мультисенсорных систем.

Практическая значимость

Практическая значимость результатов диссертационной работы состоит в том, что:

1) применение коэффициентов конгруэнтности Такера, модифицированных коэффициентов конгруэнтности Такера и матричного коэффициента корреляции позволило повысить информативность разведочного анализа данных и формализовать процедуру слияния данных, что увеличило полноту и однородность кластеризации лекарственных препаратов.

2) применение алгоритмов экстремального градиентного бустинга и голосующего классификатора позволило повысить точность классификации образцов биологических материалов на основе сигналов сенсоров потенциометрической мультисенсорной системы на 9 процентных пунктов по сравнению с традиционным подходом.

Это открывает возможности для использования потенциометрической мультисенсорной системы в качестве прибора для скрининговой диагностики заболевания.

3) применение метода опорных векторов для регрессии позволило снизить ошибку определения фосфатидов в растительных маслах с использованием мультисенсорных систем по сравнению с традиционным методом проекции на латентные структуры на 0,03 мг фосфатидов на 100 г масла.

Данный подход делает процедуру измерения содержания фосфолипидов в маслах быстрой и более точной.

Методология и методы исследования. Для решения поставленных задач применялись методы системного анализа, математической статистики, методы компьютерного моделирования и обработки результатов потенциометрических измерений алгоритмами машинного обучения, реализованными на языке программирования Python и в программном обеспечении The Unscrambles В качестве основного метода классификации данных применялись линейный дискриминантный анализ, метод экстремального градиентного бустинга и голосующий классификатор. Метод регрессии опорными векторами и метод проекции на латентные структуры были применены для количественной оценки значений параметров жидких сред. Для разведочного анализа данных использовались метод главных компонент, метод слияния данных и метод распространения близости.

Соответствие паспорту специальности

Работа соответствует п. 6 направления исследований паспорта специальности 2.2.8 — «Методы и приборы контроля и диагностики материалов, изделий, веществ и природной среды»: п. 6 - «Разработка математических

моделей, алгоритмического и программно-технического обеспечения обработки результатов регистрации сигналов в приборах и средствах контроля и диагностики с целью автоматизации контроля и диагностики, подготовки их для внедрения в цифровые информационные технологии».

Основные положения, выносимые на защиту:

1. Процедура проведения разведочного анализа сигналов потенциометрических сенсоров, включающая расчет коэффициентов конгруэнтности Такера, модифицированных коэффициентов конгруэнтности Такера и матричного коэффициента корреляции для оценки связи между данными позволяет выбрать методы контроля, объединение результатов исследований которых повышает информативность разведочного анализа данных.

2. Процедура классификации биологических материалов на основе сигналов потенциометрической мультисенсорной системы, включающая модель голосующего классификатора, позволяет увеличить точность, чувствительность и положительную прогностическую значимость контроля свойств биологических материалов на 9, 8 и 8 процентных пунктов соответственно по сравнению с традиционным алгоритмом линейного дискриминантного анализа.

3. Процедура численной оценки значений параметров, основанная на использовании метода опорных векторов для регрессии, снижает ошибку измерительного контроля свойств подсолнечных масел потенциометрической мультисенсорной системой на 0,03 мг/100 г (0,03 мг фосфатидов на 100 г масла) относительно метода проекции на латентные структуры.

Внедрение результатов диссертационной работы

Результаты диссертационной работы обладают практической значимостью и внедрены в ООО «Сенсорные Системы» при реализации расчета составов многокомпонентных смесей.

Степень достоверности результатов работы

Достоверность полученных результатов обеспечивается: - непротиворечивостью полученных в исследовании результатов данным, изложенным в других публикациях в этой области;

- применением сертифицированного оборудования (VIAVI Solutions Inc., JASCO, Bruker), а также программного обеспечения (Unscrambler) и пакетов на языке программирования Python (pandas, scikit-learn, xgboost), широко используемых в мировой практике;

- опубликованными статьями в ведущих рецензируемых изданиях, а также апробацией основных результатов на научных конференциях Всероссийского и Международного уровней.

Апробация результатов работы

Основные результаты диссертационного исследования докладывались и обсуждались на 5 международных и российских конференциях в рамках одного постерного и 4 устных докладов:

1. Международная конференция «XII Winter Symposium of Chemometrics», 2020, Саратов.

2. Конгресс молодых ученых (IX Всероссийский конгресс молодых ученых, 2020, Санкт-Петербург.

3. Международная студенческая конференция "Science and Progress", 2020, Санкт-Петербург.

4. XXII Международная научно-практическая конференция студентов и молодых ученых «Химия и химическая технология в XXI веке», 2021, Томск.

5. Международная конференция «Mendeleev 2021», 2021, Санкт-Петербург.

Личный вклад автора

Вклад соискателя состоит в постановке цели и задач исследования, разработке процедур обработки сигналов потенциометрических мультисенсорных систем. Соискателем осуществлено создание лабораторных прототипов измерительных установок, исследования объектов, а также обработка результатов регистрации сигналов потенциометрических сенсоров, формулировка научных положений, оформление полученных результатов. В научных публикациях вклад соискателя был определяющим.

Публикации

Результаты диссертационного исследования представлены в 8 печатных работах, из которых 3 представлены в рецензируемых научных изданиях, индексируемых в международной реферативной базе Web of Science/Scopus (второй и первый квартили), 5 - в материалах конференций.

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, списка сокращений, списка использованной литературы и семи приложений. Объем диссертации составляет 183 страницы с 22 рисунками и 13 таблицами. Список литературы содержит 118 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследований, проводимых в рамках данной диссертационной работы, степень разработанности темы исследований, формулируется цель, ставятся задачи работы, указаны научная новизна, теоретическая и практическая значимость, а также методы исследования, соответствие паспорту специальности, положения, выносимые на защиту, и личный вклад соискателя.

Первая глава посвящена обзору современного состояния исследований в области мультисенсорных систем и описанию их основных видов. Рассмотрены методы математической обработки данных, полученных при исследовании объектов потенциометрическими мультисенсорными системами, выявлены актуальные проблемы в данной области исследований. Продемонстрировано многообразие объектов, контроль и диагностику свойств которых можно проводить с использованием потенциометрических мультисенсорных систем. Отмечены основные преимущества потенциометрических мультисенсорных систем, к которым относятся возможность автоматизации процесса, высокая скорость анализа, простота оборудования, относительно невысокая стоимость. Показано, что неотъемлемой частью исследований потенциометрическими мультисенсорными системами в силу особенности регистрируемого сигнала является применение методов обработки данных к результатам. Рассмотрены три основных типа задач, которые могут решаться при анализе сигналов

потенциометрических мультисенсорных систем: разведочный анализ данных, классификация и оценка значений количественных параметров и описаны традиционные подходы, которые применяются для решения этих задач. Проведенный мета-анализ позволяет заключить, что в большинстве исследований для обработки сигналов потенциометрических сенсоров применяются традиционные подходы, которые имеют ряд ограничений, что не всегда позволяет решить задачу с достаточной точностью. Это тормозит развитие данного метода контроля и затрудняет его внедрение в широкую практику.

Во второй главе рассматривается процедура разработки потенциометрических мультисенсорных систем, описана процедура приготовления пластифицированных мембран и изготовления сенсоров. Описано экспериментальное получение потенциометрических сигналов сенсоров для исследованных в работе образцов. Общий вид измерительных установок, использованных в диссертационной работе, приведен на Рисунке 1.

Рисунок 1 - Схема потенциометрической мультисенсорной системы: 1 - массив потенциометрических сенсоров; 2 - инертная ячейка для исследуемого образца; 3 - магнитная мешалка; 4 - цифровой милливольтметр; 5 - персональный

компьютер с предустановленной программой для сбора и обработки результатов измерений потенциалов сенсоров

В третьей главе рассмотрены вопросы усовершенствования подходов для решения задач разведочного анализа сигналов потенциометрических мультисенсорных систем. В качестве примера задачи разведочного анализа данных выбрано исследование, в котором рассматривалась возможность идентификации происхождения лекарственного препарата на основе величин откликов сенсоров и данных, полученных слиянием потенциометрических сигналов и результатов исследований тех же образцов спектрометрическими методами. Данная задача является актуальной в связи с ростом фальсифицированных лекарственных препаратов и воспроизведенных лекарственных препаратов, эффективность действия которых может значительно отличаться от оригинального лекарственного средства. Поэтому процедура определения страны, в которой произведен препарат, и подтверждения информации, указанной на упаковке, может быть одним из этапов контроля. Рассматривается решение поставленной задачи с использованием традиционных методов разведочного анализа данных: построение и изучение графика счетов и нагрузок метода главных компонент с выделением кластеров образцов, расположенных близко друг к другу.

Предложена и описана процедура оценки связи между результатами, полученными разными методами, с целью выбора данных для дальнейшего слияния. На примере результатов потенциометрического и спектрометрического (спектроскопия ядерного магнитного резонанса, инфракрасная спектроскопия, спектроскопия в ближней инфракрасной области) методов исследований лекарственных веществ апробирована процедура оценки связи между результатами путем расчета различных коэффициентов для всех пар методов.

Подготовлены новые наборы данных, полученные путем слияния результатов исследований жидких сред. Рассчитаны модели кластеризации лекарственных веществ методом распространения близости и метрики качества кластеризации (полнота, однородность и их гармоническое среднее). Описана

процедура проведения разведочного анализа данных, полученных для образцов лекарственных веществ, повышающая информативность относительно стандартного подхода, заключающегося в рассмотрении графика нагрузок метода главных компонент и выделении групп наиболее близко расположенных на графике образцов.

В четвертой главе исследуется возможность повышения точности классификации биологических материалов путем применения современных методов машинного обучения. Рассматривается решение поставленной задачи с использованием линейного дискриминантного анализа.

Описываются современные подходы к решению задач классификации, применяемые для табличных данных. Обосновывается выбор предлагаемых методов классификации. Описывается процедура предобработки данных и построения классификационных моделей. Для оценки точности моделей использовалась кросс-валидация: исходные данные 1000-кратно делились на обучающую и тестовую выборку: 2/3 данных использовалось для обучения модели и 1/3 - для расчета качества определения класса. Впервые была показана принципиальная возможность применения экстремального градиентного бустинга и голосующего классификатора для обработки сигналов потенциометрических мультисенсорных систем, точность классификации которых составила более 70%.

Сравнение с традиционным подходом к классификации сигналов потенциометрических сенсоров показывает, что предложенный алгоритм обработки результатов регистрации сигналов позволяет повышать точность решения задачи классификации относительно общепринятого метода (линейного дискриминантного анализа) на 9 процентных пунктов.

В пятой главе исследуются вопросы повышения точности оценки значений количественных параметров исследуемых жидких сред на основе сигналов потенциометрической мультисенсорной системы путем применения современных методов машинного обучения. Для обработки сигналов применен метод проекции на латентные структуры, который традиционно используется для решения данного вида задач, а также метод опорных векторов для регрессии. Для оценки

точности количественной оценки концентрации на основе сигналов потенциометрических сенсоров использовалась поэлементная кросс валидация: каждый образец исключался из набора данных, а затем его концентрация рассчитывалась с использованием регрессионной модели, обученной на других образцах. Показана применимость метода опорных векторов для контроля свойств растительных масел. Полученные значения точности превосходят точность общепринятого метода ПЛС: среднеквадратичная ошибка определения концентрации фосфатидов при использовании метода опорных векторов ниже на 0,03 мг для диапазона концентраций от 1 до 100 мг фосфатидов на 100 г масла.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ:

В результате решения поставленных задач получены следующие научные результаты:

1. Изготовлены опытные образцы потенциометрических мультисенсорных систем, проведены мультисенсорные измерения и получены результаты оценки контролируемых свойств исследованных жидких сред.

2. Разработаны процедуры анализа результатов исследований жидких сред потенциометрическими мультисенсорными системами, которые в отличие от известных алгоритмов заключаются в:

- расчете коэффициентов конгруэнтности Такера, модифицированных коэффициентов конгруэнтности Такера и матричных коэффициентов корреляции для задач разведочного анализа данных;

- применении моделей экстремального градиентного бустинга или голосующего классификатора для задач классификации;

- применении метода регрессии опорными векторами для задач численной оценки значений параметров.

3. Проведена экспериментальная апробация разработанных процедур анализа результатов исследования жидких сред потенциометрическими мультисенсорными системами для задач разведочного анализа данных, классификации и численной оценки значений параметров.

Показано, что применение разработанных процедур:

- повышает однородность и полноту кластеризации,

- повышает точность классификации на 9 процентных пунктов по сравнению с традиционным методом линейного дискриминантного анализа,

- снижает ошибку численной оценки значений параметров на 0,03 мг фосфатидов в 100 г масла по сравнению с традиционным методом.

Систематизируя полученные результаты, можно заключить, что цель диссертационной работы, заключающаяся в повышении точности и информативности анализа жидких сред с использованием потенциометрических мультисенсорных систем на основе совершенствования методов обработки результатов измерений и контроля, достигнута.

Рекомендации по использованию результатов диссертации. Предложенные подходы к анализу данных могут быть использованы для обработки сигналов потенциометрических сенсоров.

Перспективами дальнейшего развития является исследование и разработка:

- программного комплекса для реализации предложенных методов обработки сигналов потенциометрических мультисенсорных систем;

- методов и специальных алгоритмов принятия диагностического решения для автоматизированной системы обработки и анализа сигналов потенциометрических мультисенсорных систем, обладающих высокой точностью контроля свойств.

Список литературы диссертационного исследования кандидат наук Белугина Регина Борисовна, 2023 год

- ■

. mmmmmmm

10 20 30 40 50 60 70 80

90

Age

Fig. 3. Histogram of Age. a - the distribution of ages among healthy volunteers, b - the distribution of ages among patients with bladder cancer.

succinic, and citric acids as possible biomarkers for cancer diagnostics. The sensors used in the study are sensitive to these ions and acids: S2 to carbonate ions, S3 to organic acids [48], SI 4 and S17 to ammonium, etc. The sensitivity of the sensors to carbonate ions, ammonium, and organic acids can be used to distinguish urine samples. The combination of several sensors sensitive to macro and trace elements and metabolites is a potential approach to the differentiation between ur ine samples from healthy people and patients.

Support vector machine (SVM), logistic regression (LR) and voting classifier yielded die highest classification metrics. In both cases logistic regression classified the data sets that included all the sensors with higher performance metrics; SVM algorithms yielded better results for the optimized sensors sets. Voting classifier for the optimized sensors set has better performance metrics (except for specificity and NPV), in contrast to the individual classifiers.

The comparison of the performance metrics for voting classifier and SVM gives more information about prediction errors (Fig. 4). The averaged numbers of false positives (FP), false negatives (FN), true positives (TP), and true negatives (TN) were calculated with Monte-Carlo cross-validation. Using voting classifier , we r educed the number of pr oper predictions for patients with bladder cancer and enhanced the number of proper predictions for healthy people.

The per formance metrics of the classifier s obtained with the training subsets exceeded the metrics obtained with the test subsets (Figure S3, Supplementary materials); hence, the models overfitted or learnt the relations between training samples and did not generalize data patterns [49]. The optimization of hyper-parameters and the increase of the regularization strength decrease performance metrics on the test set dramatically; ther efore, to deal with overfitting, the size of training data should be increased. Despite overfitting, support vector machine, logistic regression and voting classifier have proved the applicability of the multisensor system for distinguishing samples obtained from patients with bladder cancer- and healthy volunteers. The further development of the pr oposed approach should include the r esear ch on the urine samples obtained from the people under the age of 50 and the comparison of sensors r esponses obtained in urine samples from people suffer ing from other genitourinary diseases to assess the specificity of the approach.

The same calculations were performed for the selected group of samples. The results are presented in Table 3.

In order to evaluate possible chemical reasons behind the classification possibility with the potentiometric multisensor system, we reviewed the studies exploring various urine metabolites for cancer diagnostics.

Matsumoto and coworkers [26] have applied an electronic nose to measure volatile ammonia and r evealed that the highest sensor signals were detected in the samples obtained from the patients with ur inary tract infections, in contrast to the samples from the patients with urolithiasis, bladder cancer, and healthy people. Thus, the change of ammonia level can show an inflammation that is associated with the development and progression of cancer. In addition, some bacter ia can increase the level of urease (that catalyzes the urea hydrolysis into carbon dioxide and ammonia) and can cause ur inary tr act and gastro-duodenal diseases [42-44]. Many studies [45-47] have described lactic,

4. Conclusions

Electr onic tongue is a simple, por table and affor dable analytical instrument. The development of a non-invasive screening procedure for bladder cancer analysis using the arrays of potentiometric chemical sensors can increase the quality of ear ly diagnosis and contribute to the reduction of mortality. The present r eport demonstr ates a good promise for distinguishing between people with bladder cancer and healthy people via potentiometric multisensor system and machine learning algorithms. Support vector machine (SVM) and voting classifier yielded the highest performance metrics in classification of the data sets for different age groups. Fur ther studies with extended number of representative samples should be performed to confirm the validity of these findings.

Table 3

Performance metrics of applied algorithms for classification of the data set included people over 50 with all sensors (all) and only optimized set (optimized) as features.

Ail Optimized set

LR RF SVM XGBC VC LR RF SVM XGBC VC

Accuracy 72 68 67 70 72 73 71 75 72 76

Sensitivity 75 71 70 71 75 77 73 77 72 80

PPV 75 71 70 71 75 77 73 77 72 80

NPV 71 69 66 71 70 72 72 75 74 75

Specificity 71 70 66 72 70 72 73 76 75 75

|VC ]SVM

TP TN

Predicted result

|vc ]svm

TP TN FP FN

Predicted result b

Fig. 4. The comparison of the number of predicted cases estimated with Monte-Carlo cross-validation on the test sets (30% of the whole data set) for a) the all samples with the optimized sensor set, b) the samples obtained from the people over 50. SVM - support vector machine, VC - voting classifier. The average values of TP, TN, FP, and FN obtained for 1000 repetitions are shown.

Declaration of competing interest

The authors declare that they have no known competing financial interests or personal relationships that could have appeared to influence the work reported in this paper.

Acknowledgements

This study was supported by the UMNIK program from Foundation for Assistance to Small Innovative Enterprises, Grant 0063076.

Appendix A. Supplementary data

Supplementary data to this article can be found online at https://doi.

org/10.1016/j. talanta. 2021.122696. Credit author statement

Regina Belugina: Investigation, Formal analysis, Visualization, Writing - original draft. Evgenii Karpushchenko: Investigation, Resources. Aleksandr Sleptsov: Investigation, Resources. Vladimir Pro-toshchak: Resources, Methodology, Investigation. Andrey Legin: Resour ces, Writing - review & editing. Dmitry Kirsanov: Writing - review & editing, Project Administration, Supervision.

References

[1] Cancer Today, International Agency for Research on Cancer, 2020. Accessed May 2021, h t tps:/ / gco. iar c. fr/ tod ay/e xplore.

[2] T.W. Flaig, P.E. Spiess, N. Agarwal, R. Bangs, S.A. Boorjian, M.K. Buyyounouski, S. Chang, T.M. Downs, J.A. Efstathiou, T. Friedlander, R.E. Greenberg, K.A. Guru, T. Guzzo, H.W. Herr, J. Hoflman-Censits, C. Hoimes, B.A. Inman, M. Jimbo. A. K. Kader, S.M. Lele, A. Johnson-Chilla, Bladder cancer, version 3.2020, NCCN clinical practice guidelines in oncology, J. Natl. Compr. Cane. Netw. : J. Nad. Compr. Cane. Netw. 18 (3) (2020) 329-354. lutp:: do;.org/10.6004/

jneen .2020.0011.

[3] M.C.S. Wong, F.D.H. Fung, C. Leung, W.WL Cheung, W.B. Goggins, C.F. Ng, The global epidemiology of bladder cancer: a joinpoint regression analysis of its incidence and mortality trends and projection, Jan 18, Sci. Rep. 8 (1) (2018) 1129,

1038, =41598-018-19199-z. PMID: 29348548: PMCID:

PMC5773684.

[4] JA. Hanley, B.J. McNeil, The meaning and use of the area under a receiver operating characteristic (ROC) curve, Apr, Radiology 143 (1) (1982) 29-36, https:/ /doi.org/10.1148/radiologv. 143.1.7063747. PMID: 7063747.

[5] R. Trevethan, Sensitivity, specificity, and predictive values: foundations, pliabilities, and pitfalls in research and practice, Nov 20, Front. Publ. Health 5 (2017) 307, https://doi.org/10.3389/fpubh.2017.00307. PMID: 29209603; PMCID: PMC5701930.

[6] B.J. Schmitz-Dráger, M. Droller, V.B. Lokeshwar, Y. Lotan, MA, Hudson, B.W. van Rhijn, M.J. Marberger, Y. Fradet, G.P. Hemstreet. P.U. Malmstrom, O. Ogawa, P. I. Karakiewicz, S.F. Shariat, Molecular markers for bladder cancer screening, early diagnosis, and surveillance: the WHO/ICUD consensus, Urol. Int. 94 (1) (2015) 1-24, http i 59/000369357. Epub 2014 Dec 10. PMID: 25501325.

[7] Y. Lotan, C.G. Roehrborn, Sensitivity and specificity of commonly available bladder tumor markers versus cytology: results of a comprehensive literature review and meta-analyses, Jan, Urology 61 (1) (2003) 109-118, https: doi.org, 10.1016/s0090-4295(02)02136-2. discussion 118 PMID: 12559279.

[8] J.E. Araújo, H. López-Fernández, M.S. Diniz, P.M. Baltazar, L.C. Pinheiro, F.C. da Silva, M. Carrascal, P. Videira, H.M. Santos, Jl. Capelo, Dithiothreitol-based protein equalization technology to unravel biomarkers for bladder cancer, Apr 1, Talanta 180 (2018) 36-46, https:/7doi.org/10.1016 J.talanta.2017.1 1.063. Epub 2017 Dec 6. PMID: 29332824.

[9] J. Jacyna, R Wawrzyniak, S. Balayssac, V. Gilard. M. Malet-Martino, A. Sawicka, M. Kordalewska, L. Nowicki, E. Kurek, E. Bulska. M. Patejko, M. Markuszewski, P. Gutknecht, M. Matuszewski, J. Siebert, R. Kaliszan, M.J. Markuszewski, Urinary metabolomic signature of muscle-invasive bladder cancer: a mukiplatform approach, Sep 1, Talanta 202 (2019) 572-579, https://doi.0rg/lO.lOl6/j. talanta.2019.05.039. Epub 2019 May 9. PMID: 31171223.

[10] S.S. Dinges, A. Hohm, L.A. Vandergrift, J. Nowak, P. Habbei, I.A. Kaltashov, L. L. Cheng, Cancer metabolomic markers in urine: evidence, techniques and recommendations, Jun, Nat Rev. Urol. 16 (6) (2019) 339-362, https://doi.org/ 10.1038/s41585-019-0185-3. PMID: 31092915.

[11] F.A. Yafi, F. Brimo, J. Steinberg, A.G. Aprikian, S. Tanguay, W. Kassouf, Prospective analysis of sensitivity and specificity of urinary cytology and other urinary biomarkers for bladder cancer, Feb, Urol. Oncol. 33 (2) (2015), https: /doi. org/10.1016/j.urolonc.2014.06.008, 66.e25-31 Epub 2014 Jul 15. PMID: 25037483.

[12] H.M. Huttanus, T. Vu, G. Guruli, A. Tracey, W. Carswell, N. Said, P. Du, B. G. Parkinson, G. Orlando, J.L. Robertson, R.S. Senger, Raman chemometric urinalysis (Rametrix) as a screen for bladder cancer, Aug 21, PloS One 15 (8) (2020). e0237070. https: do .org, 10.1 371/joumal.pone.0237070. PMID: 32822394; PMCID: PMC7446794.

[13] D. Hu, X. Xu, Z. Zhao, C. Li, Y. Tian, Q. Liu, B. Shao, S. Chen, Y. Zhao, L. Li, H. Bi, A. Chen, C. Fu, X. Cui, Y. Zeng, Detecting urine metabolites of bladder cancer by surface-enhanced Raman spectroscopy, Feb 15, Spectrochim. Acta MoL Biomol. Spectrosc. 247 (2021) 119108, bttpK doi.org/10.1016/j.saa.2020.119108. Epub 2020 Oct 24. PMID: 33161263.

[14] X. Cui, T. Liu, X. Xu, Z. Zhao, Y. Tian, Y. Zhao, S. Chen, Z. Wang, Y. Wang. D. Hu, S. Fu, G. Shan, J. Sun, K. Song, Y. Zeng, Label-free detection of multiple genitourinary cancers from urine by surface-enhanced Raman spectroscopy, Oct 15, Spectrochim. Acta Mol. Biomol. Spectrosc. 240 (2020) 118543, https: 'doi. org/10.1016/j.sao. 2020.118543. Epub 2020 May 28. PMID: 32526394.

[15] Y. Si, L. Li, B. He, J. Li, A novel surface-enhanced Raman scattering-based ratiometric approach for detection of hyaluronidase in urine, Aug 1, Talanta 215 (2020) 120915, https: doi.org 10.1016/j.talanta.2020.120915. Epub 2020 Mar

14. PMID: 32312457.

[16] X. Liu, M. Zhang, X. Cheng, X. Liu, H. Sun, Z. Guo, J. Li, X. Tang, Z. Wang, W. Sun, Y. Zhang, Z. Ji, LC-MS-Based plasma metabolomics and lipidomics analyses for differential diagnosis of bladder cancer and renal cell carcinoma, May 15, Front. OncoL 10 (2020) 717, https: doi.org 10.3389/fonc.2020.007 17. PMID: 32500026; PMCID: PMC7243740.

[17] H. Heers, J.M. Gut, A. Hegele, R. Hofaiann, T. Boeselt, A. Hattesohl, A.R. Koczulla, Non-invasive detection of bladder tumors through volatile organic compounds: a pilot study with an electronic nose, Feb, Anticancer Res. 38 (2) (2018) 833-837, https://doi.org/10.21873/anticanres.12291. PMID: 29374709.

[18] T. Khalid, P. White, B. De Lacy Costello, R. Persad, R. Ewen, E. Johnson, C. S. Probert, N. Ratcliffe, A pilot study combining a GC-sensor device with a statistical model for the identification of bladder cancer from urine headspace, Jul 8. PloS One 8 (7) (2013), e69602, https: doi.org uil.pone.0069602. PMID: 23861976; PMCID: PMC3704674.

[19] S. Zhu, S. Corsetti, Q. Wang, C. Li, Z. Huang, G. Nabi, Optical sensory arrays for the detection of urinary bladder cancer-related volatile organic compounds, Oct,

J. Biophot. 12 (10) (2019), e201800165, https://doi.org/10.1002/

jbio.201800165. Epub 2019 Jul 28. PMID: 30168296; PMCID: PMC7065633.

[20] C.M. Weber, M. Cauchi. M. Patel, C. Bessant, C. Turner, L.E. Britton, C.M. Willis, Evaluation of a gas sensor array and pattern recognition for the identification of bladder cancer from urine headspace, Jan 21, Analyst 136 (2) (2011) 359-364, https: doi.org 1 0.1 039 c0an00382d. Epub 2010 Oct 22. PMID: 20967397.

[21] A.S. Bannaga, F. Kvasnik, K Persaud, R.P. Arasaradnam, Differentiating cancer types using a urine test for volatile organic compounds, Dec 3, J. Breath Res. 15 (1) (2020), 017102, https://doi.org/10.1088/1752-7163/abc36b. PMID: 33086204.

[22] P.F. Bassi, L. Gianfrancesco, Di, M. Ragonese, E. Sacco, G. Palermo, R. Arboretti, R. Ceccato, L. Salmaso, M. Racioppi, Improved non-invasive diagnosis of bladder cancer: a large pilot study with electronic nose, January 19, Eur. Urol. Open Sci. (2020) e79, https://doi.org/10.1016/s2666-1683(20)30070-7.

[23] H. Smyth, D. Cozzolino, Instrumental methods (spectroscopy, electronic nose, and tongue) as tools to predict taste and aroma in beverages: advantages and limitations, Mar 13, Chem. Rev. 113 (3) (2013) 1429-1440, https://doi.org/

10.1021/cr300076c. Epub 2012 Dec 20. PMID: 23256680.

[24] A.D. Wilson, M. Baietto, Applications and advances in electronic-nose technologies, Sensors 9 (7) (2009) 5099-5148, ht 10>.3390/s90705099. Epub 2009 Jun 29. PMID: 22346690; PMCID: PMC3274163.

[25] Y. Vlasov, A. Legin, A. Rudnitskaya, Electronic tongues and their analytical application, Anal. Bioanal. Chem. 373 (3) (2002 Jun) 136-146, https://doi.org/ 10.1007/s00216-002-1310-2. Epub 2002 May 4. PMID: 12043015.

[26] K Matsumoto, Y. Murakami, Y. Shimizu, T. Hirayama, W. Ishikawa, M. Iwamura, Electronic nose to distinguish bladder cancer by urinary odour feature: a pilot study, Cane. Biomarkers 28 (1) (2020) 33-39, https doi.org/T0.3233/CBM-190466. PMID: 32176623.

[27] M. Bernabei, G. Pennazza. M. Santonico, C. Corsi, C. Roscioni, R. Paolesse,

C. Natale, A. D'Amico, A preliminary study on the possibility to diagnose urinary tract cancers by an electronic nose, Sensor. Actuator. B Chem. 131 (2008) 1-4, https://doi.org/10.1016/J.SNB.2007.12.030.

[28] A. Domenech-Carbo, J.L. Pontones, C. Domenech-Casasus, J. Artes, S. Villaroya,

D. Ramos, Electrochemical detection and screening of bladder cancer recurrence using direct electrochemical analysis of urine: a non-invasive tool for diagnosis, Sensor. Actuator. B Chem. 265 (2018) 346-354, https://doi.Org/10.1016/j. snb. 2018.03.048.

[29] L. Lvova, E. Martinelli, F. Dini, A. Bergamini, R. Paolesse, C. Di Natale, A. D'Amico, Clinical analysis of human urine by means of potentiometric Electronic tongue, Jan

15, Talanta 77 (3) (2009) 1097-1104, https://doi.0rg/lO.lOl6/j. talanta.2008.08.021. Epub 2008 Sep 2. PMID: 19064097.

[30] I. Yaroshenko, D. Kirsanov, L. Kartsova, A. Sidorova, I. Borisova, A. Legin, Determination of urine ionic composition with potentiometric multisensor system, Jan, Talanta 131 (2015) 556-561, https: doi.org, 10.1016/j.talanta.2014.08.030. Epub 2014 Aug 20. PMID: 25281140.

[31] L. Breiman, Random forests, Mach. Learn. 45 (2001) 5-32, https://doi.org/ 10.1023/A:l 010933404324.

[32] T. Chen, C. Guestrin, XGBoost: a scalable tree boosting system, in: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM, New York, NY, USA, 2016, pp. 785-794, https://doi.org/

10.1145/2939672.2939785.

[33] R.-E. Fan, K.-W. Chang, C.-J. Hsieh, X.-R. Wang, C.-J. Lin, LIBLINEAR: a library for large linear classification, J. Mach. Learn. Res. 9 (Aug) (2008) 1871-1874, https: doi. org/10.1145/1390681.1442794.

[34] R. Tibshirani. Regression shrinkage and selection via the Lasso, J. Roy. Stat. Soc. B. 58 (1996) 267-288.

[35] QS. Xu, Y.Z. Liang, Monte Carlo cross validation, Chemometr. Intell. Lab. Syst. 56 (2001) 1-11, https://doi.org/T0.1016/S0169-7439(00)00122-2.

[36] Data structures for statistical computing in python. McKinnev, in: Proceedings of the 9th Python in Science Conference, vol. 445. 2010.

[37] Pedregosa. et al.. Scikit-learn: machine learning in Python. JMLR 12 (2011) 2825-2830.

[38] L. Tolosi, T. Lengauer, Classification with correlated features: unreliability of feature ranking and solutions, Bioinformatics 27 (14) (2011 Jul 15) 1986-1994,

https: doi.org 10.1093/bioinformatics/btr300. Epub 2011 May 16. PMID: 21576180.

[39] K. Auro, A. Joensuu, K Fischer, J. Kettunen, P. Salo, H. Mattsson, M. Niironen, J. Kaprio, J.G. Eriksson, T. Lehtimaki, 0. Raitakari, A. Jula, A. Tiitinen,

M. Jauhiainen, P. Soininen, AJ. Kangas, M. Kahonen, A.S. Havulinna, M. Ala-Korpela, V. Salomaa, A. Metspalu, M. Perola, A metabolic view on menopause and ageing, Aug 21, Nat. Commun. 5 (2014) 4708, https://doi.org/10.1038 ncomms5708. PMID: 25144627.

[40] M.J. Rist, A. Roth, L. Frommherz, C.H. Weinert, R. Krüger, B. Merz, D. Bunzel, C. Mack, B. Egert, A. Bub, B. Gorling, P. Tzvetkova, B. Luy, I. Hoffmann, S.

E. Kulling. B. Watzl, Metabolite patterns predicting sex and age in participants of the Karlsruhe Metabolomics and Nutrition (KarMeN) study, Aug 16, PloS One 12 (8) (2017), eO 183228, http:: doi.org/10.1371/journal.pone.0183228. PMID: 28813537; PMCID: PMC5558977.

[41] C.M. Skipsky, K.N. Rankin, J. Wagner, H. Fu, D. Chang, A.M. Weljie, E.J. Saude, B. Lix, D.J. Adamko, S. Shah, R. Greiner, B.D. Sykes, T.J. Marrie, Investigations of the effects of gender, diurnal variation, and age in human urinary metabolomic profiles, Sep 15, Anal. Chem. 79 (18) (2007) 6995-7004, https://doi.org/10.1021/ ac0708588. Epub 2007 Aug 17. PMID: 17702530.

[42] R.A. Burne, Y.Y. Chen, Bacterial ureases in infectious diseases, Apr, Microb. Infect. 2 (5) (2000) 533-542, https:/, doi.org.TO. 1016/sl286-4579(00)00312-9. PMID: 10865198.

[43] L.E. Nicolle, Catheter associated urinary tract infections, Antimicrob. Resist. Infect. Contr. 3 (2014) 23, https://doi.Org/10.l 186/2047-2994-3-23.

[44] D. Mora, S. Arioli, Microbial urease in health and disease, PLoS Pathog. 10 (12) (2014), el004472, https: doi.org/10.1371/journal.ppat. 1004472.

[45] KK. Pasikanti, K Esuvaranathan, Y. Hong, P.C. Ho, R. Mahendran, L. Raman Nee Mani, E. Chiong, E.C. Chan, Urinary metabotyping of bladder cancer using two-dimensional gas chromatography time-of-flight mass spectrometry, Sep 6,

J. Proteome Res. 12 (9) (2013) 3865-3873, https: ,7doi.org/10.1021. pr4000448. Epub 2013 Aug 7. PMID: 23885889.

[46] B.M. Wittmann, S.M. Stirdivant, M.W. Mitchell, J.E. Wulff, J.E. McDunn, Z. Li, A. Dennis-Barrie, B.P. Neri, M.V. Milburn, Y. Lotan, R.L. Wolfert, Bladder cancer biomarker discovery using global metabolomic profiling of urine, Dec 26, PloS One 9 (12) (2014), el 15870, bttpa doi.org/10.1371 /journal.pone.0115870. PMID: 25541698: PMCID: PMC4277370.

[47] S. Srivastava, R. Roy, S. Singh, P. Kumar, D. Dalela. S.N. Sankhwar, A. Goel, A. A. Sonkar, Taurine - a possible fingerprint biomarker in non-muscle invasive bladder cancer: a pilot study by 1H NMR spectroscopy, Cane. Biomarkers 6 (1) (2010) 11-20, http:: doi.org/10.3233/CBM-2009-0115. PMID: 20164538.

[48] D.O. Kirsanov, A.V. Legin, A.P. Kulikova, E.N. PoTshin, YuG. Vlasov, Polymeric sensors for determination of anions of organic acids, Russ. J. Appl. Chem. 80 (5) (2007) 799-804, https://doi.Org/10.l 134/S1070427207050205.

[49] Cunningham P., Delany S.J. Underestimation Bias and Underfitting in Machine Learning. In: Heintz F., Milano M., O'Sullivan B. (eds) Trustworthy Al - Integrating Learning, Optimization and Reasoning. TAILOR 2020. 2021 Lecture Notes in Computer Science, vol vol. 12641. Springer, Cham, http:: doi.org IU. I 007/9783-030-73959-1.2.