Эволюционные методы оптимизации для автоматической настройки гиперпараметров тематических моделей с аддитивной регуляризацией тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Ходорченко Мария Андреевна

• Ходорченко Мария Андреевна
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Ходорченко Мария Андреевна

Оглавление

Реферат

Synopsis

ВВЕДЕНИЕ

ГЛАВА 1. Обзор предметной области

1.1 Введение в тематическое моделирование

1.2 Измерение качества тематических моделей

1.3 Алгоритмы оптимизации и их использование для подбора гиперпараметров моделей машинного обучения

1.4 Использование суррогатных моделей

1.5 Выводы по главе

ГЛАВА 2. Эволюционный метод настройки гиперпараметров

тематической модели с аддитивной регуляризацией

2.1 Формализация стратегии обучения

2.2 Разработка функции оценки качества тематической модели

2.2.1 Наборы данных используемых в экспериментальных исследованиях

2.2.2 Эксперимент по сравнению локальных оценок качества

2.2.3 Эксперимент по сравнению локальных и глобальных

оценок качества

2.3 Алгоритм оптимизации

2.4 Экспериментальные результаты эффективности предложенного эволюционного метода

2.5 Выводы по главе

ГЛАВА 3. Методы суррогатного моделирования для

ускорения работы эволюционного алгоритма

3.1 Суррогатное моделирования для ускорения поиска

3.2 Экспериментальные исследования модификации эволюционного алгоритма с суррогатами

3.3 Выводы по главе

ГЛАВА 4. Реализация и практическое применение

оптимизированных моделей

4.1 Реализация фреймворка для оптимизации тематических

моделей, основанных на аддитивной регуляризации

4.2 Практическая применимость оптимизированных тематических моделей

4.2.1 Применение оптимизированной модели при решении

задачи генерации рекламы

4.2.2 Применение оптимизированной модели для извлечения характеристик автомобиля из отзывов владельцев

4.2.3 Применение оптимизированной модели для извлечения

тем, связанных с жилищно-коммунальными проблемами

4.3 Выводы по главе

ЗАКЛЮЧЕНИЕ

Список сокращений и условных обозначений

Словарь терминов

Список литературы

Список иллюстративного материала

Список рисунков

Список таблиц

Тексты публикаций

173

Введение диссертации (часть автореферата) на тему «Эволюционные методы оптимизации для автоматической настройки гиперпараметров тематических моделей с аддитивной регуляризацией»

Реферат

Общая характеристика диссертации

Актуальность темы. С каждым годом увеличиваются объемы данных, и растет потребность в их быстрой обработке для разработки интеллектуальных бизнес-продуктов. К одному из типов исползуемых данных относятся тексты, которые генерируются в существенном объеме и их достаточно легко собрать. Однако их обработка затрудняется отсутствием явной разметки и, зачастую, неструктурированностью, что ведет к необходимости применения методов обучения без учителя, таких как тематическое моделирование. В России вопросами разработки тематических моделей и оценкой их качества занимаются научные школы К. В. Воронцова, С. Н. Кольцова, в мире - школы Т. Хоффмана, Д. Блея, А.Б. Диенг, К. Тан, П. Гупта, Р Ванг.

Несмотря на существование большого количества методов и модификаций для решения задач тематического моделирования, остается необходимость в их правильном выборе для конкретного текстового корпуса со своими статистическими характеристиками. Наиболее гибким и универсальным подходом к тематическому моделированию является аддитивная регуляризация (АИТМ), позволяющая конфигурировать желаемые характеристики путем задания ре-гуляризаторов и их гиперпарметров. Настроенная модель способна повторить поведение таких общеизвестных моделей как латентное размещение Дирихле (ЬЭА) и вероятностный латентный семантический анализ (РЬБА), а также обеспечивать высокое качество, сравнимое с нейронными моделями.

Задача подбора гиперпараметров моделей с аддитивной регуляризацией сопровождается следующими трудностями: 1) разнообразием настраиваемых гиперпараметров в связи с гибкостью АИТМ, что требует привлечения высококвалифицированного специалиста для ручной настройки моделей; 2) отсутствием эффективной (сильно коррелирующей с человеческой) оценки качества, учитывающей как локальные (на уровне получаемых распределений и отдельных документов), так и глобальные (на уровне тем) характеристики

настроенной модели, что особенно актуально для АКТЫ и нейронных моделей; 3) отсутствием развитого аппарата по оптимизации моделей АКТЫ, в т.ч. в связи с проблемой (2); 4) существенным временем обучения моделей на корпусах большого объема, что недопустимо при ограниченных ресурсах.

Существующие решения для обучения и оптимизации моделей с аддитивной регуляризацией, обладают высокой гибкостью и производительностью. Однако, их практическое использование сопряжено с необходимостью грамотного выбора набора подходящих регуляризаторов, их гиперпараметров и очередности применения, которые в том числе могут быть уникальны для конкретного обрабатываемого корпуса. Эта деятельность замедляет процесс разработки модели и требует наличия достаточной квалификации у пользователя. Таким образом, приоритетными задачами являются разработка комплексного подхода к представлению гиперпараметров, обучению модели и выбору функции качества, а также ускорение настройки за счет замены этой функции суррогатной.

Целью работы является улучшение качества и ускорение процесса тематического моделирования для моделей, основанных на аддитивной регуляризации, путем оптимизации гиперпараметров с помощью эволюционных вычислений.

Для достижения указанной цели определен следующий ряд задач:

1) анализ предметной области, сравнение алгоритмов оптимизации и суррогатных моделей с целью обоснования выбора ТМ, методов оценки качества и перспективного алгоритма настройки, вместе со способом уменьшения времени его работы;

2) разработка функции измерения качества ТМ;

3) разработка и экспериментальные исследования эволюционных методов оптимизации ТМ, в т.ч. с адаптацией аппарата суррогатного моделирования функции качества ТМ для уменьшения времени оптимизации;

4) разработка библиотеки по оптимизации ТМ с возможностью применения суррогатного моделирования функции качества ТМ.

Объект исследования - процесс подбора оптимальных гиперпараметров тематической модели для решения задач анализа текстовых данных.

Предмет исследования - методы автоматического подбора гиперпараметров тематических моделей.

Научная новизна работы определяется тем, что:

1) оптимизация стратегии обучения реализуется с помощью аппарата генетического моделирования, что позволяет получать решение задачи с высоким качеством по заданной метрике;

2) процесс подбора гиперпараметров моделей с аддитивной регуляризацией, за счет включения в него аппарата суррогатного моделирования оценки качества генерируемых в процессе оптимизации вариантов решений, позволяет сокращать производимый объем вычислений без потери в точности.

Теоретическая значимость работы состоит в развитии методов тематического моделирования посредством улучшения подходов к оптимизации гиперпараметров тематических моделей с помощью эволюционного моделирования и машинного обучения. Разработанные методы оптимизации можно переносить и на другие модели, гиперпараметры которых представлены смесью из дискретных и непрерывных величин.

Практическая значимость результатов диссертационной работы состоит в решении задачи автоматизации настройки гиперпараметров тематических моделей, основанных на аддитивной регуляризации с помощью разработанной библиотеки, содержащей следующие модули:

— модуль эволюционной оптимизации тематических моделей для подбора наилучших гиперпараметров при обработке корпуса текстовых документов;

— модуль суррогатного моделирования для ускорения процесса подбора гиперпараметров путем сокращения вычислений функции качества.

Результаты работы внедрены в процессы анализа кандидатов на трудоустройство в компанию ООО «ФРЭНДВОРК» и в разработанный сервис подбора автомобилей Саг4И:, а также имеют практическое применение, описанное в

[3,5]._

1саг4и.арр

На защиту выносятся:

1) метод автоматической настройки гиперпараметров тематических моделей с аддитивной регуляризацией на основе генетического алгоритма и представления процесса обучения как многоэтапной стратегии изменения гиперпараметров;

2) метод сокращения времени поиска гиперпараметров тематических моделей при их автоматической настройке на основе суррогатной модели оценки качества.

Апробация результатов работы. Основные результаты докладывались на следующих конференциях:

1) Всероссийский конгресс молодых ученых Университета ИТМО, 2022 г., Университет ИТМО, Санкт-Петербург.

2) 28th International Conference on Computational Linguistics: COLING, 2020 г., онлайн;

3) Всероссийский конгресс молодых ученых Университета ИТМО, 2020 г., Университет ИТМО, Санкт-Петербург.

4) 15th International Conference on Hybrid Artificial Intelligence Systems: HAIS, 2020 г., онлайн;

5) XLIX научная и учебно-методическая конференция Университета ИТМО, 2020 г., Университет ИТМО, Санкт-Петербург.

6) 9th International Young Scientists Conference in Computational Science: YSC, 2020 г., онлайн.

7) Всероссийский конгресс молодых ученых Университета ИТМО, 2019 г., Университет ИТМО, Санкт-Петербург.

8) 7th International Young Scientists Conference in Computational Science: YSC, 2018 г., Foundation for Research and Technology (FORTH), Греция.

Достоверность научных достижений, выводов и практических рекомендаций полученных в диссертации, обеспечивается корректным обоснованием постановок задач, точной формулировкой критериев, а также подкрепляется результатами экспериментов по использованию предложенных в диссертации методов и их анализом.

Соответствие паспорту специальности. В соответствии с паспортом специальности 1.2.1 - «Искусственный интеллект и машинное обучение» диссертация относится к следующим областям исследований:

п. 4 - «Разработка методов, алгоритмов и создание систем искусственного интеллекта и машинного обучения для обработки и анализа текстов на естественном языке, для изображений, речи, биомедицины и других специальных видов данных» - в части улучшения качества тематических моделей для обработки массивов текстовых данных;

п. 16 - «Исследования в области специальных методов оптимизации, сложность и элиминации перебора, снижения размерности» - в части разработки эволюционного метода оптимизации гиперпараметров тематических моделей, основанных на аддитивной регуляризации, а также в части разработки методов использования суррогатных моделей.

Внедрение результатов работы. Результаты исследования были использованы при выполнении проектов: соглашение №20-11-20270 от 05/28/2020 «Разработка комплекса методов построения вопросно-ответных систем на основе предметно-ориентированного ядра и усвоения знаний из неоднородных источников», проект Университета ИТМО «Разработка методов извлечения информации для интеллектуальных ассистентов из разнородных источников неструктурированных и полуструктурированных данных на основе графов знаний и методов машинного обучения». Также имеется акт о внедрении в процесс анализа и ранжирования резюме кандидатов на трудоустройство в компанию ООО «ФРЭНДВОРК».

Публикации. Основные результаты по теме диссертации изложены в 6 публикациях, в том числе 4, входящих в базы Scopus и Web of Science, и 1 статье, опубликованной в журнале уровня Q1. Также имеется 2 свидетельства о государственной регистрации программ для ЭВМ. Личный вклад автора.

Из работ, выполненных в соавторстве, в диссертацию включены результаты, соответствующие личному вкладу автора. В том числе личный вклад автора заключается, в публикации [2, 6] в разработке способа представления гиперпара-

метров тематический модели и учета возможности ее итеративного обновления, также лично автором была разработана метрика на основе когерентности и предложена модификация генетического алгоритма, экспериментально показывающая статистически значимое улучшение модели по предложенной метрике; в работе [1] - в использовании суррогатного моделирования для ускорения оптимизации. В работе [4] автором производилось исследование метрик качества и постановка вычислительных экспериментов. В работах [3, 5] автор участвовал в постановке задач и экспериментальных исследований, а также в разработке тематических моделей.

Вклад соавторов в работах заключается в следующем:

[1] - Бутаков и Терешкин участвовали в модификации фреймворка для экспериментальных исследований с целью использования irace для метаоптимизации. Бутаков принимал участие в интерпретации результатов с точки зрения их статистической значимости. Сохин описал важность использования суррогатных моделей для ускорения оптимизации.

[2] - Бутаков и Сохин участвовали в постановке экспериментальных исследований. Бутаков и Терешкин обеспечили производительность фреймворка для проведения экспериментов.

[3] - Замиралов провел вычислительные эксперименты по классификации жилищно-коммунальных проблем и обогащению векторов BERT на основе результатов, полученных посредством моделей тематического моделирования, подготовленных автором. Насонов описал важность задачи работы с множеством источников данных для определения городских проблем.

[4] - Бутаков описал важность задачи корректного подбора метрики при работе с тематическими моделями.

[5] - Невежин и Бутаков предложили метод использования тематических моделей для улучшения работы генератора рекламы, определили методологию проведения экспериментов и провели необходимые расчеты. Петров и Насонов участвовали в подготовке и обработке набора данных.

Структура и объем диссертации. Диссертационная работа состоит из введения, заключения, четырех глав, списка сокращений и условных обозна-

чений и списка использованной литературы (109 источников). Содержит 106 страниц текста, включая 33 рисунка и 12 таблиц.

Заключение диссертации по теме «Другие cпециальности», Ходорченко Мария Андреевна

ЗАКЛЮЧЕНИЕ

В рамках диссертационной работы были разработаны методы автоматической настройки тематических моделей с аддитивной регуляризацией. Предложенные методы позволяют существенно сокращать время работы специалиста по анализу данных путем уменьшения работ по подбору гиперпараметров тематических моделей.

В ходе выполнения диссертационной работы получены следующие результаты, обладающие научной и практической значимостью:

— Произведен анализ предметной области, обоснован выбор моделей с аддитивной регуляризацией как наиболее перспективных в связи с их гибкостью благодаря расширенной системе регуляризаторов и простоте обучения, рассмотрены различные типы метрик измерения качества и их специфика, проведено сравнение алгоритмов оптимизации.

— Формализована постановка задачи настройки тематических моделей, подобрана и экспериментально обоснована метрика качества решения.

— Разработана технология настройки гиперпараметров тематических моделей с аддитивной регуляризацией, включая реализацию эволюционного подхода и метода использования суррогатных моделей.

— Выполнены экспериментальные исследования, подтверждающие эффективность разработанных методов, в том числе при решении практических задач.

— Разработана библиотека по оптимизации тематических моделей в которой реализованы эволюционая настройка и суррогатное моделирование.

Программная реализация разработанных методов в виде библиотеки позволяет производить быструю настройку моделей и использовать результаты для решения практических задач. Эксперименты демонстрируют, что в условиях ресурсных ограничений, накладываемых на количество обучаемых моделей, разработанный эволюционный подход показывает прирост до 12% по сравнению со своим ближайшим конкурентом - байесовской оптимизацией. Использование

сценария с суррогатным моделированием позволяет сокращать время настройки более чем в 1.8 раз при обеспечении уровеня качества не ниже, чем у базового подхода при ограничении времени оптимизации в пределах 15 итераций базовой модели (или 27 итераций с суррогатами).

Развитие темы диссертационного исследования возможно в направлении работы с различными данными по степени наличия разметки - частичной и полной - для более тонкой настройки под конечные задачи. Также перспективно использование многокритериальной оптимизации для учета локальных и глобальных характеристик получаемых тематических моделей и исследование способов обучения суррогатных моделей на множестве корпусов с последующим созданием из них общедоступного набора предобученных моделей для использования с целью сокращения времени выполнения, либо в качестве базы для дальнейшего дообучения на конкретном корпусе.

Список литературы диссертационного исследования кандидат наук Ходорченко Мария Андреевна, 2022 год

Список литературы

1. Is Automated Topic Model Evaluation Broken?: The Incoherence of Coherence / Hoyle Alexander, Goel Pranav, Peskov Denis et al. // NeurIPS. — 2021.

2. Topic-driven Ensemble for Online Advertising Generation / Egor Nevezhin, Nikolay Butakov, Maria Khodorchenko et al. // Proceedings of the 28th International Conference on Computational Linguistics. — Barcelona, Spain (Online): International Committee on Computational Linguistics, 2020. — . — Pp. 2273-2283. — URL: https://aclanthology.org/2020.coling-main.206.

3. Zamiralov Alexandr, Khodorchenko Maria, Nasonov Denis. Detection of housing and utility problems in districts through social media texts // Procedia Computer Science. — 2020. — Vol. 178. — Pp. 213-223. — 9th International Young Scientists Conference in Computational Science, YSC2020, 05-12 September 2020.

4. Card Dallas, Tan Chenhao, Smith Noah A. Neural Models for Documents with Metadata // Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). — Association for Computational Linguistics, 2018.

5. Neural Relational Topic Models for Scientific Article Analysis / Haoli Bai, Zhuangbin Chen, Michael R. Lyu et al. // Proceedings of the 27th ACM International Conference on Information and Knowledge Management. — CIKM '18. — New York, NY, USA: Association for Computing Machinery, 2018. — P. 27-36.

6. Topic Modeling Revisited: A Document Graph-based Neural Network Perspective / Dazhong Shen, Chuan Qin, Chao Wang et al. // NeurIPS. — 2021.

7. Extracting Topics with Simultaneous Word Co-occurrence and Semantic Correlation Graphs: Neural Topic Modeling for Short Texts / Yiming Wang, Ximing Li, Xiaotang Zhou, Jihong Ouyang // EMNLP. — 2021.

8. Churchill Rob, Singh Lisa. The Evolution of Topic Modeling // ACM Comput. Surv. — 2021. — Vol. 54, no. 10s. — Pp. 1 - 35. — Just Accepted.

9. Short-Text Topic Modeling via Non-Negative Matrix Factorization Enriched with Local Word-Context Correlations / Tian Shi, Kyeongpil Kang, Jaeg-ul Choo, Chandan K. Reddy // Proceedings of the 2018 World Wide Web Conference. — WWW '18. — Republic and Canton of Geneva, CHE: International World Wide Web Conferences Steering Committee, 2018. — P. 1105-1114.

10. Ozerov Alexey, Fevotte Cedric. Multichannel Nonnegative Matrix Factorization in Convolutive Mixtures for Audio Source Separation // IEEE Transactions on Audio, Speech, and Language Processing. — 2010. — Vol. 18, no. 3. — Pp. 550-563.

11. Topic Modelling for Extracting Behavioral Patterns from Transactions Data / Evgeny Egorov, Filipp Nikitin, Vasiliy Alekseev et al. // 2019 International Conference on Artificial Intelligence: Applications and Innovations (IC-AIAI).

— 2019. — Pp. 44-444.

12. Aletras Nikolaos, Stevenson Mark. Representing Topics Using Images // Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies.

— Atlanta, Georgia: Association for Computational Linguistics, 2013. — .

— Pp. 158-167.

13. Laib Lakhdar, Allili Mohand Said, Ait-Aoudia Samy. A probabilistic topic model for event-based image classification and multi-label annotation // Signal Processing: Image Communication. — 2019. — Vol. 76. — Pp. 283-294.

14. Gao Yang, Xu Yue, Li Yuefeng. A Topic Based Document Relevance Ranking Model // Proceedings of the 23rd International Conference on World Wide Web. — WWW '14 Companion. — New York, NY, USA: Association for Computing Machinery, 2014. — P. 271-272.

15. M. Apishev, S. Koltcov, O. Koltsova et al.

16. Fast and modular regularized topic modelling / Denis Kochedykov, Murat Apishev, Lev Golitsyn, Konstantin Vorontsov // 2017 21st Conference of Open Innovations Association (FRUCT). — 2017. — Pp. 182-193.

17. Dynamic and Static Topic Model for Analyzing Time-Series Document Collections / Rem Hida, Naoya Takeishi, Takehisa Yairi, Koichi Hori // Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). — Melbourne, Australia: Association for Computational Linguistics, 2018. — . — Pp. 516-520.

18. Seed-Guided Topic Model for Document Filtering and Classification / Chen-liang Li, Shiqian Chen, Jian Xing et al. // ACM Trans. Inf. Syst. — 2018. — dec. — Vol. 37, no. 1. — 37 pp.

19. Ge Junwei, Lin Songce, Fang Yiqiu. A Text classification algorithm based on topic model and convolutional neural network // Journal of Physics: Conference Series. — 2021. — jan. — Vol. 1748, no. 3. — P. 032036.

20. Khanthaapha Passakorn, Pipanmaekaporn Luepol, Kamonsantiroj Suwatchai. Topic-Based User Profile Model for POI Recommendations. — ISMSI '18. — New York, NY, USA: Association for Computing Machinery, 2018. — P. 143-147.

21. Combining Rating and Review Data by Initializing Latent Factor Models with Topic Models for Top-N Recommendation / Francisco J. Pena, Diar-muid O'Reilly-Morgan, Elias Z. Tragos et al. // Proceedings of the 14th ACM Conference on Recommender Systems. — RecSys '20. — New York, NY, USA: Association for Computing Machinery, 2020. — P. 438-443.

22. Indexing by latent semantic analysis. / S. Deerwester, S.T. Dumais, G.W. Furnas et al. // Journal of the American Society for Information Science 41. — 1990. — Pp. 391-407.

23. Hofmann Thomas. Probabilistic Latent Semantic Indexing // Proceedings of the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. — SIGIR '99. — New York, NY, USA: Association for Computing Machinery, 1999. — P. 50-57. — URL: https://doi.org/10.1145/312624.312649.

24. Fevotte Cedric, Idier Jerome. Algorithms for Nonnegative Matrix Factorization with the -Divergence // Neural Computation. — 2011. — Vol. 23, no. 9. — Pp. 2421-2456.

25. Blei David M., Ng Andrew Y , Jordan Michael I. Latent Dirichlet Allocation // J. Mach. Learn. Res. — 2003. — mar. — Vol. 3, no. null. — P. 993-1022.

26. A Novel Neural Topic Model and Its Supervised Extension / Ziqiang Cao, Sujian Li, Yang Liu et al. // Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. — AAAI'15. — AAAI Press, 2015. — P. 2210-2216.

27. Bahrainian Seyed Ali, Jaggi Martin, Eickhoff Carsten. Self-Supervised Neural Topic Modeling // EMNLP. — 2021.

28. Neural Attention-Aware Hierarchical Topic Model / Yuan Jin, He Zhao, Ming Liu et al. // EMNLP. — 2021.

29. Vorontsov Konstantin, Potapenko Anna. Additive Regularization of Topic Models // Mach. Learn. — 2015. — Vol. 101, no. 1-3. — P. 303-323.

30. Vorontsov Konstantin, Potapenko Anna, Plavin Alexander. Additive Regu-larization of Topic Models for Topic Selection and Sparse Factorization // Statistical Learning and Data Sciences / Ed. by Alexander Gammerman, Vladimir Vovk, Harris Papadopoulos. — Cham: Springer International Publishing, 2015. — Pp. 193-202.

31. Dempster A. P., Laird N. M, Rubin D. B. Maximum Likelihood from Incomplete Data via the EM Algorithm // Journal of the Royal Statistical Society. Series B (Methodological). — 1977. — Vol. 39, no. 1. — Pp. 1-38.

32. Distributed Representations of Words and Phrases and Their Compositionali-ty / Tomas Mikolov, Ilya Sutskever, Kai Chen et al. // Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2. — NIPS'13. — Red Hook, NY, USA: Curran Associates Inc., 2013. — P. 3111-3119.

33. Enriching Word Vectors with Subword Information / Piotr Bojanowski, Edouard Grave, Armand Joulin, Tomas Mikolov // Transactions of the Association for Computational Linguistics. — 2017. — Vol. 5. — Pp. 135-146. — URL: https://aclanthology.org/Q17-1010.

34. Pennington Jeffrey, Socher Richard, Manning Christopher. GloVe: Global Vectors for Word Representation // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). — Doha, Qatar: Association for Computational Linguistics, 2014. — . — Pp. 1532-1543.

35. Grootendorst Maarten. BERTopic: Neural topic modeling with a class-based TF-IDF procedure. — 2022. — URL: https://arxiv.org/abs/2203.05794.

36. Doogan Caitlin, Buntine Wray. Topic Model or Topic Twaddle? Re-evaluating Semantic Interpretability Measures // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. — Association for Computational Linguistics, 2021. — Pp. 3824-3848.

37. Reading Tea Leaves: How Humans Interpret Topic Models / Jonathan Chang, Sean Gerrish, Chong Wang et al. // Advances in Neural Information Processing Systems / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty et al. — Vol. 22. — Curran Associates, Inc., 2009.

38. Röder Michael, Both Andreas, Hinneburg Alexander. Exploring the Space of Topic Coherence Measures // Proceedings of the Eighth ACM International Conference on Web Search and Data Mining. — WSDM '15. — New York, NY, USA: Association for Computing Machinery, 2015. — P. 399-408.

39. Lau Jey Han, Newman David, Baldwin Timothy. Machine Reading Tea Leaves: Automatically Evaluating Topic Coherence and Topic Model Quality // Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics. — Gothenburg, Sweden: Association for Computational Linguistics, 2014. — . — Pp. 530-539.

40. Paul Michael John. Topic Modeling with Structured Priors for Text-Driven Science: Ph.D. thesis / Johns Hopkins University. — 2015.

41. Evaluating Topic Models for Digital Libraries / David Newman, Youn Noh, Edmund Talley et al. // Proceedings of the 10th Annual Joint Conference on Digital Libraries. — JCDL '10. — New York, NY, USA: Association for Computing Machinery, 2010. — P. 215-224.

42. Automatic Evaluation of Topic Coherence / David Newman, Jey Han Lau, Karl Grieser, Timothy Baldwin // Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics. — HLT '10. — USA: Association for Computational Linguistics, 2010. — P. 100-108.

43. Nikolenko Sergey I. Topic Quality Metrics Based on Distributed Word Representations // Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval. — SIGIR '16. — New York, NY, USA: Association for Computing Machinery, 2016. — P. 1029-1032.

44. Automatic Evaluation of Local Topic Quality / Jeffrey Lund, Piper Armstrong, Wilson Fearn et al. // Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. — Florence, Italy: Association for Computational Linguistics, 2019. — Pp. 788-796.

45. Topic Significance Ranking of LDA Generative Models / Loulwah AlSumait, Daniel Barbara, James Gentle, Carlotta Domeniconi // Machine Learning and Knowledge Discovery in Databases / Ed. by Wray Buntine, Marko Grobelnik, Dunja Mladenic, John Shawe-Taylor. — Berlin, Heidelberg: Springer Berlin Heidelberg, 2009. — Pp. 67-82.

46. Tandem Anchoring: a Multiword Anchor Approach for Interactive Topic Modeling / Jeffrey Lund, Connor Cook, Kevin Seppi, Jordan Boyd-Graber // Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). — Vancouver, Canada: Association for Computational Linguistics, 2017. — Pp. 896-905.

47. Dieng Adji B., Ruiz Francisco J. R., Blei David M. Topic Modeling in Embedding Spaces // Transactions of the Association for Computational Linguistics. — 2020. — Vol. 8. — Pp. 439-453.

48. Optuna: A Next-Generation Hyperparameter Optimization Framework / Takuya Akiba, Shotaro Sano, Toshihiko Yanase et al. // Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. — KDD '19. — New York, NY, USA: Association for Computing Machinery, 2019. — P. 2623-2631. — URL: https://doi.org/10.1145/3292500. 3330701.

49. Hyperparameter Tuning for Machine Learning Algorithms Used for Arabic Sentiment Analysis / Enas Elgeldawi, Awny Sayed, Ahmed R. Galal, Alaa M. Zaki // Informatics. — 2021. — Vol. 8, no. 4.

50. Bergstra James, Yamins Daniel, Cox David. Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures // Proceedings of the 30th International Conference on Machine Learning / Ed. by Sanjoy Dasgupta, David McAllester. — Vol. 28 of Proceedings of Machine Learning Research. — Atlanta, Georgia, USA: PMLR, 2013. — 17-19 Jun. — Pp. 115-123.

51. Model-Based Genetic Algorithms for Algorithm Configuration / Carlos Ansotegui, Yuri Malitsky, Horst Samulowitz et al. // Proceedings of the 24th International Conference on Artificial Intelligence. — IJCAI'15. — AAAI Press, 2015. — P. 733-739.

52. Snoek Jasper, Larochelle Hugo, Adams Ryan P. Practical Bayesian Optimization of Machine Learning Algorithms // Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 2. — NIPS'12. — Red Hook, NY, USA: Curran Associates Inc., 2012. — P. 2951-2959.

53. Bergstra James, Bengio Yoshua. Random Search for Hyper-Parameter Optimization // J. Mach. Learn. Res. — 2012. — feb. — Vol. 13, no. null. — P. 281-305.

54. Price Kenneth, Storn Rainer M, Lampinen Jouni A. Differential Evolution: A Practical Approach to Global Optimization. — Springer Publishing Company, Incorporated, 2014.

55. Effective Mutation Rate Adaptation through Group Elite Selection / Akarsh Kumar, Bo Liu, Risto Miikkulainen, Peter Stone // Proceedings of the Genetic and Evolutionary Computation Conference. — GECCO '22. — New York, NY, USA: Association for Computing Machinery, 2022. — P. 721-729.

56. LUCIE: An Evaluation and Selection Method for Stochastic Problems / Er-wan Lecarpentier, Paul Templier, Emmanuel Rachelson, Dennis G. Wilson // Proceedings of the Genetic and Evolutionary Computation Conference. — GECCO '22. — New York, NY, USA: Association for Computing Machinery, 2022. — P. 730-738.

57. Karaboga D., Basturk B. On the performance of artificial bee colony (ABC) algorithm // Applied Soft Computing. — 2008. — Vol. 8, no. 1. — Pp. 687-697.

58. Liu Wen. A multistrategy optimization improved artificial bee colony algorithm // The Scientific World Journal. — 2014. — Vol. 2014.

59. Hyperopt: a Python library for model selection and hyperparameter optimization / James Bergstra, Brent Komer, Chris Eliasmith et al. // Computational Science &amp Discovery. — 2015. — Vol. 8, no. 1. — P. 014008.

60. Lopez-Ibanez Manuel, Perez Caceres Leslie, Stutzle Thomas. irace: A Tool for the Automatic Configuration of Algorithms // International Federation of Operational Research Societies (IFORS) News. — 2020. — . — Vol. 14, no. 2. — Pp. 30-32.

61. SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization / Marius Lindauer, Katharina Eggensperger, Matthias Feurer et al. // Journal of Machine Learning Research. — 2022. — Vol. 23, no. 54. — Pp. 1-9.

62. Auto-Sklearn 2.0: Hands-free AutoML via Meta-Learning / Matthias Feurer, Katharina Eggensperger, Stefan Falkner et al. — 2020.

63. Efficient and Robust Automated Machine Learning / Matthias Feurer, Aaron Klein, Katharina Eggensperger et al. // Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 2. — NIPS'15. — Cambridge, MA, USA: MIT Press, 2015. — P. 2755-2763.

64. Le Trang T, Fu Weixuan, Moore Jason H. Scaling tree-based automated machine learning to biomedical big data with a feature set selector // Bioin-formatics. — 2020. — Vol. 36, no. 1. — Pp. 250-256.

65. AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data / Nick Erickson, Jonas Mueller, Alexander Shirkov et al. // arXiv preprint arX-iv:2003.06505. — 2020.

66. LightAutoML: AutoML Solution for a Large Financial Services Ecosystem / Anton Vakhrushev, Alexander Ryzhkov, Maxim Savchenko et al. // arXiv preprint arXiv:2109.01528. — 2021.

67. Automated evolutionary approach for the design of composite machine learning pipelines / Nikolay O. Nikitin, Pavel Vychuzhanin, Mikhail Sarafanov et al. // Future Generation Computer Systems. — 2021.

68. TopicNet: Making Additive Regularisation for Topic Modelling Accessible / Victor Bulatov, Vasiliy Alekseev, Konstantin V. Vorontsov et al. // LREC. — 2020.

69. Openvino deep learning workbench: Comprehensive analysis and tuning of neural networks inference / Yury Gorbachev, Mikhail Fedorov, Iliya Slavutin et al. // Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. — 2019. — Pp. 0-0.

70. Pawar Suraj A., San Omer, Yen Gary G. Hyperparameter Search using the Genetic Algorithm for Surrogate Modeling of Geophysical Flows // AIAA SCITECH 2022 Forum.

71. Jin Yaochu. Surrogate-assisted evolutionary computation: Recent advances and future challenges // Swarm and Evolutionary Computation. — 2011. — Vol. 1, no. 2. — Pp. 61-70.

72. Angione Claudio, Silverman Eric, Yaneske Elisabeth. Using machine learning as a surrogate model for agent-based simulations // PLOS ONE. — 2022. — 02. — Vol. 17, no. 2. — Pp. 1-24.

73. Dasari Siva Krishna, Cheddad Abbas, Andersson Petter. Random Forest Surrogate Models to Support Design Space Exploration in Aerospace Use-Case // AIAI. — 2019.

74. A Surrogate-Assisted Multi-Objective Evolutionary Algorithm for Shelter Locating and Evacuation Planning / Shi-Cheng Zha, Wei-Neng Chen, Wen-Jin Qiu, Xiao-Min Hu // Proceedings of the Genetic and Evolutionary Computation Conference Companion. — GECCO '22. — Association for Computing Machinery, 2022. — Pp. 774 - 777.

75. Black-Box Mixed-Variable Optimisation Using a Surrogate Model That Satisfies Integer Constraints / Laurens Bliek, Arthur Guijt, Sicco Verwer,

Mathijs de Weerdt // Proceedings of the Genetic and Evolutionary Computation Conference Companion. — GECCO '21. — Association for Computing Machinery, 2021. — Pp. 1851 - 1859.

76. Vurtur Badarinath Poojitha, Chierichetti Maria, Davoudi Kakhki Fatemeh. A Machine Learning Approach as a Surrogate for a Finite Element Analysis: Status of Research and Application to One Dimensional Systems // Sensors.

— 2021. — Vol. 21, no. 5.

77. Strumbelj Erik, Kononenko Igor. Explaining prediction models and individual predictions with feature contributions // Knowledge and information systems.

— 2014. — Vol. 41, no. 3. — Pp. 647-665.

78. Hansen Nikolaus. A Global Surrogate Assisted CMA-ES // Proceedings of the Genetic and Evolutionary Computation Conference. — GECCO '19. — New York, NY, USA: Association for Computing Machinery, 2019. — P. 664-672.

79. Ribeiro Marco Tulio, Singh Sameer, Guestrin Carlos. "Why Should I Trust You?": Explaining the Predictions of Any Classifier // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. — KDD '16. — New York, NY, USA: Association for Computing Machinery, 2016. — P. 1135-1144.

80. Surrogate-based analysis and optimization / Nestor V. Queipo, Raphael T. Haftka, Wei Shyy et al. // Progress in Aerospace Sciences.

— 2005. — Vol. 41, no. 1. — Pp. 1-28.

81. Wild Stefan M., Regis Rommel G., Shoemaker Christine A. ORBIT: Optimization by Radial Basis Function Interpolation in Trust-Regions // SIAM Journal on Scientific Computing. — 2008. — Vol. 30, no. 6. — Pp. 3197-3219.

82. A radial basis function surrogate model assisted evolutionary algorithm for high-dimensional expensive optimization problems / Guodong Chen, Kai Zhang, Xiaoming Xue et al. // Applied Soft Computing. — 2022. — Vol. 116. — P. 108353.

83. Update strategies for kriging models used in variable fidelity optimization / Shawn E. Gano, John E. Renaud, Jay D. Martin, Timothy W. Simpson // Structural Optimization. — 2006. — . — Vol. 32, no. 4. — Pp. 287-298.

84. AK-MCSi: A Kriging-based method to deal with small failure probabilities and time-consuming models / Nicolas Lelievre, Pierre Beaurepaire, Cecile Mattrand, Nicolas Gayton // Structural Safety. — 2018. — Vol. 73. — Pp. 1-11.

85. Yin Jun, Ng Szu Hui, Ng Kien Ming. Kriging metamodel with modified nugget-effect: The heteroscedastic variance case // Computers & Industrial Engineering. — 2011. — Vol. 61, no. 3. — Pp. 760-777.

86. Deep neural networks as surrogate models for time-efficient manufacturing process optimisation / Clemens Zimmerling, Patrick Schindler, Julian Seuffert, Luise Karger // ESAFORM 2021 - 24th International Conference on Material Forming. — ULiege Library, 2021.

87. Sun Gang, Wang Shuyue. A review of the artificial neural network surrogate modeling in aerodynamic design // Proceedings of the Institution of Mechanical Engineers, Part G: Journal of Aerospace Engineering. — 2019. — Vol. 233.

88. Surrogate-based optimization with improved support vector regression for non-circular vent hole on aero-engine turbine disk / Cheng Yan, Zeyong Yin, Xiuli Shen et al. // Aerospace Science and Technology. — 2020. — Vol. 96. — Pp. 105 - 332.

89. Data-driven fault diagnosis of satellite power system using fuzzy Bayes risk and SVM / Mingliang Suo, Baolong Zhu, Ruoming An et al. // Aerospace Science and Technology. — 2019. — Vol. 84. — Pp. 1092-1105.

90. Zheng Yuan, Fu Xiaogang, Xuan Yanwen. Data-Driven Optimization Based on Random Forest Surrogate // 2019 6th International Conference on Systems and Informatics (ICSAI). — 2019. — Pp. 487-491.

91. Kim Sun Hye, Boukouvala Fani. Machine learning-based surrogate modeling for data-driven optimization: a comparison of subset selection for regression techniques // Optimization Letters. — 2020. — Vol. 14, no. 4. — Pp. 989-1010.

92. Jin Yaochu. Reducing Fitness Evaluations Using Clustering Techniques and Neural Network Ensembles.

93. De Falco Ivanoe, Delia Cioppa Antonio, Trunfio Giuseppe A. Investigating surrogate-assisted cooperative coevolution for large-Scale global optimization // Information Sciences. — 2019. — Vol. 482. — Pp. 1-26.

94. Lang Ken. Newsweeder: Learning to filter netnews // Proceedings of the Twelfth International Conference on Machine Learning. — 1995. — Pp. 331-339.

95. McAuley Julian John, Leskovec Jure. From Amateurs to Connoisseurs: Modeling the Evolution of User Expertise through Online Reviews // Proceedings of the 22nd International Conference on World Wide Web. — WWW '13. — New York, NY, USA: Association for Comp. Machinery, 2013. — P. 897-908.

96. Yutkin Dmitry. Corpus of Russian news articles collected from Lenta.Ru. — URL: https://github.com/yutkin/Lenta.Ru-News-Dataset.

97. Unified domain-specific language for collecting and processing data of social media / Nikolay Butakov, Maxim Petrov, Ksenia Mukhina et al. // Journal of Intel. Inf. Syst. — 2018. — Pp. 1-26.

98. LightAutoML: AutoML Solution for a Large Financial Services Ecosystem / Anton Vakhrushev, Alexander V. Ryzhkov, Maxim Savchenko et al. // ArXiv. — 2021. — Vol. abs/2109.01528.

99. Abdoun Otman, Abouchabaka Jaafar, Tajani Chakir. Analyzing the Performance of Mutation Operators to Solve the Travelling Salesman Problem. — 2012.

100. feng Gao Wei, yang Liu San. A modified artificial bee colony algorithm // Computers Operations Research. — 2012. — Vol. 39, no. 3. — Pp. 687-697.

101. Optimization of Learning Strategies for ARTM-Based Topic Models / Maria Khodorchenko, Sergey Teryoshkin, Timur Sokhin, Nikolay Butakov // Hybrid Artificial Intelligent Systems / Ed. by Enrique Antonio de la Cal, Jose Ramon Villar Flecha, Hector Quintian, Emilio Corchado. — Cham: Springer International Publishing, 2020. — Pp. 284-296.

102. Khodorchenko Maria, Butakov Nikolay. Developing an approach for lifestyle identification based on explicit and implicit features from social media // Procedia Computer Science. — 2018. — Vol. 136. — Pp. 236-245. — 7th International Young Scientists Conference on Computational Science, YSC2018, 02-06 July2018, Heraklion, Greece.

103. М. А. Ходорченко. Автоматическая настройка оптимальных параметров тематических моделей // Сборник трудов IX Конгресса молодых ученых. — 2021. — Pp. 268-271.

104. Rosenkrans Ginger. Maximizing User Interactivity through Banner Ad Design // Journal of Promotion Management. — 2010. — Vol. 16, no. 3. — Pp. 265-287.

105. Effects of banner Ad shape and the schema creating process on consumer internet browsing behavior / Chih-Wei Liu, Shao-Kang Lo, Ai-Yun Hsieh, Yu-jong Hwang // Computers in Human Behavior. — 2018. — Vol. 86. — Pp. 9-17.

106. Kim Gwang, Moon Ilkyeong. Online banner advertisement scheduling for advertising effectiveness // Computers Industrial Engineering. — 2020. — Vol. 140. — Pp. 106 - 226.

107. Aguilar J., Garcia G. An Adaptive Intelligent Management System of Advertising for Social Networks: A Case Study of Facebook // IEEE Transactions on Computational Social Systems. — 2018. — Vol. 5, no. 1. — Pp. 20-32.

108. Support Vector Method for Novelty Detection / Bernhard Schölkopf, Robert Williamson, Alex Smola et al. // Proceedings of the 12th International Conference on Neural Information Processing Systems. — NIPS'99. — Cambridge, MA, USA: MIT Press, 1999. — P. 582-588.

109. Andrzejewski David, Zhu Xiaojin, Craven Mark. Incorporating Domain Knowledge into Topic Modeling via Dirichlet Forest Priors // Proceedings of the 26th Annual International Conference on Machine Learning. — ICML'09. — New York, NY, USA: Association for Computing Machinery, 2009. — P. 25-32.