Разработка методов и алгоритмов интеллектуального кэширования информационных объектов в системах управления промышленными предприятиями тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Кудухов, Алан Нодарович
- Специальность ВАК РФ05.13.01
- Количество страниц 125
Оглавление диссертации кандидат наук Кудухов, Алан Нодарович
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
ГЛАВА 1. АНАЛИЗ ОСОБЕННОСТЕЙ КЭШИРОВАНИЯ ДАННЫХ В ИНФОРМАЦИОННЫХ СИСТЕМАХ
1.1 Анализ принципов функционирования систем кэширования
1.2. Особенности и основные проблемы реализации кэш-систем
1.3 Анализ методов и алгоритмов стратегий замещения объектов в
кэш-памяти
1.3.1 Идеальное кэширование
1.3.2 Алгоритм замещения LRU
1.3.3 Алгоритм замещения SLRU
1.3.4 Алгоритм замещения LRU-K
1.3.5 Алгоритм замещения LRU-SIZE
1.3.6 Алгоритм замещения NRU
1.3.7 Алгоритм замещения FIFO
1.3.8 Специальные стратегии замещения
1.3.9 Стратегия замещения LFU
1.3.10 Комбинационные стратегии замещения
1.3.11 Адаптивные алгоритмы кэширования
1.5 Выводы по первой главе и постановка задачи исследования
ГЛАВА 2. РАЗРАБОТКА НЕЙРОСЕТЕВОГО МЕТОДА ВЫЧИСЛЕНИЯ КЭШ-РЕЙТИНГА И АЛГОРИТМА ЗАМЕЩЕНИЯ ОБЪЕКТОВ В ПОДСИСТЕМЕ КЭШИРОВАНИЯ
2.1 Основные задачи функционирования подсистемы интеллектуального кэширования
2.2 Применение искусственных нейронных сетей в анализе данных
2.3 Разработка нейросетевого метода вычисления кэш-рейтинга объекта и алгоритма замещение объектов в кэш-памяти
2.4 Разработка параллельного алгоритма вычисления кэш-рейтинга
объектов в подсистеме кэширования
2.5 Результаты экспериментальных исследований
2.6 Выводы по второй главе
ГЛАВА 3. РАЗРАБОТКА СТРУКТУРЫ И АЛГОРИТМОВ ФУНКЦИОНИРОВАНИЯ ПОДСИСТЕМЫ ИНТЕЛЛЕКТУАЛЬНОГО КЭШИРОВАНИЯ
3.1 Структура основных компонентов подсистемы интеллектуального кэширования
3.2 Разработка структуры хранения объектов в кэш - памяти
3.3 Разработка параллельного алгоритма обработки множества
запросов
3.4 Выводы по третьей главе
ГЛАВА 4. АРХИТЕКТУРА ПОДСИСТЕМЫ ИТЕЛЛЕКТУАЛЬНОГО КЭШИРОВАНИЯ
4.1 Основные принципы и особенности подсистемы интеллектуального кэширования
4.2 Проектирование архитектуры подсистемы интеллектуального
кэширования
4.3 Реализация пользовательского интерфейса ART-CACHING
4.4 Выводы по четветрой главе
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ
Приложение А (информационное) акт о внедрении результатов
кандидатской диссертационной работы
Приложение Б (информационное) Таблица Б1 - обучающая выборка искусственной нейронной сети для определения коэффициентов значимости
каждого параметра
Приложение В (информационное) Исходный код компонента, имитирующего работу искусственной нейронной сети
Рекомендованный список диссертаций по специальности «Системный анализ, управление и обработка информации (по отраслям)», 05.13.01 шифр ВАК
Адаптивные алгоритмы кэширования в информационных системах2012 год, кандидат технических наук Жуков, Александр Игоревич
Моделирование и оптимизация функционирования твердотельной системы хранения данных2019 год, кандидат наук Пономарев Вадим Анатольевич
Метод расчета и оптимизации параметров системы кэширования Интернет-трафика2009 год, кандидат технических наук Долгих, Дмитрий Геннадьевич
Гибридные алгоритмы кэширования для систем обработки и хранения информации2009 год, кандидат технических наук Аль-Згуль Мосаб Бассам Юсеф
Методы организации параллельных систем баз данных на вычислительных системах с массовым параллелизмом2003 год, доктор физико-математических наук Соколинский, Леонид Борисович
Введение диссертации (часть автореферата) на тему «Разработка методов и алгоритмов интеллектуального кэширования информационных объектов в системах управления промышленными предприятиями»
ВВЕДЕНИЕ
Актуальность работы. В настоящее время всё большую роль играют технологии, обеспечивающие хранение, анализ и обработку данных. Это связано с наблюдаемым с конца прошлого века лавинообразным ростом информации, в том числе и в различных отраслях промышленности. Информационные системы промышленных предприятий представляют собой сложный комплекс взаимосвязанных компонентов, которые накапливают, обрабатывают и анализируют огромное количество разнородной технологической информации, создаваемой системами управления. Данные из этих систем являются критически важными не только для непосредственного управления производственными процессами, но и представляют собой необходимую базу для проведения анализа эффективности использования оборудования, расчета ключевых показателей производительности, определения узких производственных мест и решения других задач, требующие использования всего доступного объема производственной информации [1]. Таким образом, промышленные предприятия это область больших данных (Big Data), где накапливаются и обрабатываются большие массивы данных.
В процессе обработки данных всегда возникает проблема обеспечения производительности информационных систем. Современные задачи крупных промышленных предприятий, связанные с хранением и обработкой данных, предъявляют особые требования к вычислительным ресурсам. Критичные для промышленных предприятий информационные системы требуют высокого уровня быстродействия, надежности и масштабируемости [1]. Поскольку информационная система работает с базами данных, размер которых значительно превышает объем доступной оперативной памяти, что приводит к невозможности поместить всю информацию из базы данных в оперативную память, то большая часть информационных объектов во время работы системы будет оставаться на внешних носителях, что сводит производительность системы к минимуму. Практически единственным эффективным способом
уменьшения количества обращений к внешним носителям является механизм буферизации данных в оперативной памяти, т.е. кэширование данных.
Кэширование — это универсальное средство, позволяющее ускорить обработку и предоставление данных конечным пользователям. Основная идея кэширования заключается в сохранении часто запрашиваемой информации в промежуточную память с быстрым доступом, которая может быть запрошена в будущем [1, 2, 3]. Следовательно, использование кэширования в информационных системах может дать следующие преимущества:
увеличение производительности серверов, функционирующих в рамках информационной системы, так как система кэширования будет выполнять часть запросов, в результате сервер будет обслуживать большее число запросов в единицу времени; уменьшение среднего значения времени ожидания пользователем запрошенных данных;
уменьшение нагрузки на локальные и глобальные сети за счет применения кэширования на локальных уровнях.
Данные обстоятельства делают актуальным теоретическое и практическое исследование применения интеллектуальных алгоритмов замещения объектов в кэш-памяти для повышения эффективности функционирования информационных систем управления крупными промышленными предприятиями.
В настоящее время к разработке новых алгоритмов кэширования выражается очень большой интерес. Повышению эффективности систем кэширования посвящены работы таких исследователей, как: Aho A.V., Denning P.J., Ullman J.D., Chen Y.C., Shedler G.S., Nilson R.A., Sharieh A., Belady L.A., Cof-finan E.G., Dasarathan D., Megiddo N., Modha D., Castro M., Adya A., Liskov В., Sabeghi M., Yaghmaee M.H., Subramanian R., Smaragdakis Y., Соколинский Л.Б., Кузнецов С.Д., Сущенко С.П. и других.
Целью диссертационной работы является разработка методов и алгоритмов интеллектуального кэширования информационных объектов для уве-
личения производительности и повышения эффективности функционирования систем управления промышленными предприятиями.
Поставленная цель потребовала решения следующих задач:
1. Исследование предметной области с целью выявления проблем и особенностей, учитываемых при разработке подсистемы интеллектуального кэширования;
2. Анализ существующих алгоритмов кэширования информационных объектов с целью выявления достоинств, недостатков и возможностей их применения в промышленных информационных системах;
3. Анализ возможностей применение параллельных алгоритмов в подсистемах кэширования;
4. Разработка древовидной структуры данных, с целью уменьшение времени выполнения основных операции подсистемы кэширования;
5. Разработка архитектуры искусственной нейронной сети, позволяющая определять коэффициенты значимости каждого параметра, характеризующего информационный объект в кэш-памяти.
6. Разработка основных компонентов подсистемы кэширования для повышения эффективности функционирования информационных систем управления промышленными предприятиями.
Объект исследований - системы сбора, анализа и обработки данных информационных системы управления промышленными предприятиями.
Предмет исследований - методы и алгоритмы, обеспечивающие повышение производительности информационных систем управления промышленными предприятиями.
Методы исследований. Решение поставленных задач основывается на применении комплекса методов системного анализа, теории графов, технология параллельной обработки данных, математического программирования, нейронных сетей, теории вероятностей, алгебры логики и теории алгоритмов.
Научная новизна диссертационной работы:
1. На основе искусственной нейронной сети разработан метод вычис-
ления кэш-рейтинга объекта, отличающийся от существующих возможностью одновременного учета количества обращений, временной локальности объекта и времени загрузки из базы данных в кэш-память;
2. Предложен способ хранения объектов в кэш-памяти, позволяющий уменьшить время выполнения операций добавления, удаления и поиска информационных объектов в подсистеме кэширования;
3. Разработан способ обработки множества запросов, одновременно поступающих в подсистему интеллектуального кэширования, осуществляющий обработку каждого запроса в отдельном потоке;
4. Разработан параллельный алгоритм вычисления кэш-рейтинга информационных объектов, обеспечивающий увеличение производительности вычислений в системе кэширования.
Практическая значимость диссертационной работы заключается в следующем:
1. На основе проведенного анализа существующих систем управления промышленными предприятиями и подсистем кэширования обозначены следующие приоритетные задачи: увеличение производительности функционирования интегрированных информационных систем, за счет применения высокоуровневого интеллектуального кэширования информационных объектов; увеличение производительности основных алгоритмов подсистемы кэширования.
2. Спроектирована и разработана высокоуровневая подсистема интеллектуального кэширования, позволяющая:
- повысить эффективность функционирования информационных систем управления промышленными предприятиями;
- снизить нагрузку на базу данных, за счет выполнения части запросов подсистемой кэширования;
- увеличить пропускную способность каналов передачи данных по стандартным протоколам TCP/IP;
- уменьшить время ожидания ответа на запросы, поступающие в информационную систему.
3. На основе многофакторного анализа разработан метод вычисления кэш-рейтинга информационного объекта, основанный на применение искусственной нейронной сети.
4. Разработана архитектура искусственной нейронной сети, позволяющая вычислить коэффициенты значимости каждого параметра, характеризующего информационный объект в кэш-памяти;
Обоснованность и достоверность научных положений, выводов и результатов исследований подтверждаются соответствием результатов теоретических исследований экспериментальным данным и внедрением разработанных методов и алгоритмов интеллектуального кэширования информационных объектов в системах управления СОф ОАО «МРСК СК».
Апробация диссертационной работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на ежегодных НТК СКГМИ (ГТУ), научных семинарах кафедры информационных систем в экономике СКГМИ (ГТУ) (2011 - 2014 гг.), а также на еженедельном научно-исследовательском семинаре по математической физике и вычислительной математике ФГБОУ ВПО «Кабардино-балкарский государственный университет им. Х.М. Бербекова». Основные результаты диссертационной работы получили апробацию на следующих международных конференциях: Международная научно-техническая конференция «Наука, техника, инновации 2014», г. Брянск 2014г., X студенческая международная заочная научно-практическая конференция «Молодежный научный форум: технические и математические науки», г. Москва 2014г.; Международная научно-практическая конференция «Приоритетные направления развития науки», г. Уфа 2014г.; XVIII Международная научно-практическая конференция «Перспективы развития информационных технологий», г. Новосибирск 2014г.; I Международная научно-практическая конференция «Проблемы и перспективы современной науки», г. Ставрополь 2014г.; V Международная научно-
практическая конференция «Молодые ученые в решении актуальных проблем науки», г. Владикавказ 2014г.; XI Международный симпозиум «Интеллектуальные системы», г. Москва 2014г.
Личный вклад автора. Основные научные положения, выводы и рекомендации, содержащиеся в диссертационной работе, получены автором самостоятельно.
Публикации. По теме диссертации опубликовано 12 печатных работ, в т. ч. 2 работ в ведущих рецензируемых научных журналах и изданиях, определенных ВАК РФ для публикации основных научных результатов.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка использованной литературы, включающего 88 наименования, и содержит 125 страниц машинописного текста, 39 рисунок, 4 таблицы и 3 приложения.
ГЛАВА 1. АНАЛИЗ ОСОБЕННОСТЕЙ КЭШИРОВАНИЯ ДАННЫХ В ИНФОРМАЦИОННЫХ СИСТЕМАХ
1.1 Анализ принципов функционирования систем кэширования
С каждым годом наблюдается экспоненциальный рост объемов информации, поступающей практически со всех производственных процессов различных отраслей промышленности. Можно отметить практически тот же экспоненциальный рост результатов обработки и анализа этих данных. К результатам аналитических работ добавляются также результаты имитационного моделирования. При функционировании и эксплуатации промышленных объектов наблюдается значительное возрастание количества данных, поступающих с различных датчиков, систем мониторинга и управления.
Развитие промышленного сегмента и информационных технологий привело к появлению нескончаемого потока информации из различных источников. Отсюда вытекает ряд сложностей с обработкой и анализом большого массива информации из множества источников:
- большое количество источников генерирует пласт разрозненных и неструктурированных сведений, обладающих разной степенью достоверности;
- процесс поиска информации из разных источников ресурсоемок и неэффективен, что губительно влияет на успешность всего бизнес-процесса;
- невозможность централизации контроля за использованием информации без централизации ее источников;
- многообразие форм представления информации и способов доступа: программные интерфейсы, сервисы, подключения, приложения, модели данных;
- множество создаваемых версий данных при обработке;
- множество созданных моделей в приложениях;
- прием и хранение результатов работ подрядчиков: разнообразие
форматов и средств представления информации [4]. По результатам исследования «Big Data, Bigger Digital Shadows, and Biggest Grow thin the Far East», проведенного IDC (International Data Corporation) при поддержке компании EMC (NYSE: EMC) в настоящее время наблюдается беспрецедентный рост информации в мире (рисунок 1.1), только 0, 4% которой, по оценкам IDC, анализируется [5].
2000
1800
1600
из 1400
го
о 1200
н и 1000
41
¡Г В 800
о 600
400
200
0
.■lililí
1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 ■ Количество обрабатываемой информации
Рисунок 1.1- Мировой рост обрабатываемой информации за период
с 1996 по 2013гг.
Повсеместное распространение технологий и доступа к интернету привели к удвоению объема информации за последние 2 года. По итогам исследования объем сгенерированных данных в 2012 году составил 2,8 зеттабайт и прогнозируется к 2020 г. увеличение объема до 40 зеттабайт.
Выделим основные прогнозы рассматриваемого исследования:
Объемы информации будут удваиваться каждые два года в течение следующих восьми лет. Одним из основных факторов этого роста является
увеличение доли автоматически генерируемых данных: с 11% от общего объема в 2005 г. до более 40% в 2020 г;
Большие объемы полезных данных теряются. На сегодняшний день используется менее 3% из 23 % потенциально полезных данных, которые могли бы найти применение с технологиями Big Data;
Развивающиеся рынки будут генерировать все большую долю информации в общем объеме: в 2010 г. их доля была 23% цифровой вселенной, но уже к 2012 г. их доля выросла до 36%. По прогнозам IDC, к 2020 г. 62% данных будет связано с развивающимися рынками [5].
Задачи обработки больших объёмов информации являются актуальными во всех областях информационных технологий, так как от обработки операций зависит эффективность функционирования системы в целом. Современные информационные системы требуют высокого уровня быстродействия, надежности и масштабируемости. Поскольку информационная система работает с базами данных, размер которых значительно превышает объем доступной оперативной памяти, что приводит к невозможности поместить всю информацию из базы данных в оперативную память, то большая часть информационных объектов во время работы системы будет оставаться на внешних носителях, что сводит производительность системы к минимуму.
Проанализируем объемы информации по отраслям за 2012 г. (рисунок
1.2).
Итак, на сферу финансовых услуг сегодня приходится всего лишь 6% объема цифровой вселенной. Это связано с небольшими объемами графических данных. С другой стороны, группа, объединяющая средства связи, массовой информации и индустрию развлечений, которые генерируют около 4% мирового объема производства, но формируют 50% цифровой вселенной.
Объемы цифровой информации от производственной отрасли с каждым годом возрастают и в 2012 году составил 40%. Это связано, прежде все-
го, с ускоренными темпами внедрения систем мониторинга, работающие на основе сигналов датчиков и ИТТО-меток, а также с широким применением систем САПР и АСУ.
20%
10%
Доля от мирового
валового объема производства
Производство/ Розница/ Госучреждения' Финансы ЖКХ опт/ здравоохранение
транспорт
Связь/СМИ' Другие/ развлечения гтроф. услуги
Рисунок 1.2 - Доля объемов информации в разрезе предприятий различных
отраслей
В настоящее время задачи, связанные с анализом, обработкой и хранением данных, предъявляют особые требования к вычислительным ресурсам. С развитием информационных технологий увеличивается количество, размеры и сложность хранилищ и баз данных. Объем хранимой информации в существующих информационных системах может достигать миллионов и даже миллиардов записей.
По расчетам инженеров университета Калифорнии, сейчас по всему миру работают около 27 миллионов серверов, обрабатывающих огромные массивы данных. Данные расчеты производились на основе средней производительности работающих сейчас серверов, промышленных отчетах, интервью с экспертами в области обработки цифровой информации (Cisco, AT&T, IBM, Intel, LSI, Oracle и Seagate), данными по продажам оборудования и другим источникам [6].
Необходимо отметить, что нагрузки на серверы будут удваиваться примерно каждые два года.
В связи, с чем несомненную актуальность приобретают задачи разработки новых методов, обеспечивающих увеличение производительности серверов при обработке множества запросов.
Одним из способов уменьшения вычислительной нагрузки на сервера баз данных является использование механизма кэширования, который вносит элемент интеллектуальности в концепцию хранения и пересылки данных, определяя какие информационные ресурсы будут скопированы из базы данных на периферию сети и как часто они будут обновляться.
Технология кэширования применяется в качестве универсального средства, позволяющего ускорить обработку и предоставление данных конечным пользователям. Основная идея кэширования заключается в сохранении обработанной информации в промежуточную память с быстрым доступом, которая может быть актуальна в будущем.
Основной задачей системы кэширования является увеличение производительности вычислительных систем. Решение данной задачи достигается путем использования специального хранилища с повышенной скоростью доступа к хранимым в ней данным. Следовательно, использование кэширования в информационных системах может дать следующие преимущества:
увеличение производительности серверов, функционирующих в рамках сетевой информационной системы, так как кэш-система будет выполнять часть запросов, в результате сервер сможет обслуживать большее число запросов в единицу времени; уменьшение среднего значения времени ожидания пользователем запрошенных данных;
Впервые слово «кэш» в компьютерном контексте было использовано в 1967 году во время подготовки статьи для публикации в журнале «IBM Systems Journal». Статья касалась усовершенствования памяти в разрабатываемой модели 85 из серии IBM Systems /360. Редактор журнала Лайл Джон-
сон попросил придумать более описательный термин, нежели «высокоскоростной буфер», но из-за отсутствия идей сам предложил слово «кэш».
Кэш-память или кэш - это временное хранилище информации, характеризуемое более высокой скоростью доступа к хранимым данных по сравнению с основной памятью [2,3,7].
Основная память - это хранилище полного набора объектов информационной системы, которые могут быть доступны пользователям. Объекты информационной системы существуют до тех пор, пока они находятся в основной памяти. Основной задачей системы кэширования является увеличение производительности информационных систем, которая достигается путем использования специального хранилища с повышенной скоростью доступа к хранимым в ней данным.
Подсистема кэширования (кэш-система), является основным компонентом информационной системы, располагаемым между доступом к информационным объектам основной памяти и пользователем системы (рисунок 1.3).
Под информационной системой понимается совокупность вычислительных сетей, аппаратного и программного обеспечения, функционирующих для удовлетворения потребностей конечного пользователя.
Рисунок 1.3 - Взаимодействие информационной системы с подсистемой кэширования
Информационным объектом системы является целостный элемент, который может иметь различное физическое представление [8] (страница памяти, документ, веб-контент, таблица или объект из базы данных), также характеризоваться уникальным в информационной системе именем (идентификатором, адресом в памяти), объемом хранимых данных (в байтах) и обладает способностью идемпотентности, т.е. сохранять свое состояние в течение некоторого времени.
Детерминированная упорядоченная последовательность имен объектов представляет собой поток запросов. Одно из преимуществ в модели потока, используемой в работе - это присутствие параллельных запросов, характерных для многопользовательских информационных систем.
Положение объектов в последовательности определяется временем доступа к ним конечных пользователей данных, в роли которых могут выступать как люди, так и программные средства.
Важным понятием, используемым при кэшировании, является понятие «стек дистанций», впервые предложенное Мэттсоном [9].
Стек дистанций представляет собой структуру данных типа стек, формируемую с использованием следующих правил:
1. если ссылка на последний запрошенный объект имеется в стеке, то она должна быть извлечена;
2. ссылка на последний запрошенный объект помещается в верхушку
стека.
Таким образом, соблюдение этих правил приводит к тому, что ссылки на объекты, которые были запрошены недавно, оказываются наверху стека, при этом глубина, на которой находится ссылка в стеке, называется текущей дистанцией объекта в стеке дистанций.
Важнейшими свойствами кэш-систем, характеризующими их роль внутри информационной системы, являются латентность и ненавязчивость.
Латентность подразумевает сокрытие функционирования кэш-системы от конечного пользователя, а ненавязчивость означает сохранение работо-
способности информационной системы в случае отключения системы кэширования.
Таким образом, необходимым условием организации кэш-систем является наличие кэш-памяти и методов управления ею.
Алгоритм функционирования стандартной кэш-системы представлен на рисунке 1.4.
Рисунок 1.4- Стандартный алгоритм кэширования
Функционирование рассматриваемой кэш-системы происходит по следующей схеме: информационная система получает запрос на предоставление объекта, после чего перенаправляет данный запрос кэш-системе. Затем кэш-
система определяет наличие соответствующего запросу объекта в кэшпамяти и, если он найден, возвращает его информационной системе, которая, в свою очередь, предоставляет его пользователю. Такая ситуация называется кэш-попаданием. Если объект в кэш-памяти не был обнаружен, кэш-система передает управление информационной системе, которая получает объект из основной памяти. В этом случае говорят о кэш-промахе.
Различают обязательные кэш-промахи, возникающие при первом обращении к объект у пользователей информационной системы, независящие от принципов реализации кэш-системы, а также возможные кэш-промахи, которые происходят, когда объект был удален из кэш-памяти до очередного доступа к нему. Полученный из основной памяти после кэш-промаха объект передается пользователю, запросившему его. Кроме того, его копия направляется кэш-системе, которая должна сохранить его в кэш-памяти. Если свободного места в кэш-памяти уже не осталось, то кэш-система запускает алгоритм замещения объектов в кэш-памяти.
Алгоритм замещения объектов, является ключевой составляющей любой системы кэширования - это алгоритм, определяющий какой объект удалять из кэш-памяти в случае ее переполнения, используя набор определенных правил стратегии замещения. Основной задачей алгоритма замещения, как правило, является снижение числа возможных промахов [1,2, 7].
Стратегия замещения - это формализованное представление правил, определяющих объект наименее актуальный для хранения в кэш-памяти, который также часто называется жертвой. В общем случае для оценки актуальности объекта обычно говорят о критерии полезности, под которым понимают кэш-рейтинг объекта, определение которого отличается для разных алгоритмов. Объект с минимальным значением кэш-рейтинга удаляется из кэшпамяти для записи нового, только что запрошенного у информационной системы. Изменение рейтинга объектов кэш-системы, выполняемое после изменения состояния кэш-памяти может происходить явно (посредством запус-
ка процедуры пересчета рейтингов объектов) или неявно (путем изменения свойств объектов, их положения в памяти и т.д.).
Основной задачей стратегии замещения является эффективное прогнозирование за приемлемое время множества объектов, которые будут использоваться информационной системой в ближайшем будущем [2, 3]. Это прогнозирование основано на оценке свойств, которыми обладают объекты информационной системы в разные моменты времени.
Анализ потока запросов к информационной системе с целью выявления наиболее популярных объектов позволяет говорить о модели доступа к объектам информационной системы, которая основана на некотором законе распределения.
Модели доступа обоснованы наличием у объектов информационной системы свойств пространственной и временной локальностей [10]. Свойство пространственной локальности определяет, что при обращении к некоторому объекту информационной системы значительно повышается вероятность того, что в ближайшем будущем произойдет обращение к соседним объектам. Наиболее часто это свойство используется при кэшировании инструкций в оперативной памяти, когда в качестве объектов выступают блоки данных, а степень близости оценивается по их адресам. Говорят, что объект обладает свойством временной локальности, если вероятность повторного запроса к нему тем выше, чем ближе момент последнего обращения к данному объекту.
Кроме того, в кэш-системах используются другие свойства объектов: частота обращений, размер, стоимость. Частота обращений - это число запросов к объекту, находящемуся в кэш-памяти, за некоторый временной интервал. Размер объекта - это некоторая относительная, либо абсолютная величина, определяющая объем памяти, занимаемый объектом кэш-памяти (число байт, количество блоков или страниц). Наконец, под стоимостью объекта или его ценой доступа обычно понимают некоторую относительную величину, которая связана со временем задержки в процессе получения
объекта: чем больше времени требуется на извлечение объекта из основной памяти, тем выше его стоимость.
Похожие диссертационные работы по специальности «Системный анализ, управление и обработка информации (по отраслям)», 05.13.01 шифр ВАК
Упреждающее кэширование в подсистеме внешней памяти высокопроизводительных распределенных вычислительных систем2009 год, кандидат технических наук Сахаров, Илья Евгеньевич
Модели и алгоритмы параллельных вычислений на графических процессорах и их применение в программных средствах автоматического тестирования графических приложений2013 год, кандидат наук Капустин, Дмитрий Сергеевич
Исследование и разработка метода оптимизации настройки механизма кэширования дискового ввода/вывода операционной системы Unix в условиях ограниченных ресурсов1999 год, кандидат технических наук Курятников, Александр Витальевич
Математические модели и средства программной поддержки поиска оптимальных стратегий кэширования в операционных системах и системах с базами данных2002 год, кандидат технических наук Копылов, Игорь Валентинович
Методы и средства разработки компонентного управления Web - сайтом на основе динамической объектной модели2005 год, кандидат технических наук Быков, Михаил Юрьевич
Список литературы диссертационного исследования кандидат наук Кудухов, Алан Нодарович, 2014 год
СПИСОК ЛИТЕРАТУРЫ
1. Кудухов А.Н. Особенности кэширования данных в информационных системах [Текст] // Наука, Техника, Инновации 2014: сборник статей Международной научно-технической конференции (25-27 марта 2014 г., г. Брянск). - Брянск: НДМ, 2014. С. 226-232.
2. Таненбаум Э. Современные операционные системы [Текст]. - М.: Изд-во «Питер», 2010. - 1115 с.
3. Таненбаум Э., Остин Т. Архитектура компьютера [Текст]. - М.: Изд-во «Питер», 2010. - 1115 с.
4. Информационный ресурс «Топн ФТ Газ». URL: http: // www.topneftegaz.ru/analisis/view/8102 (Дата обращения: 15.08.2013).
5. Информационный ресурс «ЕМС» URL: http: // russia.emc.com/leadership/digital-universe/index.htm (Дата обращения: 25.08.2013).
6. Информационный ресурс «Подводный мир» URL: http: // scubascuta.com/issledovanie-godovoe-potreblenie-informatsii-sostavlyaet-9-57-zettabajt (Дата обращения: 18.08.2013).
7. Брамм П., Брамм Д. Микропроцессор 80386 и его программирование [Текст]. - М.: Изд-ва «Мир», 1990. - 448с.
8. Казиев В.М. Введение в анализ, синтез и моделирование систем. - М.: Бином. Лаборатория знаний. Интуит.Ру, (2 издание), 2007. - 244с.
9. Mattson R.L. Evaluation techniques for storage hierarchies //R. L. Mattson et al // IBM Journal of Research and Development. - 1970. - vol. 9. - no.2.
10. Denning P.J. The locality principle // Communication of the ACM 48. - 7. -2005.
11. Aguilar J. A. Web Proxy Cache Coherency and Replacement Approach / Jose Aguilar and Ernst Leiss // N. Zhonget al. (Eds.). - 2001. - c. 75-84.
12. Lee D. On the Existence of a Spectrum of Policies that Subsumes the Least Recently Used and Least Frequently Used Policies / Lee D. et al // Performance Evaluation Review. - 1999. - Vol. 27
13. Feldman J. Computer Architecture, A Designer's Text Based on a Generic RISC Architecture, 1st ed. // New York: McGraw-Hill. - 1994.
14. Harizopoulos S. Hierarchical Caching and Prefetching for Improving the Performance of Continuous Media Servers / Stavros Harizopoulos // Department of Electronic and Computer Engineering. - 1998.
15. Cho S. Coherence and Replacement Protocol of DICE-A Bus Based COMA Multiprocessor / Cho S., King J., Lee G // Journal of Parallel and Distributed Computing. - 1999. - Vol. 57. - c. 14-32.
16. Real View ARMulator ISS // ARM Ltd. - 2004.
17. Рихтер Д. CLR via C#. Программирование на платформе Microsoft .NET Framework 4.5 на языке C#. M.: Изд-во«Питер», 2013-896 с.
18. Paul S. Distributed caching with centralized control / S. Paul, Z. Fei // Computer Communications 24. - 2001. - no.2.
19. Megiddo N. ARC: A Self-Tuning, Low Overhead Replacement Cache / Nim- rod Megiddo and Dharmendra S. Modha // 2nd USENIX Conference on File and Storage Technologies. - San Francisco, 2003.
20. Kelly T. Optimal Web cache sizing: scalable methods for exact solutions / Kelly Т., Reeves D. // Elsevier Science B.V. Computer Communications 24.-2001.
21. Karedla R. Cache Strategies to Improve Disk System Performance / R. Karedla et al // IEEE Computer Magazine. - March, 1994. - c. 38-46.
22. Wang K. Anomalous Pay load-based Network Intrusion Detection / Ke Wang, Salvatore J. Stolfo // Computer Science Department. - New York, 2004.
23. Belady L.A. An Anomaly in space-Time Characteristics of Certain Programs Running in a Paging Machine / Belady, L.A., Nelson, R.A., and Shedler, G.S. // Commun Of the ACM. - 1969.-vol.12.
24. Aho A. V. Principles of optimal page replacement / Aho A.V., Denning P.J., and Ulman J.D. // Journal of the ACM. - 1971, vol. - 18. - no. 1.
25. Кудухов А.Н. К вопросу о применении алгоритмов замещения LRU в подсистемах кэширования информационных систем промышленных предприятий // XVIII Международная научно-практическая конференция «ПЕРСПЕКТИВЫ РАЗВИТИЯ ИНФОРМАЦИОНЫХ ТЕХНОЛОГИЙ». - Новосибирск 2014.- С.36-40.
26. Megiddo N. Outperforming LRU with an Adaptive Replacement Cache Algorithm / Nimrod Megiddo, Dharmendra S. Modha // IEEE Computer Society. - 2004. Vol. 37. - Issue 4.
27. Karedia R. Cache Strategies to Improve Disk System Performance / R. Karedla et al I I IEEE Computer Magazine. - March, 1994. - c. 38-46.
28. O'Neil E.J. An optimality proof of the LRU-K page replacement algorithm / O'Neil E.J., O'Neil P.E., Weikum G. // Journal of the ACM. - 1999. - Vol. 46. -No.l.
29. O'Neil E.J. The LRU-K Page Replacement Algorithm For Database Disk Buffering / O'Neil E.J., O'Neil P.E., Weikum G. // Proceedings of the 1993 ACM SIG - MOD International Conference on Management of Data. -Washington, D.C., 1993.
30. Sokolinsky L.B. LFU-K: An Effective Buffer Management Replacement Algorithm // Proceedings. Lecture Notes in Computer Science. - Vol. 2973. - New York: Springer. - 2004. - c. 670-681.
31. Jelenkovic P. R. Optimizing the LRU algorithm for Web caching / Jelen-kovic P. R., Radovanovic A // 18th. International Teletraffic Congress. -Berlin, Germany. - 2003.
32. Latha Shanmuga Vadivu S. Optimization of Web Caching and Response Time in Semantic based Multiple Web Search Engine / S. Latha Shanmuga Vadivu, M. Rajaram. // European Journal of Scientific Research. - 2011. -Vol.56. - No.2. - c. 244255.
33. Allspaw J. Web Operations: Keeping the Data on Time / John Allspaw, Jesse Robbins // O'Reilly Media, Inc. - 2010.
34. Almasi G. Calculating Stack Distances Efficiently / George Almasiet al // Memory System Performance. - ACM New York. - 2002.
35. Abrams MCaching Proxies: Limitations and Potentials / M. Abrams et al // WWW-4, Boston Conference. - 1995.
36. Fernandez E.B. Effect of Replacement Algorithms on a Page Buffer Database System / E.B. Fernandez, T. Lang, C. Wood // IBM Journal of Research and Development. - 1978.
37. Информационный ресурс «XCache» URL: http://xcache.lighttpd.net/wiki/Introduction/ (Дата обращения: 15.01.2014
г).
38. Sandberg, A. Reducing Cache Pollution Through Detection and Elimination of Non-Temporal Memory Accesses / Andreas Sandberg et al. // SC 10 Proceedings of the 2010 ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis. - 2010.
39. Arlitt, M.F. Performance Evaluation of Web Proxy Cache Replacement Policies / Martin Arlitt, Rich Friedrich, Tai Jin // Internet Systems and Applications Laboratory. - October, 1999.
40. Jayarekha, P. An Adaptive Dynamic Replacement Approach for a Multicast based Popularity Aware Prefix Cache Memory System / P. Jayarekha, T.R.Gopalakrishnan Nair // InterJRI Computer Science and Networking. - December, 2009.-Vol. 1.- Issue 1.
41. Castro, M.НАС: Hybrid Adaptive Caching for Distributed Storage Systems / Miguel Castro, AtulAdya, Barbara Liskov, and Andrew C. Myers //
Proceedings of the 16th ACM Symposium on Operating Systems Principles. - Saint-Malo, France. - 1997.
42. Che, H. Hierarchical Web Caching Systems: Modeling, Design and Experimental Results / HaoChe, et al. // IEEE Journal on selected areas in communications. - September 2002. - vol. 20. - no. 7.
43. Oslake, M. Capacity model for Internet transactions / Technical Report MSR- TR-99-18. - Microsoft Research. - 1999.
44. Arlitt, M.F. Evaluating Content Management Techniques for Web Proxy Caches / M. F. Arlittet al. // ACM SIGMETRICS Performance Evaluation Review. - 2000. - Vol. 27. - Num. 4.
45. Smaragdakis, F.EELRU: Simple and Effective Adaptive Page Replacement / Yannis Smaragdakiset al // ACM SIGMETRICS Performance Evaluation Review. - 1999. - Volume 27. - Issue 1.
46. Рассел С, Норвиг П. Искусственные интеллект. Современный подход. -М.: Изд-во «Вильяме», 2006. - 1408 с.
47. Хайкин С. Нейронные сети: полный курс. - М.: Изд-во «Вильяме», 2006.- 1104 с.
48. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д, Рудинского. -М.: Финансы и статистика, 2002.-344.
49. Кудухов А.Н. Кумаритов A.M. Анализ алгоритма обратного распространения ошибки нейронной сети // Молодежный научный форум: Технические и математические науки. Электронный сборник статей по материалам VIII студенческой международной заочной научно-практической конференции. — Москва: Изд. «МЦНО». — 2014. — № 3 (10) / [Электронный ресурс] — Режим доступа. — URL: http://www.nauchfomm.m/archive/MNF_tech/3_(10).pdf. С.33-39.
50. Кудухов А.Н. Аппроксимация функции cos х с помощью нейронной сети // Международная научно-практическая конференция «Приоритетные направления развития науки». - Уфа - 2014. С.51-54.
51. Кудухов А.Н. Гаглоева И. Э. Анализ особенностей обучения нейронных сетей // I Международная научно-практическая конференция «ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ СОВРЕМЕННОЙ НАУКИ». - Ставрополь 2014.-С. 162-166.
52. Кудухов А.Н. Аппроксимация функции е — хА2 с помощью нейронных сетей // Труды молодых ученых. - Владикавказ: Изд-во «Терек», 2013, Т.4 - С. 91-95.
53. Кудухов А.Н. Анализ структуры организации нейронных сетей // Труды молодых ученых. - Владикавказ: Изд-во «Терек», 2013, Т.4 - С. 96101.
54. Ошхунов М. М., Нагоев 3. В. Математические модели деформируемых сред для интеллектуальных систем виртуального прототипирования. -Нальчик: Изд-во КБНЦ РАН, 2013. - 195 с.
55. Рутковская Д., Пилинъский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудин-ского.- М.: Горячая линия - Телеком, 2006. 452 с.
56. Комашинский В. И., Смирнов Д. А. - Нейронные сети и их применение в системах управления и связи. - М.: Горячая линия - Телеком, 2003. -94с.
57. Вороновский Г.Д. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности // Г. К. Вороновский. - X.: ОСНОВА, 1997.- 122с.
58. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений.-М.: Финансы и статистика, 2004. - 176с.
59. Калан Р. Основы концепции нейронных сетей.: Пер. с англ.- М.: Изд-во: «Вильяме», 2001. - 300с.
60. Мак-Каллок У.С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // В сб.: «Автоматы» под ред. ШеннонаК.Э. и Маккарти. Дж. -М.: Изд-во иностр. лит., 1956. - с.363-384.
61. Кумаритов A.M., Кудухов А.Н. Нейросетевой метод вычисления кэш-рейтинга объектов в подсистемах кэширования информационных систем промышленных предприятий // Аудит и финансовый анализ. Москва, 2014. Т. 3. С. 447-449.
62. Информационный ресурс компании «NVidia» URL: http://www.nvidia.ru/object/cuda_state_university_courses_new_ru.html (Дата обращения: 14.09.2013 г).
63. Информационный ресурс компании «NVidia» URL: http://www.nvidia.ru/object/what_is_cuda_new_ru.htm (Дата обраще-ния:12.10.2013 г).
64. Информационный ресурс «Лучшие компьютерные игры» URL: http://www.lki.ru/text.php?id=5942 (Дата обращения: 12.10.2013 г).
65. Хьюз К., Хъюз Т. Параллельное и распределенное программирование на С++.: Пер. с англ. - М.: Изд-во.: ООО «И. Д. Вильяме», 2004, - 672 с.
66. Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования. : Пер. с англ.- М.: Изд-во .: ООО "И. Д. Вильяме", 2003,-512 с.
67. Сандерс Д., Кэндрот Э. Технология CUDAb примерах. Введение в программирование графических процессоров.: Пер. с англ. Слинкина А. А., научный редактор Боресков А. В. - М.: ДМК Пресс, 2011. -232с.
68. Боресков A.B., Харламов A.A.Основы работы с технологией CUDA. — Москва: ДМК - Пресс, 2010. 232с.
69. Воеводин В. В., Воеводин Вл. В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002, - 608 с.
70. Duffy J. Concurrent programming on Windows. Addison-Wesley, 2008,990 p.
71. Кудухов А.Н. Разработка параллельного алгоритма вычисления кэш-рейтинга в системах кэширования // Науковедение (электронный журнал). 2014 №2 (21) [Электронный ресурс]. - М.: 2014. - Режим доступа: http://naukovedenie.ru/PDF/137TVN214.pdf, свободный - Загл. с экрана.
72. Руссинович М., Соломон Д. Внутреннее устройства Windows: Windows Server 2003, Windows XP и Windows 2000. Мастер класс./ Пер. с англ. - 4-е изд.-М.: Изд-во «Питер», 2006, - 992 с.
73. Рихтер Д. Создание эффективных\¥т32-приложений с учетом спецификации 64-разрядной версии Windows.
74. Рихтер Д. CLR via С#. Программирование на платформе Microsoft .NET Framework 4.0 на языкеС#. M.: Изд-во "Питер", 2013-896 с.
75. Албахари Д. С# 3.0. Справочник: Пер с англ.- СПб.: БХВ-Петербург,2009 - 944 с.
76. Кудухов А.Н. Анализ методов и технологий параллельных вычислений для обработки информации // Электронный научный журнал APRJORI.Серия: Естественные и технические науки. [Электронный ресурс]. - Краснодар: 2014, №1. - Режим доступа: http://www.apriori-journal.ru/seria2/l-2014/Kuduhov.pdf (доступ свободный) - Загл. с экрана.
77. Лафоре Р. Структуры данных и алгоритмы в Java. Классика Computer Science. 2-еизд- СПб.: «Питер», 2013. - 704 с.
78. Седжвик Р. Алгоритм на С++. : Пер. с англ.- М.:000 «И. Д. Вильяме», 2011.- 1056 с.
79. Кормен T. X., Лейзерсон Ч.И., Ривест Р. Л., Штайн К Алгоритмы: построение и анализ, 2-е издание. : Пер. с англ. - М.: Изд-во «Вильяме», 2005 - 1296 с.
80. Левитин А. В. Алгоритмы: введение в разработку и анализ. : Пер. с англ. - М.: Изд-во «Вильяме», 2006 - 576 с.
81. Кудухов А.Н. Гаглоева Н.Э. Разработка архитектуры подсистемы интеллектуального кэширования данных // Сборник докладов XI международного симпозиума «Интеллектуальные системы». - М.: 2014. С. 433-439.
82. Гамма Э., Хелм Р., Джонсон Р., Влиссидес Дж. Приемы объектно-ориентированного проектирование. Паттерны проектирования.- СПб.: «Питер», 2012.-368с.
83. Макконнел С. Совершенный код. Мастер класс / Пер. с англ. - М.: Изд-во «Русская редакция»; СПб.: Питер, 2008. - 896с.
84. Kydyxoe А.Н., Гаглоева Н.Э. Анализ основных задач и принципов функционирования систем кэширования // Молодые ученые в решении актуальных проблем науки: сборник работ V Международной научно-практической конференции. - Владикавказ: 2014. С. 28-31.
85. Орама Э., Уилсон Г. Идеальный код. - СПб.: Питер, 2011 - 624 с.
86. Скит Д. С#: программирование для профессионалов, 2-е изд.: Пер. с англ. - М.: ООО "И. Д. Вильяме", 2011, - 544 с.
87. Руководство Microsoft по проектированию архитектуры приложений 2-е издание. М.: Microsoft, 2010.-529 с.
88. Абелъсон X., Сассман Дж. Структура и интерпретация компьютерных программ. -М.: Добросвет, КДУ, 2012-608 с.
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.