АНАЛИЗ ДИСКРЕТНОЙ ПОЛУМАРКОВСКОЙ МОДЕЛИ УПРАВЛЕНИЯ ЗАПАСОМ НЕПРЕРЫВНОГО ПРОДУКТА ПРИ ПЕРИОДИЧЕСКОМ ПРЕКРАЩЕНИИ ПОТРЕБЛЕНИЯ тема диссертации и автореферата по ВАК РФ 01.01.05, кандидат наук Иванов Алексей Валерьевич

• Иванов Алексей Валерьевич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Иванов Алексей Валерьевич

Введение

Глава 1. Некоторые основополагающие результаты оптимального управления в стохастических полумарковских моделях теории запасов

§1. Общая характеристика современных научных результатов, связанных с рассматриваемой проблемой

§2. Некоторые фундаментальные результаты по теории управления полумарковскими процессами с произвольными множествами состояний и управлений

§3. Некоторые общие результаты, связанные с проблемой оптимального управления в полумарковских моделях теории запасов

§4. Оптимальное управление запасом в полумарковской модели производства и потребления продукта, основанной на системе обслуживания

§5. Некоторые специальные полумарковские модели управления запасом

§6. Оптимальное управление запасом непрерывного продукта в модели регенерации

Глава 2. Разработка дискретной полумарковской модели управления запасом непрерывного

продукта

§1. Описание функционирования исследуемой системы и задание её исходных характеристик

§2. Построение дискретной полумарковской модели управления запасом и общая постановка проблемы оптимального управления

§3. Аналитические представления для вероятностных и стоимостных характеристик полумарковской модели

§ 4. Проблема преобразования интегральных представлений для вероятностных и стоимостных характеристик модели

§5. Представление основных характеристик полумарковской модели для детерминированных управлений

Глава 3. Исследование стационарных показателей качества управления в рассматриваемой

модели. Основные результаты

§1. Экстремальная задача для дробно-линейного функционала

§ 2. Результаты о структуре стационарных стоимостных функционалов

§ 3. Аналитические представления для функций, задающих дробно-линейные функционалы91 Глава 4. Численное решение задачи оптимального управления запасом в дискретной полумарковской модели

§1. Описание схемы программы, ее алгоритма и функций

§2. Описание некоторых стандартных вычислительных функций программы МЛТЬЛБ

§3. Унифицированные представления вероятностных и стоимостных характеристик модели

§4. Задание исходных характеристик полумарковской модели для численного решения задачи оптимального управления запасом

§5. Представление результатов решения задачи оптимального управления запасом для различного числа параметров управления

Заключение

СПИСОК ЛИТЕРАТУРЫ

Введение диссертации (часть автореферата) на тему «АНАЛИЗ ДИСКРЕТНОЙ ПОЛУМАРКОВСКОЙ МОДЕЛИ УПРАВЛЕНИЯ ЗАПАСОМ НЕПРЕРЫВНОГО ПРОДУКТА ПРИ ПЕРИОДИЧЕСКОМ ПРЕКРАЩЕНИИ ПОТРЕБЛЕНИЯ»

Введение

Математическая теория управления запасами является одним из важных направлений современной прикладной математики. Стохастические методы и модели, используемые в теории управления запасами, весьма разнообразны и содержательны. В научной литературе по данному направлению имеется ряд фундаментальных изданий, содержащих обширную информацию об этих моделях и методах. Отметим монографии российских ученых [2], [12], [15] - [17], а также переводы книг зарубежных авторов [14], [19]. Однако в течение нескольких последних десятилетий в российской научной литературе по прикладной математике отсутствуют издания монографического характера по теории управления запасами. Из современной зарубежной научной литературы отметим работу [36], в которой изложены как классические результаты, так и современное состояние стохастической теории управления запасами. В указанной работе также приведена обширная библиография научных исследований по данному направлению.

Особо выделим работы [13], [21], [22]. Исследование проведенное в них, можно считать непосредственно предшествующим настоящему исследованию. В указанных работах была построена и проанализирована стохастическая модель регенерирующего процесса с управлением, описывающая некоторую систему, предназначенную для хранения и поставки потребителю определенного продукта. Особенность этой системы заключалась в том, что в результате пополнения непрерывный параметр, описывающий объем продукта, всякий раз возвращался в одно и то же фиксированное состояние, совпадающее со своим максимально возможным значением. Такая особенность позволяла использовать для описания системы регенерирующий процесс, моменты регенерации которого представляли собой моменты непосредственного пополнения запаса. Показателями качества управления являлись стационарные функционалы, связанные с регенерирующим процессом, а именно, средние удельные затраты и средняя удельная прибыль. Было установлено, что оптимальной стратегией управления является детерминированная, и оптимальное значение параметра управления представляет собой точку глобального экстремума некоторой заданной функции одной переменной, соответствующей исходному показателю качества управления. По своей природе эта функция совпадает со значением рассматриваемого целевого функционала на вырожденном вероятностном распределении, сосредоточенным в одной точке, которое соответствует детерминированной стратегии управления. В дальнейшем такая функция будет называться основной для соответствующего целевого функционала. В работах [13], [21], [22] для всех вариантов модели регенерации было проведено аналитическое исследование основной функции

на глобальный экстремум, установлено его существование, указаны точки, в которых он может достигаться. Таким образом, для задачи оптимального управления запасом в модели регенерации в указанных работах было проведено полное аналитическое исследование.

В настоящей работе предлагается и исследуется стохастическая полумарковская модель управления запасом непрерывного продукта, то есть такого, множество значений объема которого является подмножеством множества вещественных чисел. В экономических системах непрерывным продуктом могут являться нефть, бензин, мазут, газ, вода, зерно. Все эти продукты имеют важное значение на внутреннем рынке страны и используются во внешнеторговой деятельности. В реальной экономике имеется много систем (хранилищ или складов), которые предназначены для временного хранения запасов таких продуктов и поставок их непосредственным потребителям. Предлагаемая модель предназначена для описания функционирования таких систем. На основе анализа, проведенного в работе, можно создать методики вычисления оптимальных значений параметров управления. Таким образом, исследование, проводимое в данной работе, является актуальным, как с точки зрения развития теории стохастических полумарковских моделей, так и с точки зрения его использования для создания научно обоснованных методик расчета оптимальных дисциплин управления реальными экономическими системами.

Отметим, что стохастические полумарковские модели редко используются в теории управления запасами. Например, в издании [36], содержащем в себе ряд фундаментальных результатов по классическим моделям теории запасов, полумарковские модели не рассматриваются. В то же время такие модели могут отражать существенные особенности эволюции рассматриваемых реальных систем. В обзоре научных исследований, связанных с проводимым в данной диссертационной работе, подробно изложены результаты нескольких научных работ, в которых рассматриваются полумарковские модели управления запасом (см. глава 1, §§2, 3, 4). Упомянем также зарубежное издание [29], в котором рассматривается использование полумарковских процессов для решении различных прикладных задач.

Отметим основные особенности рассматриваемой стохастической модели. Объем запаса принимает значения во множестве Х = (—го;т], где т>0 - максимальная вместимость хранилища. Положительные значения объема соответствуют реальному запасу продукта, отрицательное - неудовлетворенному спросу или дефициту. Потребление продукта происходит с постоянной скоростью, параметром управления является время от момента пополнения запаса до момента заказа на следующее пополнение. Пополнение запаса происходит по стохастической схеме, в которой учитываются состояния системы до пополнения, а также

непосредственно после проведенной операции пополнения. Кроме того, в процедуре пополнения учитываются случайные отклонения от планируемого объема поставки.

Для описания функционирования рассматриваемой системы вводится два случайных процесса. Первый из них непосредственно описывает объем запаса в системе. Второй, условно называемый сопровождающим, представляет собой полумарковский процесс с конечным множеством состояний. Показателем качества управления является стационарный стоимостной функционал средней удельной прибыли (по отношению к единице времени). Как было установлено ранее ([5], глава 13; [10]), такой показатель по форме представляет собой дробно-линейный функционал от вероятностных распределений, определяющих управляющие воздействия в каждом состоянии модели. При этом для нахождения оптимального набора вероятностных распределений, определяющих управляющие воздействия, можно использовать утверждения о безусловном экстремуме дробно-линейного функционала ([5], глава 10).

В настоящей работе получены более глубокие результаты, связанные с управлениями полумарковским процессом с конечным множеством состояний по отношению к стационарному стоимостному функционалу.

Прежде всего, в данной работе устанавливается, что оптимальной стратегией управления является детерминированная, которая зависит от состояния полумарковского процесса. Данный результат согласуется с известными теоретическими утверждениями о характере оптимального управления полумарковскими процессами при весьма общих предположениях о структуре множеств состояний и управлений (см. §1 главы 1 и научные исследования [31], [32], [39]). В то же время, в настоящей работе доказывается, что набор оптимальных значений параметра управления представляет собой точку глобального экстремума основной функции рассматриваемого дробно-линейного функционала, для которой получено явное представление.

Для подтверждения практического значения теоретических результатов, связанных с нахождением оптимальной стратегии управления полумарковским процессом, заключительная часть проведенного исследования (см. главу 4) была посвящена разработке программы, функционирование которой основано на полученном аналитическом представлении основной функции дробно-линейного функционала. Данная программа позволяет по заданным исходным характеристикам модели вычислять значения основной функции и исследовать её поведение в области возможных значений параметров управления.

Результаты диссертации могут представлять интерес для специалистов, занимающихся приложениями теоретико-вероятностных методов в экономических, технических и других областях. Эти результаты могут являться теоретической основой для будущих исследований,

связанных с различными модификациями данной модели и другими полумарковскими моделями управления запасами. Также стоит отметить, что программа, предназначенная для численной реализации полученных теоретических результатов, может быть интересна специалистам, занимающимся разработкой программных продуктов для анализа систем управления запасами.

В завершение вводного раздела приведем краткую характеристику особенностей проведенного исследования.

Целью данного исследования является решение проблемы оптимального управления в рассматриваемой стохастической полумарковской модели управления запасом непрерывного продукта и теоретическом обосновании метода нахождения оптимальной стратегии управления.

Отразим также научную новизну и основные результаты исследования, представляемые на защиту.

1. Разработана стохастическая модель управления запасом непрерывного продукта в форме управляемого полумарковского процесса с конечным множеством состояний.

2. Получены явные представления для вероятностных характеристик этой модели, а также для характеристик аддитивного стоимостного функционала, связанного с введенным полумарковским процессом.

3. Доказано утверждение о структуре показателя качества управления в поставленной задаче оптимизации. Установлено, что по форме зависимости от вероятностных распределений, задающих управления в каждом состоянии полумарковского процесса, этот показатель представляет собой дробно-линейный функционал. При этом получены явные аналитические представления для подынтегральных функций числителя и знаменателя данного функционала, выраженных через найденные ранее вероятностные и стоимостные характеристики модели.

4. Установлено, что оптимальная стратегия управления в исследуемой стохастической полумарковской модели является детерминированной и определяется точкой абсолютного экстремума основной функции дробно-линейного функционала -показателя качества управления. Основная функция представляет собой отношение подынтегральных функций числителя и знаменателя дробно-линейного функционала и определена в явной форме как функция конечного числа вещественных переменных.

В соответствии с требованием действующего Положения ВАК о порядке присуждения ученых степеней (п. 14), автор диссертации официально отмечает, что в диссертации были использованы результаты и некоторые текстуальные формулировки, содержащиеся в научных работах [23], [24], выполненных автором совместно с научным руководителем диссертационного исследования Шнурковым П.В.

Отразим кратко некоторые технические особенности, связанные с оформлением текста диссертации в части нумерации формул, теорем, замечаний и т.д. В плане оформления данных объектов в тексте диссертации можно выделить 2 части, отличающиеся между собой правилами оформления этих объектов: первая часть - первая глава; вторая часть - со второй по четвертую главы.

В первой части (первой главе) диссертации используются следующие обозначения:

1) определения, предположения, теоремы и замечания (за исключением замечаний относящихся к параграфам главы) приведены с той же нумерацией, с которой они приведены в оригинальных текстах описываемых работ;

2) нумерация формул в каждом из параграфов данной главы, где рассматриваются одна модель или несколько моделей, не являющихся частью одного исследования, определяется последовательно, начиная с "1";

3) если в параграфе описываются несколько моделей, являющихся частью одного исследования, и разбитых на разделы внутри этого параграфа, то в рамках этого параграфа используется двойная нумерация, где 1 -ая цифра отвечает за принадлежность формулы к разделу, вторая - к ее номеру в разделе рассматриваемого параграфа. Нумерация второй из цифр номера определяется последовательно, начиная с "1".

Во второй части (вторая - четвертая главы) диссертации используются следующие обозначения:

1) формулы и теоремы оформляются при помощи тройной нумерации, в которой первая цифра отвечает за номер главы, вторая цифра отвечает за номер параграфа в этой главе, а третья за порядковый номер формулы или теоремы в данном параграфе;

2) замечания и рисунки в тексте диссертации нумеруются безотносительно глав и параграфов диссертации в порядке упоминания в тексте.

Глава 1. Некоторые основополагающие результаты оптимального управления в стохастических полумарковских моделях теории запасов

§1. Общая характеристика современных научных результатов, связанных с

рассматриваемой проблемой

Проблема оптимального управления запасом в стохастической полумарковской модели является весьма сложной и многоплановой. В первой главе диссертационной работы предпринята попытка исследования связей проблемы управления запасом с общими результатами теории оптимального управления в стохастических полумарковских моделях. Кроме того, описан ряд фундаментальных результатов, относящихся к различным вариантам математических моделей управления запасом непрерывного продукта. Это позволит более точно определить место результатов, полученных в диссертации, среди других, связанных с оптимальным управлением в стохастических полумарковских моделях теории запасов.

Во втором параграфе главы 1 приведено изложение современных результатов теории оптимального управления в стохастических полумарковских моделях при весьма общих предположениях о структуре пространств состояний и управлений [32]. Показателем качества управления является стационарный стоимостной функционал, который по своему содержанию представляет средний удельный доход или прибыль, полученные при длительной эволюции модели. Основной результат исследования заключается в том, что в классе всех возможных марковских рандомизированных стратегий управления оптимальной является стационарная детерминированная стратегия, определяемая некоторой функцией, которая задает значения управления (решения) в каждом состоянии полумарковского процесса. Отметим, что результаты, полученные в данной диссертационной работе для полумарковского процесса с конечным множеством состояний, согласуются с приводимыми общими результатами и дополняют их.

В третьем параграфе главы 1 проводится изложение результатов исследования украинских математиков [7]. В данной работе рассматривается проблема управления запасом в полумарковской модели, множество состояний в которой представляет собой ограниченный интервал во множестве неотрицательных вещественных чисел [0; 0], Q > 0. Параметром управления является объем дополнительного заказа (заказа на пополнение). Критерием оптимальности является стационарный стоимостной функционал среднего удельного дохода (прибыли). Доказывается, что среди всех допустимых стратегий пополнения запаса

оптимальной является стационарная детерминированная стратегия. При этом среди всех стационарных детерминированных стратегий оптимальной является пороговая, определяемая некоторым пороговым значением запаса х*£[0;@]. Если в момент принятия решения состояние системы х > х*, то запас не пополняется, если же х < х*, то запас пополняется до максимально допустимого уровня Q.

Отметим, что проблема доказательства оптимальности пороговых стратегий управления исследуется и в ряде других работ по теории запасами.

Четвертый параграф главы 1 посвящен изложению исследования, проведенного в работе [35]. В данной работе рассматривается стохастическая полумарковская модель производства и потребления некоторого продукта, объем которого измеряется в дискретных единицах. Основой построенной модели является система обслуживания М|С|1|го. Среди работ, посвященных управлению в СМО, отметим монографию [30], в которой проведено подробное исследование задач оптимального управления для различных вариантов таких систем. В работе [35] потребление продукта происходит в моменты событий пуассоновского потока, управлением является решение о производстве дополнительной единицы продукта, принимаемое в определенные моменты времени. Своеобразие проведенного исследования заключается в его формально-технологическом содержании. После постановки основной задачи управления в форме экстремальной проблемы с ограничениями автор переходит к двойственной задаче с другим параметром оптимизации, который интерпретируется как плата за производство одной единицы продукции. Решение новой задачи ищется в классе пороговых стратегий, определяемых разбиением множества возможных значений параметра оптимизации на интервалы. Формулируется несколько понятий оптимальности в классе пороговых стратегий, доказываются утверждения о достаточных условиях оптимальности по отношению к каждому из введенных понятий. На основании полученных теоретических результатов доказываются утверждения о явном представлении оптимальных уровней разбиения множества значений параметра оптимизации для трех видов дисциплин функционирования и принятия решений в исследуемой системе.

В пятом параграфе главы 1 изложены результаты некоторых современных исследований, в которых рассматриваются специальные полумарковские модели управления запасами. В частности, в работе [37] исследуется модель управления запасом скоропортящегося продукта, основанная на использовании системы массового обслуживания с отказами. Поиск оптимального управления авторы осуществляют при помощи численных методов, используя модифицированный итерационный алгоритм. В работе [38] рассматривается проблема оптимального управления в системе, состоящей из й складов и М торговых точек. Потребление

продукта осуществляется из торговых точек, запасы которых пополняются из складов. Запас продукта в каждой торговой точке может пополнятся из заданной подсистемы складов, один из которых является основным. Запас продукта на складе пополняется из внешнего источника согласно заданной стратегии. Параметром управления в системе является векторная величина, компоненты которой представляют собой номер склада, из которого будет произведено пополнение запаса в данной торговой точке. Исследование данной задачи производится численно на основе метода линейного программирования.

Шестой параграф главы 1 посвящен изложению некоторых основных результатов в теории оптимального управления запасом в модели регенерации. Следует отметить, что стохастическая модель регенерации, исследованная в работах [21], [22] и в диссертационной работе Р.В. Мельникова [13], является непосредственной предшественницей полумарковской модели управления запасом непрерывного продукта, исследованной в данной диссертационной работе.

§2. Некоторые фундаментальные результаты по теории управления полумарковскими процессами с произвольными множествами состояний и управлений

Основой данного параграфа является работа [32] посвященная анализу управляемых полумарковских моделей с критериями средних затрат. Целью работы является доказательство существования оптимальной стратегии средних затрат для рассматриваемой модели.

Описание модели.

Пусть задано некоторое полное сепарабельное метрическое пространство X, в котором определена а -алгебра подмножеств В(Х). Такое пространство с заданной а -алгеброй называется борелевским пространством. Если X и У - борелевские пространства, то стохастическим ядром на X при любом заданном у е У называется функция Р(1 •) такая, что Р(1 у) является вероятностной мерой для любого фиксированного у е У, а Р(В | •) - это измеримая по Борелю функция на У для каждого В е В(Х). Обозначим через N (соответственно N ) множество положительных (соответственно неотрицательных) целочисленных значений, Я

(соответственно Я+ ) обозначает набор вещественных (соответственно неотрицательных) чисел.

Управляемая полумарковская модель представляет собой набор объектов (X, А, {А(х): х е X}, 0, ^, Б, ё).

Приведем описание каждого из указанных объектов.

Множество X является пространством состояний, а множество A пространством управлений в данной модели. Эти пространства являются борелевскими.

Для каждого заданного x е X существует непустое борелевское подмножество множества A, которое обозначается через A(x), элементы которого представляют собой допустимые управления при условии, что состояние системы равно х.

Рассмотрим множество вида

К:= {(я, a): х е X, a е A(х)}.

Данное множество является борелевским в пространстве X х А и включает в себя график измеримой функции / : X ^ А .

Предполагается, что Q - это стохастическое ядро на X при заданном К, и оно описывает закон перехода для данной полумарковской модели. При этом для каждой пары (х, а) е К функция Е(• | х, а) представляет собой функцию распределения времени пребывания процесса в состоянии х е X при условии, что управление принимает значение а. Измеримые функции П(х,а), ё(х,а), (х, а) е К представляют собой функции затрат в состоянии х при управлении а.

Если обозначить через х состояние системы, а через а управляющее воздействие на систему в момент времени Тп, где Тп - момент очередного изменения состояния системы (п = 0, 1, 2, ...), то Б(хп,а) представляет собой немедленные (мгновенные) затраты в момент Ти, а через ё(хп,аи) определяют затраты в единицу времени в течение интервала [Тп,Ти+. Соответствующее время перехода (время между моментами изменения состояний) 5п+\ := Тп+1 - Тп, (п = 0, 1, .) имеет распределение Е(• | хп, ап).

Определение 1.1. Обозначим через Г набор измеримых функций /: X ^ А такой, что /(х) е А(х) для х е X . Таким образом, функция /(.х) должна принимать значения в области допустимых управлений А(х).

Для каждого п = 0, 1, ... определим множество допустимых исходов или, иначе говоря, множество возможных траекторий управляемого процесса. Положим по определению И0 := X,

Н := ( К х Я)п х X, для п = 1, 2, ...

Определение 1.2. Стратегией управления называется последовательность ж = {жп} стохастических ядер (или вероятностных мер) жп, заданных на множестве А, при условии, что траектория процесса до момента Ти принимает фиксированное значение из множества Нп. В частности, должно быть выполнено условие

жп (A(xn Ж) = 1

для любой фиксированной траектории управляемого процесса

¡п = С^ «0,^1,...,xn-1, Оп—1Я , xn ) е Нп , П = 0 1, 2, -

Иначе говоря, управление в момент Ги при условии, что в этот момент процесс принял значение xn, выбирается из множества A(xи) в соответствии с вероятностной мерой жп.

Обозначим через П совокупность всех возможных стратегий управления процессом. Определение 1.3. Стратегия управления ж = {жп} называется стационарной, если существует функция f е Г такая, что вероятностная мера жп (• | /и) сосредоточена в точке /) е A(xn) для каждого п.

Заметим, что в силу введенного определения стационарная стратегия является детерминированной. А именно, решение об управлении в момент Гп, при условии, что процесс

в этот момент принял значение xn, выбирается равным значению заданной детерминированной

функции f (xи), причем сама функция /(•) е Г не зависит от номера п.

В дальнейшем будем отождествлять множество функций Г со множеством всех стационарных (детерминированных) стратегий.

Обозначим через (О ,Б) измеримое пространство, состоящее из пространства элементарных исходов О := (X х A х Я+ и соответствующей а —алгебры Б . Из теоремы Ионеску Тулча ([25], Теорема 2.7.2, стр. 109) следует, что для каждого начального состояния x е X и для каждой стратегии ж еП существует вероятностная мера Р/ такая, что для всех B еB(X), C еB(X) и /и = ^,а0,...,xи_1,а^,^,xи) из множества #п при п = 0, 1, ..., имеем

PxЖ[Xo = x] = 1,

Р/[ап е В | ¡п] = жп(В | ¡п),

PxЖ[Xn+1 е C|in, Оп ,^п+1] = 0(Скп, Оп ), (1)

Р/[8п+1 < t|in, Оп ] = F (^, Оп ).

Данные условия означают, что вероятностная мера РЖ, заданная на пространстве возможных траекторий процесса ( О такова, что ее значения на соответствующих событиях при определенных условиях совпадают с заданными вероятностными характеристиками полумарковской модели. Именно, условие = x] = 1 означает, что с вероятностью, равной

единице, начальное состояние процесса равно фиксированному значению x е X. Условие

Р*[аи е В | ] = ж (В | ^ ) означает, что выбор управления в момент п-ого перехода процесса Т , при условии, что траектория процесса до момента Т является фиксированной, то есть кп = (х0,а0,^1,...,хи-1,ап-1,8п,хп) е Нп, определяется вероятностной мерой жп (• | ), принадлежащей заданной стратегии управления ж = {жп}. Условие

Рж[хи+1 е С | , а ] = Q(C | хи, а ) означает, что вероятность перехода процесса в подмножество состояний С в момент (п+1)-го перехода Ти+1 = Ти + при заданной траектории до момента Ти+1, то есть при фиксированном условии на траекторию (Ип, а ,£„+1), определяется вероятностной мерой Q(C | хи, а ) при заданных условиях на состояние процесса хи и управление аи, зафиксированное после п-ого перехода Ти. Условие Р [^«+1 — 11 , а ] = Е(1 | хи, а) означает, что случайная длительность времени между последовательными переходами процесса 5п+1 = Ти+1 — Ти при фиксированном условии на траекторию (кп, а ) определяется вероятностным распределением Е(11 хи, а ) при заданных условиях на состояние процесса хи и управление ап, зафиксированное после п-ого перехода Т

Список литературы диссертационного исследования кандидат наук Иванов Алексей Валерьевич, 2014 год

СПИСОК ЛИТЕРАТУРЫ.

[1] Арушанян, И. О. Численное решение интегральных уравнений методом квадратур. / И.О. Арушанян. — Изд-во Моск. ун-та Москва, 2002. — 71 с.

[2] Афанасьева, Л.Г. Случайные процессы в теории массового обслуживания и управления запасами. / Л.Г. Афанасьева, Е.В. Булинская — Изд-во МГУ Москва, 1980. — 110 с.

[3] Боровков, А.А. Эргодичность и устойчивость случайных процессов. / А.А. Боровков — М.: Эдиториал УРСС, 1999 — 450 с.

[4] Васильев, Ф.П. Методы оптимизации. / Ф.П. Васильев. — М.: Факториал Пресс, 2002. — 824 с.

[5] Вопросы математической теории надежности. / Барзилович Е.Ю. [и др.]; под ред. Б. В. Гнеденко. — М.: Изд-во Радио и связь, 1983. — 376 с.

[6] Губенко, Л.Г. Об управляемых полумарковских процессах. / Л.Г. Губенко, Э.С. Штатланд // Кибернетика. — 1972. — №2. — С. 26 - 29.

[7] Демченко, С.С. Оптимальные стратегии для полумарковской системы запасов. / С.С. Демченко, П.С. Кнопов, Р.К. Чорней // Кибернетика и системный анализ. — 2002. — Вып. 1.

— С. 146 - 160.

[8] Джевелл, В.С. Управляемые полумарковские процессы // Кибернетический сборник. Новая серия. / Под ред. А. А. Ляпунова, О. Б. Лупанова. — М.: Мир, 1967. — Вып. 4. — С. 97-137.

[9] Калиткин, Н.Н. Численные методы. / Н.Н. Калиткин. — М.: Наука, 1978. — 512 с.

[10] Каштанов, В.А. Об одном классе оптимальных дискретных управлений полумарковским процессом / В.А. Каштанов // Труды МИЭМ. Некоторые теоретические и прикладные вопросы теории вероятностей. — М.: МИЭМ, 1975. — Вып. 44. — С. 67 - 76.

[11] Королюк, В. С. Полумарковские процессы и их приложения / В.С. Королюк, А.Ф. Турбин.

— Киев: Наукова думка, 1976. — 184 с.

[12] Лотоцкий, В. А. Модели и методы управления запасами / В.А. Лотоцкий, А.С. Мандель. — М.: Наука, 1991. — 188 с.

[13] Мельников, Р.В. Исследование проблем управления запасом в стохастической модели регенерации: дис. ... канд. физ.-мат. наук: 01.01.05 / Мельников Роман Витальевич. — М., 2010.

— 133 с.

[14] Прабху, Н.У. Методы теории массового обслуживания и управления запасами. / Перевод с английского Е.Г. Коваленко; под редакцией И.Н. Коваленко. — М.: Машиностроение, 1969. — 355 с.

[15] Рубальский, Г.Б. Управление запасами при случайном спросе (модели с непрерывным временем) / Г.Б. Рубальский, ред. И.А. Ушаков. — М.: Советское радио, 1977 — 160 с.

[16] Рыжиков, Ю. И. Теория очередей и управление запасами / Ю.И. Рыжиков — СПб.: Питер, 2001. — 384 с.

[17] Рыжиков, Ю. И. Управление запасами / Ю.И. Рыжиков. — М.: Наука, 1969. — 343 с.

[18] Халмош, П. Теория меры / Перевод с английского Д. А. Василькова; под ред. С. В. Фомина.

— М.: Издательство иностранной литературы, 1953. — 282 с.

[19] Хедли Д., Уайтин Т. Анализ систем управления запасами / Пер. с англ. — М.: Наука, 1969.

— 513 с.

[20] Шнурков, П.В. Стохастическая модель планового технического обслуживания // Стохастические системы и их приложения. Сб. научн. тр. / Институт математики АН УССР — Киев: 1990, — С. 98 - 105.

[21] Шнурков, П.В. Оптимальное управление запасом непрерывного продукта в модели регенерации / П.В. Шнурков, Р.В. Мельников // Обозрение прикладной и промышленной математики. — 2006. — Вып. 3. — С. 434 - 452.

[22] Шнурков, П.В. Исследование проблемы управления запасом непрерывного продукта при детерминированной задержке поставки / П.В. Шнурков, Р.В. Мельников // Автоматика и телемеханика. — 2008. — Вып. 10. — С. 93 - 113.

[23] Шнурков, П.В. Исследование задачи оптимизации в дискретной полумарковской модели управления непрерывным запасом / П.В. Шнурков, А.В. Иванов // Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки. — 2013. — № 3, С. 62 - 87.

[24] Шнурков, П.В. Анализ дискретной полумарковской модели управления запасом непрерывного продукта при периодическом прекращении потребления / П.В. Шнурков, А.В. Иванов // Дискретная математика. — 2014. — Т.26, №1. — С. 143-154.

[25] Ash, R.B. Real Analysis and Probability / R.B. Ash. — New York: Academic Press, 1972. — p. 476.

[26] Bertsekas, D.P. Dynamic Programming: Deterministic and Stochastic models / D.P. Bertsekas. — New Jersey: Prentice-Hall, 1987. — 376 p.

[27] Buzacott, J.A. 1993. Stochastic models of manufactoring systems / J.A. Buzacott, J.G. Shanthikumar. — New Jersey: Prentice-Hall, 1993. — 553 p.

[28] Gordienko, E.I. 1995. Average cost Markov control processes with weighted norms: existence of canonical policies / E.I. Gordienko, O. Hernandez-Lerma. // Applicationes Mathematicae. — 1995. — v. 23, №2. — P. 199 - 218.

[29] Janssen J. Applied semi-Markov processes / J. Janssen, R. Manca. — New York: Springer, 2006.

— p. 310.

[30] Kitaev M.Yu. Controlled queuing systems / M.Yu. Kitaev, V.V. Rykov. — Florida: CRC Press, 1995. — p. 287.

[31] Klabjan, D. 2006. Existence of Optimal Policies for Semi-Markov Decision Processes Using Duality for Infinite Linear Programming / D. Klabjan, D. Adelman // SIAM Journal on Control and Optimization. — 2006. — v. 44, №6. — P. 2104 - 2122.

[32] Luque-Vasquez, F. Semi-Markov control models with average costs / F. Luque-Vasquez, O. Hernandez-Lerma // Applicationes Mathematicae. — 1999. — v. 26, №3. — P. 315 - 331.

[33] Nino-Mora, J. Restless bandits, partial conservation laws and indexability / J. Nino-Mora // Advances in Applied Probability. — 2001. — v. 33, №1. — P. 76 - 98.

[34] Nino-Mora, J. Dynamic allocation indices for restless projects and queueing admission control: A polyhedral approach / J. Nino-Mora // Mathematical Programming. — 2002. — v. 93, №3. — P. 361

— 413.

[35] Nino-Mora, J. Restless bandit marginal productivity indices, diminishing returns, and optimal control of make-to-order/make-to-stock M|G|1 queues / J. Nino-Mora // Mathematics of operation research. — 2006. — v. 31, №1. — P. 50 - 84.

[36] Porteus, E. L. Foundations of stochastic inventory theory. / E.L. Porteus. — California: Stanford Business Books, 2002. — 320 p.

[37] Kumar, S.R. Semi-Markov decision processes for service facility systems with perishable inventory / S.R. Kumar, C. Elango // International Journal of Computer Applications. — 2010. — v. 9, №4. — P. 14 - 17.

[38] Seidscher, A. A Semi-Markov decision problem for proactive and reactive transshipments between multiple warehouses / A. Seidscher, S. Minner // European Journal of Operational Research.

— 2010. — v. 230, № 1. — P. 42 - 52.

[39] Vega-Amaya, O. Sample-path average cost optimality for semi-Markov control processes on Borel spaces: unbounded costs and mean holding times / O. Vega-Amaya, F. Luque-Vasquez // Applicationes Mathematicae. — 2000. — v. 27, №3. — P. 343-367.