Модели и клеточные алгоритмы самореконфигурации отказоустойчивых мультипроцессорных систем тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Динь Туан Лонг

• Динь Туан Лонг
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Динь Туан Лонг

СОДЕРЖАНИЕ

Введение

1. МОДЕЛИ РЕКОНФИГУРАЦИИ МУЛЬТИПРОЦЕССОРНЫХ СИСТЕМ

1.1. Подходы к реконфигурации многопроцессорных систем

1.2. Концептуальная модель клеточной реконфигурации

1.2.1. Характеристика объекта исследования

1.2.2. Клеточно-автоматная модель вычислений

1.3. Модель надежности самореконфигурируемой системы

1.4. Анализ клеточных алгоритмов реконфигурации и основные задачи исследований

1.5. Выводы

2. КОНТИНУАЛЬНАЯ МОДЕЛЬ САМОРЕКОНФИГУРАЦИИ

2.1. Подход к построению континуальной модели

2.2. Естественно-подобная клеточная модель

2.3. Клеточный алгоритм определения характеристик среды реконфигурации

2.4. Выводы

3. КЛЕТОЧНЫЕ АЛГОРИТМЫ АВТОМАТОВ СРЕДЫ РЕКОНФИГУРАЦИИ

3.1 Стратегии клеточного поиска маршрутов реконфигурации

3.2. Клеточный алгоритм асинхронного поиска маршрутов

3.3. Клеточный алгоритм синхронного поиска маршрутов

3.4. Клеточный алгоритм управления реконфигурацией

3.5. Выводы

4 . ИССЛЕДОВАНИЕ КЛЕТОЧНЫХ АЛГОРИТМОВ

4.1. Характеристика среды моделирования

4.2. Моделирование самореконфигурации МПС при

накоплении отказов

4.3. Исследование и анализ клеточных алгоритмов

реконфигурации

4.4. Выводы

Заключение

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Приложение 1. Эволюция клеточного массива композиции (КАУР,

(КАСС, КАПМ)) для синхронного поиска

Приложение 2. Эволюция клеточного массива композиции (КАУР,

(КАСС, КАПМ)) для асинхронного поиска

Введение диссертации (часть автореферата) на тему «Модели и клеточные алгоритмы самореконфигурации отказоустойчивых мультипроцессорных систем»

Введение

Актуальность темы диссертации. Внедрение в практику параллельных вычислений суперкомпьютеров, мультипроцессорных систем (МПС) и СБИС клеточной архитектуры делает актуальной разработку математических моделей и численных методов, ориентированных на параллельную обработку данных. В настоящее время развиваются и практически используются модели параллельных процессов (клеточные автоматы, искусственные нейронные сети, клеточно-нейронные сети) для имитации физических процессов и природных явлений, которые традиционно описывались системами дифференциальных уравнений в частных производных. Практическое применение для аппаратного воплощения нашли клеточно-автоматные модели и искусственные нейронные сети, породившие быстродействующие параллельные алгоритмы. Клеточно-автоматное моделирование, в отличие от традиционных численных методов, обладает естественной параллельностью и не требует распараллеливания задач большой размерности для размещения на множестве процессоров.

В условиях увеличения сложности современных МПС важной задачей теории и практики надежных и отказоустойчивых управляющих и вычислительных систем широкого применения является разработка эффективных моделей и алгоритмов автоматической реконфигурации МПС при отказах процессорных элементов (ПЭ) [1-8]. Математические модели и алгоритмы реконфигурации должны сохранять логическую структуру задачи при произвольных отказах компонент, поддерживая масштабируемость МПС и независимость от вариантов размещения резервных элементов.

В настоящее время в России и за рубежом ведутся интенсивные исследования по разработке методов и алгоритмов восстановления работоспособности отказоустойчивых МПС. Проблемы обеспечения отказоустойчивости МПС рассмотрены во многих работах Пархоменко П.П., Хорошевского В.Г., Каравая М.Ф., Авижениса А., Сами М., Лапри, Ву Дж., Таканами [9-22] и др. авторов [23-27].

Несмотря на многообразие моделей реконфигурации различных структур МПС (графов общего вида, решеток, кубов, гиперкубовых архитектур) они не обеспечивают выполнение всех требований к отказоустойчивым МПС. Применение известных алгоритмов позволяет получать решения по реконфигурации только для ограниченного числа комбинаций отказов и заданных вариантов структур и размеров системы. Реализация известных подходов приводит к централизованной реконфигурации, требующей сбора, хранения и обработки глобальных данных о состоянии элементов системы. В результате при появлении очередного отказа необходима перезагрузка прикладной задачи, а при наращивании МПС и повышении требований к отказоустойчивости требуется изменение функций и ввод новых связей в рекон-фигураторе.

Анализ работ по данному направлению показал, что перспективным подходом обеспечения отказоустойчивости МПС является разработка клеточных моделей и алгоритмов самореконфигурации систем с динамическим распределенным горячим резервированием аппаратуры и программ [28-40]. Клеточные алгоритмы самореконфигурации МПС поддерживают децентрализованную обработку локальных данных и масштабируемость системы, удовлетворяют требованиям автономности и непрерывности функционирования за счет независимости от конфигураций отказов и размера системы.

Известные клеточные алгоритмы реконфигурации реализуют правила обработки логических и дискретных переменных, представляющих структурно-топологические характеристики среды реконфигурации [41-47]. Однако специфика используемых переменных и клеточных правил их обработки не обеспечивают полного использования резерва из-за появления неисправ-ляемых комбинаций отказавших элементов. Подобные ситуации приводят к относительно невысокой корректирующей способности алгоритмов реконфигурации. Известные клеточные алгоритмы также характеризуются высокой коммуникационной сложностью клетки среды реконфигурации и значи-

тельной задержкой в получении решения при группировании отказавших элементов.

Для устранения выявленных недостатков требуется поиск новых информационных характеристик среды реконфигурации и разработка клеточных алгоритмов их обработки, обеспечивающих максимальное использование резерва при любых размерах системы и произвольных комбинациях отказавших и резервных элементов. С целыо снижения мощности алфавита клеточных переменных и сложности клеточных правил необходимо создание естественно-подобных моделей вычислений, физические явления в которых описываются аналогично клеточным правилам.

Целыо диссертационной работы является создание модели клеточного автомата реконфигурации с новыми типами клеточных переменных и разработка на ее основе новых клеточных алгоритмов реконфигурации, обеспечивающих высокую корректирующую способность, снижение коммуникационной сложности и времени получения решения при сохранении масштабируемости системы.

Для достижения поставленной цели, в работе решались следующие задачи:

1. Разработка клеточного метода получения решения на основе новых переменных состояния среды реконфигурации.

2. Разработка композиционной модели клеточного автомата реконфигурации.

3. Разработка естественно-подобной модели определения характеристик среды реконфигурации.

4. Разработка клеточного алгоритма определения параметров естественно-подобной модели среды реконфигурации.

5. Разработка стратегий поиска решений по реконфигурированию на базе естественно-подобной модели среды реконфигурации.

6. Разработка клеточных алгоритмов для компонент композиционной модели клеточного автомата в соответствии со стратегиями поиска решений.

7. Создание программной системы моделирования клеточных алгоритмов и исследование клеточных алгоритмов реконфигурации на программной модели.

Объектом исследования модели и алгоритмы распределенной и параллельной реконфигурации многопроцессорных систем.

Предметом исследования в диссертационной работе являются клеточные алгоритмы реконфигурации, использующие континуальные переменные состояния среды реконфигурации, получаемые на базе естественно-подобной модели.

Соответствие паспорту научной специальности. Содержание диссертации соответствует п. 3 «Разработка, обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологий», п. 5 «Комплексные исследования научных и технических проблем с применением современной технологии математического моделирования и вычислительного эксперимента» и п. 8 «Разработка систем компьютерного и имитационного моделирования» паспорта специальности 05.13.18 - Математическое моделирование, численные методы и комплексы программ.

Методы исследования основаны на использовании математического аппарата и методов теории графов, математического моделирования, численных методов, теории вероятностей и математической статистики, языков программирования, теории надежности технических систем, теории клеточных автоматов, теории проектирования автоматов и дискретных систем.

В диссертации получены следующие результаты, характеризующиеся научной новизной и выносимые на защиту:

- метод клеточного поиска вершинно-различных маршрутов, отличающийся типом обрабатываемых переменных и позволяющий расширить область возможных решений по реконфигурированию;

- иерархическая композиционная модель клеточного автомата реконфигурации, отличающаяся выделением функций определения характеристик среды реконфигурации, управления параметрами среды и управления процессом получения решения в отдельные взаимодействующие клеточные подавтоматы и позволяющая упростить получение решения и снизить сложность автомата реконфигурации;

- естественно-подобная модель клеточного автомата состояния среды реконфигурации и клеточный алгоритм определения параметров модели, отличающиеся использованием имитационной модели управляемой токопрово-дящей решетки для получения значений континуальных переменных состояния среды и позволяющие снизить коммутационную сложность клетки среды реконфигурации;

- асинхронная и синхронная стратегии поиска решений и клеточные алгоритмы асинхронного и синхронного управления реконфигурацией, отличающиеся использованием континуальных переменных для получения устойчивого состояния композиции из трех клеточных автоматов и позволяющие повысить корректирующую способность среды и снизить число итераций поиска решения.

Практическое значение работы определяется применимостью разработанных клеточных алгоритмов среды реконфигурации при построении управляющих многопроцессорных систем различного назначения с повышенными требованиями по отказоустойчивости и в созданных программных средствах моделирования и исследования клеточных алгоритмов и результатах сравнительного анализа алгоритмов на их основе.

Результаты работы использованы: в учебном процессе ФГБОУ ВПО «МАТИ - Российский государственный технологический университет имени К.Э. Циолковского» при обучении студентов по направлению магистерской

8

подготовки 230100 «Информатика и вычислительная техника» в дисциплине «Надежность проектных решений» и в научно-исследовательской работе кафедры по теме «Разработка и исследование распределенных моделей и алгоритмов реконфигурируемых многопроцессорных систем», что подтверждено соответствующими актами.

Апробация работы. Основные положения диссертационной работы докладывались, обсуждались и получили положительную оценку на научно-технических конференциях: XI Международной научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике» (Пенза, 2011 г.); IX Всероссийской научной конференции «Информационные технологии, системный анализ и управление» (Таганрог, 2011 г.); конференции с международным участием «Технические и программные средства систем управления, контроля и измерения» УКИ' 12 (Москва, 2012 г.); международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе» 1Т + БЕ' 2012 (Москва, 2012 г.); международной конференции «Параллельные вычисления и задачи управления» РАСО1 12 (Москва, 2012 г. ), X Всероссийской школе-конференции молодых ученых «Управление большими системами» (Уфа, 2013 г.).

Публикации. В соавторстве по теме диссертации опубликовано 12 научных работ, в том числе 3 статьи в рецензируемых научных журналах, входящих в Перечень ведущих изданий, рекомендованных ВАК

Личный вклад автора. Все научные результаты диссертационного исследования получены автором лично. В основных научных работах по теме диссертации, опубликованных в соавторстве и приведенных в конце автореферата, личный вклад соискателя состоит в следующем: в [48] сформулированы правила выполнения клеточных операций в ячейке адаптивного маршрутизатора; в [49] предложена имитационная модель управляемой континуальной среды реконфигурации и разработаны клеточные правила вычисления параметров среды; в [50] разработана структура узла токопроводящей решетки и клеточные правила вычисления потенциалов и токов на ее основе; в [51]

9

разработан клеточный алгоритм реструктуризации матричной структуры обеспечивающий поиск решения на основе локальных данных; в [52] рассмотрены варианты клеточных алгоритмов реконфигурации на базе естественно-подобной среды; в [53] выполнены исследования и представлены результаты сравнительного анализа корректирующей способности континуальных, дискретных и логических алгоритмов реконфигурации; в [54] разработаны варианты управления моделью то ко проводящей решетки при реализации режимов реконфигурации и маршрутизации в отказоустойчивой многопроцессорной системе; в [55] представлены результаты синтеза асинхронного клеточного автомата реконфигурации; в [56] предложен универсальный подход к поиску решений на основе построения кратчайших путей от источников к приемнику и разработаны клеточные алгоритмы поиска решений на его основе; в [57] разработаны клеточные операции локализации абонентов в реконфигурируемой многопроцессорной структуре.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, библиографического списка из 89 наименований и двух приложений. Работа изложена на 154 страницах машинописного текста, содержит 61 рисунок и 2 таблицы.

Положения, выносимые на защиту

- метод клеточного поиска вершинно-различных маршрутов на основе континуальных переменных состояния среды реконфигурации;

- иерархическая композиционная модель клеточного автомата реконфигурации из трех взаимодействующих клеточные автоматов;

- естественно-подобная модель клеточного автомата состояния среды реконфигурации в виде имитационной модели управляемой токопроводящей решетки;

- асинхронная и синхронная стратегии получения решений на базе естественно-подобной модели среды реконфигурации;

- клеточные алгоритмы композиции взаимодействующих автоматов для вариантов асинхронной и синхронной стратегий поиска решений;

- результаты компьютерных исследований континуальных клеточных алгоритмов реконфигурации многопроцессорных систем.

Основное содержание работы

Во введении обоснована актуальность темы, определены цели и задачи исследования, научная новизна и практическая значимость работы. Кратко изложено содержание глав диссертации, апробации и реализации результатов.

В первой главе проводится анализ существующих алгоритмов и моделей реконфигурации многопроцессорных систем, выявляются их недостатки, и обосновывается направление научных исследований по созданию модели и алгоритмов клеточного автомата реконфигурации с новыми типами клеточных переменных.

Во второй главе предложен подход к поиску решений по реконфигу-рированию на основе континуальных характеристик среды реконфигурации и разработана естественно-подобная клеточная модель их определения в виде имитационной модели управляемой токопроводящей решетки. Представлена иерархическая композиционная модель клеточного автомата реконфигурации и разработан клеточный алгоритм определения параметров модели токопроводящей решетки с управляемыми связями.

В третьей главе разработаны асинхронная и синхронная стратегии поиска решений на базе естественно-подобной модели среды реконфигурации и клеточные алгоритмы поиска маршрутов и управления реконфигурацией в соответствии с предложенными стратегиями.

В четвертой главе описана разработанная инструментальная среда моделирования и анализа клеточных алгоритмов, представлены результаты моделирования и сравнительного анализа континуальных клеточных алгоритмов с существующими решениями.

В заключении приведены основные результаты, полученные в диссертационном исследовании.

1. МОДЕЛИ РЕКОНФИГУРАЦИИ МУЛЬТИПРОЦЕССОРНЫХ СИСТЕМ

1.1. Подходы к реконфигурации многопроцессорных систем

Базовыми требованиями к отказоустойчивым многопроцессорным системам является обеспечение их длительного функционирования без прерывания вычислений в условиях отказов процессорных элементов с применением механизмов автономной реконфигурации, сохраняющих не только логическую структуру задачи, но и масштабируемость системы независимо от ее размеров, числа и расположения отказавших и резервных элементов [2, 9, 10, 12].

Поясним понятия, используемые при формулировании требований к отказоустойчивым МПС.

Отказоустойчивость — свойство системы сохранять свою логическую структуру несмотря на отказы отдельных элементов, которое достигается за счет использования избыточных ресурсов аппаратуры, программного обеспечения и времени [2, 10].

Отказ элемента - событие, состоящее в нарушении его работоспособности и невозможности выполнять заданные функции.

Логический адрес (ЛА)- номер предусмотренной задачей функции, допустимой к исполнению отдельным ПЭ.

Физический адрес элемента (ФА) — координаты расположения элемента в структуре МПС с фиксированной топологией.

Логический адрес элемента - номер исполняемой данным элементом функции, т.е. отображение логического адреса на физический адрес элемента.

Логическая структура задачи — отображение множества логических адресов на множество физических адресов элементов.

При первоначальной загрузке системы физический и логический адреса ПЭ совпадают.

Реконфигурация — восстановление работоспособности МПС при отказах отдельных компонент путем переотображения множества логических адресов на множество физических адресов работоспособных элементов.

В результате реконфигурации соответствие между логическими и физическими адресами нарушается, но возможность обмена данными между элементами в реконфигурированной структуре должна сохраняться.

Масштабируемость МПС — способность наращивания и сокращения числа процессорных элементов в МПС без изменения мощности и структуры межпроцессорных связей и топологии системы в целом [2].

Автономная реконфигурация — независимость восстановления логической структуры задачи от системного и прикладного программного обеспечения.

Самореконфигурагщя — способность многопроцессорной системы к автономной реконфигурации без привлечения дополнительных по отношению к МПС внешних устройств с сохранением свойств масштабируемости и способности к дальнейшей реконфигурации.

с1— отказоустойчивость — способность системы сохранять логическую структуру задачи при числе отказавших элементов, меньшем, или равном с1 [10, 11].

Корректирующая способность алгоритма реконфигурации - относительная доля щ исправляемых комбинаций отказов для I отказавших элементов из общего их числа Л/^: ^ = щ/Ы^

Значение показателя К^ позволяет оценить способность алгоритма реконфигурации использовать резерв для восстановления при накоплении отказов элементов до максимально допустимого (равного мощности множества резервных элементов).

Проанализируем подходы к реконфигурации в известных методах построения отказоустойчивых и высоконадежных систем с точки зрения сфор-

13

мулированных требований.

Методы обеспечения отказоустойчивости основаны на применении статического (пассивного) и динамического (активного) резервирования [5861 ]. Целыо при разработке метода обеспечения отказоустойчивости является минимизация избыточности (аппаратурной, программной и временной) системы.

Статическое поэлементное или общее резервирование предполагает параллельное функционирование не менее двух копий основного элемента или системы в целом (троированное, мажоритарное резервирование), что ведет к значительным аппаратурным затратам.

При динамическом резервировании резервные элементы заменяют основные элементы в случае их отказов. При этом число к резервных элементов может варьироваться в зависимости от требований к ¿/-отказоустойчивости. Очевидно, что применение динамического резервирования позволяет получить минимальную избыточность для обеспечения отказоустойчивости.

Методы обеспечения отказоустойчивости, основанные на применении динамического резервирования, можно разделить на 3 группы, исходя из характера связей структуры системы (типовая топология - решетка, тор, куб, гиперкуб или полученная в результате резервирования) и логической структуры задачи (произвольные или регулярные связи). Каждая из трех групп реализует свою стратегию восстановления:

• Первая группа — восстанавливает произвольную логическую структуру задачи в объемлющей ее ¿/-отказоустойчивой структуре системы.

• Вторая группа — восстанавливает логическую структуру с типовой топологией в охватывающей ее резервированной типовой структуре.

• Третья группа - восстанавливает логическую структуру с произвольными связями в избыточной системе с типовой топологией.

В первой группе логическая структура задачи с произвольной топологи-

14

ей связей выделяется из ¿/-отказоустойчивого графа, построенного путем ввода ¿/ резервных элементов и дополнительных связей. В расширенном графе отказавшие вершины заменяются резервными, исключаются связи отказавших вершин с работоспособными и выполняется поиск графа, изоморфного исходной логической структуре. Это означает, что в объемлющем графе должен существовать граф, изоморфный исходному графу задачи, несмотря на выбрасывание любых ¿/ вершин и их связей. В объемлющем графе требуется такая структура связей, чтобы время исполнения функций на любом процессоре сохранялось неизменным. Основная черта рассмотренного подхода к реконфигурации - это фиксация нового распределения логических адресов путем замены адресных таблиц, интерпретируемых на схемном уровне. При этом не требуется перекомпиляции всех логических адресов, а корректировка таблиц выполняется операционной системой или специальным монитором.

Построение избыточного графа основывается на инвариантно-групповом анализе, а поиск «новой» конфигурации, изоморфной исходной в объемлющем графе, сводится к простому групповому преобразованию - автоморфизму [2,10,11,62,63]. Получение ¿/-отказоустойчивых графов для (I > 2 приводит к увеличению числа резервных вершин существенному росту связей. Рост сложности графа задачи также существенно повышает коммуникационную сложность ¿/-отказоустойчивой системы.

При реализации реконфигурации выбор варианта изоморфизма выполняется в централизованном реконфигураторе после сбора данных о состянии (работоспособность/отказ) всех процессоров МПС. По результатам полученного решения выполняется замена таблиц соответствия ФА и ЛА в каждом ПЭ и осуществляется перезагрузка программ исполняемых функций задачи по новым логическим адресам.

По результатам рассмотрения данного подхода можно сделать следующие выводы:

1. Изменение графа прикладной задачи и/или увеличение и параметра

15

й влечет перепроектирование ¿/-отказоустойчивой системы и разработку нового автоморфизма.

2. Рост сложности графа задачи и параметра й приводит к увеличению числа связей каждого ПЭ с другими элементами системы, перепроектирования коммутационных средств и кардинальной перекоммутации системы.

3. Алгоритм реконфигурации ¿/-отказоустойчивой системы предполагает централизованную обработку глобальных данных о состоянии всех ПЭ системы.

4. Реализация централизованного реконфигуратора приводит к необходимости сбора глобальных данных о состоянии ПЭ и передачи откорректированных таблиц соответствия ФА и ЛА в каждый ПЭ. При увеличении числа ПЭ растет число связей реконфигуратора с процессорами.

5. Исполнение реконфигурации требует перезагрузки программ исполняемых функций (ЛА) и таблиц соответствия, что замедляет процесс восстановления и не обеспечивает оперативности восстановления.

Сформулированные выводы показывают, что известный подход [10,11] к получению ¿/-отказоустойчивых структур и новому размещению графа задачи не удовлетворяет требованию масштабируемости (выводы 1, 2, 3), оперативности (вывод 4). При этом отказоустойчивость даже при невысоких значениях ¿/ (¿/=1, 2, 3) достигается за счет значительной коммутационной сложности.

Во второй группе методов логическая структура задачи представляется графом с типовой топологией, который вкладывается в структуру резервированной системы. Реконфигурация резервированной системы должна приводить к исходной логической структуре.

Примером такого подхода является разработка методов резервирования и реконфигурации гиперграфовых структур [64-74]. Так, в работах [64,

16

73, 74] предлагается метод реконфигурации структуры МПС в виде сбалансированного гиперкуба, в котором каждый процессор имеет резервный элемент с идентичными связями и логическими адресами. Рассматриваемый алгоритм реконфигурации базируется на поиске новых отображений логической структуры задачи на множество работоспособных узлов гиперграфа при замене отказавших элементов идентичными резервными узлами. Данный метод резервирования и реконфигурации применим для топологий Ш -, Ю -, 3О - торов, где каждый процессор имеет 8 связей, из которых используются соответственно 2, 4 и 6 связей. Остальные связи применяются при реконфигурации.

К недостаткам данного метода следует отнести:

1. Сложность обеспечения отказоустойчивости со значением й > 2.

2. Необходимость перепроектирования структуры резервированной системы при увеличении сложности задачи (при росте размерности гиперграфа).

3. Нарушение однородности системы из-за необходимости централизованной обработки глобальных данных о состоянии системы и передачи каждому ПЭ нового логического адреса.

Во второй группе представлены методы восстановления процессорных матриц [19-22, 75, 76], представляющих решетчатые однородные структуры из процессорных элементов с повторяемыми функциями. Для обеспечения отказоустойчивости процессорных матриц вводятся дополнительные процессорные элементы, однородная коммутационная среда и распределенная управляющая среда реконфигурации. Среда реконфигурации управляет коммутационной средой для восстановления логической структуры путем создания прямых связей между логически соседними элементами в обход отказавших элементов. Особенностью известных алгоритмов реконфигурации процессорных матриц является распределенный характер обработки данных по единым для всех процессоров правилам (клеточным правилам), что позволяет сохранять однородную структуру матрицы при ее наращивании.

Список литературы диссертационного исследования кандидат наук Динь Туан Лонг, 2014 год

СПИСОК ИСПОЛЬЗОВАННЫХ источников

1. Корнеев В.В. Вычислительные системы. М.: Гелиос АРВ, 2004. 512

с.

2. Хорошевский В.Г. Архитектура вычислительных систем.: М.: МГТУ им. Н.Э. Баумана, 2005. 512с.

3. Цилькер Б.Я. Организация ЭВМ и систем: учеб. для вузов / Орлов, С.А. : СПб.: Питер, 2004. 668 с.

4. Хамакер К. и др. Организация ЭВМ. Изд. 5-е.: СПб.: Питер, 2003.

848 с.

5. Воеводин В.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002. 608 с.

6. Таненбаум Э. Архитектура компьютера. СПб.: Питер, 2002. 704 с.

7. Бахгеяров С.А. Транспьютерная технология / под редакцией C.B. Емельянова. М.: Радио и связь, 1993. 304 с.

8. Кун С. Матричные процессоры на СБИС / Пер. с англ. М.: Мир, 1991. 672 с.

9. Пархоменко П.П. Гиперкубовая архитектура многопроцессорных вычислительных систем с реберным расположением процессорных элементов // Известия АН СССР. Техническая кибернетика. 1994. № 2. С. 170-182.

10. Каравай М.Ф. Инвариантно-групповой подход к исследованию к-отказоустойчивых систем// Автоматика и телемеханика. 2000. № 1. С. 145156.

11.Каравай М.Ф. Минимизированное вложение произвольных га-мильтоновых графов в отказоустойчивый граф и реконфигурация при отказах. II. Решетки и /^-отказоустойчивость // Автоматика и телемеханика. 2005. №2. С. 175-189.

12.Avizienis A. Toward Systematic Design of Fault-Tolerant Systems // IEEE Computer. 1997. Vol. 30. no. 4. Pp. 51-58.

13.Avizienis A., Laprie J.-C., Randell B. Fundamental concepts of dependability // Technical Report Series-University Of Newcastle Upon Tyne Computing Science. 2001. Vol. 4. no. 19.

14.Avizienis A., Laprie J.-C., Randell В., Landwehr C. Basic concepts and taxonomy of dependable and secure computing // IEEE Transactions on Dependable and Secure Computing. 2004. Vol. 1. no. 1.

15.Дж. By, К. Хуанг. Сбалансированный гиперкуб и устойчивые к отказам вложения колец // Программирование. 1995. № 1. С. 55-62.

16.Wu J. Reliable Unicasting in Faulty Hypercubes Using Safety Levels // IEEE Transactions on Computers, 1997. Vol. 46. no. 2. Pp. 241-247.

17.Wu J. On finding a Hamiltonian path in a tournament using semi-heap // Parallel Processing Letters. 2000. Vol. 10. no. 4. P. 279.

18.Wu J. Fault-tolerant adaptive and minimal routing in mesh-connected multicomputers using extended safety levels // IEEE Transactions on Parallel and Distributed Systems. 2000. Vol. 11. no. 2. Pp. 149.

19.Takanami I. A Neural Algorithm for Reconstructing Mesh-Connected Processor Arrays Using Single-Track Switcher // Proc. Int. Conf. WSI, 1995. Pp. 101-110.

20. Horita T, Takanami I. Fault-tolerant processor arrays based on the 11/2-track switches with flexible spare distributions // IEEE Trans. Computers. Jun. 2000. Vol. 49. no. 6. Pp. 542-552.

21. Сами M. и др. Перестраиваемые архитектуры матричных процессорных СБИС // ТИИЭР. 1986. № 5. С. 107-118.

22.Horita Т. et al. Fault-Tolerant Processor Arrays Based on the VA Track Switsnes with Flexible Spare Distributions // IEEE Trans, on Computers, 2000. Vol. 49. № 6. Pp. 542-552.

23.Cappelo F. IESP Exascale Challenge: Resilience and Fault Tolerance // International Journal of High Performance Computer Applications. 2011. Vol. 25. № 1.

24.Kung S.Y., Jean S.N., Chang C.W. Fault-tolerant array processors using single-track switches// IEEE Trans. Computers. Apr. 1989. Vol.38. №4. Pp. 501-504.

25.Agarwal T., Sharma A. Topology-aware task mapping for reducing communication contention on large parallel machines // Proceedings of IEEE International Parallel and Distributed Proceeding Symposium, April 2006.

26.Geist A., Cappello F. IESP Exascale Challenge: Resilience and Fault Tolerance // International Journal of High Performance Computer Applications. 2011. Vol. 25. No. 1.

27.Ortega-Sanchez C., Mange D., Smith S., Tyrrell A.M. Embryonics: A Bio-Inspired Cellular Architecture with Fault-Tolerant Properties // Genetic Programming and Evolvable Machines, 2000. Vol. 1. No. 3. Pp. 187-215.

28.Pham H.-M., Pillemet S., Demigny D. A Fault-Tolerant Layer for Dynamically Reconfigurable Multi-processor System-on-Chip // International Conference on Reconfigurable Computing and FPGAs, 2009. Mexico. Pp. 284-289.

29. Chen J-j, Yang C-y, Kuo T-w, Tseng S-y. Real-Time Task Replication for Fault Tolerance in Identical Multiprocessor Systems // Real-Time and Embedded Technology and Applications, IEEE Symposium - RTAS , 2007. Pp. 249258.

30. Vakili S., Fakhraie S, Mohammadi S., Ahmadi A. Low-cost fault tolerance in evolvable multiprocessor systems: a graceful degradation approach // Journal of Zhejiang University Science A. June 2009. Vol. 10. Iss. 6. Pp. 922-926.

31. Greenwood G., Tyrrell A. Introduction to Evolvable Hardware: A Practical Guide for Designing Self-Adaptive Systems, Wiley-IEEE Press, 2006.

32. Collet J.-G., Zajac P. Chip Self-Organization and Fault Tolerance in Massively Defective Multicore Arrays // IEEE Transactions on Dependable and Secure Computing. April 2011. Vol. 8. № 2. Pp. 207-217.

33.Baeg S.-C., Kyu S., Park S.-K. Cooperation in Multi-agent Systems, Intelligent Computer Communications (ICC'95), Cluj-Napoca, Romania, June 1995. Pp. 1-12.

34.Bradley D., Tyrell A. Immunotronics: Hardware fault tolerance inspired by the immune system // ICES. 2000. Pp. 11-20.

35.Ortega C., Tyrrell A. Evolvable Hardware for Fault-Tolerant Applications // IEE Colloquium on Evolvable Hardware Systems. London, 1998.

36.Ortega C., Tyrrell A. Self-Repairing Multicellular Hardware: A Reliability Analysis // in: Floreano D. et al. (Eds.), Advances in Artificial Life, Proc. of the 5th European Conference, ECAL. Lausanne, Switzerland, 1999.

37.Ledlie J, Taylor J., Serban L. Self-organization in peer-to-peer systems. In 10th EW SIGOPS, September 2002.

38.Кефард Д., Чесс Д. Концепция саморегулирующихся вычислений // Открытые системы. 2003. № 2. С. 17-26.

39.Zhang, X., Dragffy, G., Pipe, A.G., Zhu, Q.M. Artificial Innate Immune System: an Instant Defense Layer of Embryonics // Proceedings of the 3rd International Conference on Artificial Immune Systems. 2004. Catania, Italy. Pp. 302-315.

40.Bradley, D.W., Tyrrell, A.M.: Immunotronics: Novel Finite-State-Machines Architectures with Built-in Self-Test Using Self-Nonself differentiation // IEEE Transactions on Evolutionary Computation, 2002. Vol. 6. No. 3. Pp. 227238.

41.Колосков B.A., Титов B.C. Управляющая система с самоорганизующим слоем //Автометрия. 1997. № 4. С. 113-120.

42.Колосков В.А., Титов B.C. Метод самоорганизации отказоустойчивой мультимикроконтроллерной сети // Автоматика и телемеханика. 1998. №3. С. 173-183.

43.Колосков В.А., Медведева М.В., Медведев А.В. Клеточная самоорганизация отказоустойчивого мультимикроконтроллера //Автоматика и вычислительная техника. 2000. № 2. С. 64-73.

44.Koloskov V.A., Medvedeva M.V. Algorithms of Recustomizing of Fault-Tolerant Multicontrollers // Supplement of the 2001 IEEE International Conference on Dependable Systems and Networks. Goteborg. Sweden. July 2001. P. B-22.

45.Koloskov V.A., Medvedeva M.V. Models of Active Environment of Self-Organization of Fault-Tolerant Multicontrollers // Programming and Computer Software. 2001. Vol. 27. № 6. Pp. 67-76.

46.Колосков B.A., Медведев A.B., Медведева M.B. Построение клеточных алгоритмов самоорганизации мультимикроконтроллеров с программируемым резервом // Автоматика и телемеханика. 2002. № 1. С. 161-172.

47. Medvedeva M.V., Koloskov V.A. Self-Organization of Cellular Environment and Reproduction of the Network Logical Structure // Nuclear Inst. And Methods in Physics Research, A. April 2003. Vol. 502/2-3. Pp. 540-542.

48.Колосков B.A., Динь Туан Лонг, Павлюченко Д.В. Клеточные алгоритмы адаптивной маршрутизации отказоустойчивых мультиконтролле-ров. // Труды XI Международной научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике». Пенза, 2011. С. 24-26.

49.Колосков В.А., Динь Туан Лонг, Павлюченко Д.В. Самоорганизующаяся среда реконфигурации отказоустойчивого мультиконтроллера // Клеточные алгоритмы адаптивной маршрутизации отказоустойчивых муль-тиконтроллеров. // Труды XI Международной научно-технической конфе-

ренции «Проблемы информатики в образовании, управлении, экономике и технике». Пенза, 2011. С. 26-28.

50.Павлюченко Д.В., Динь Туан Лонг, Колосков В.А. Клеточные модели оптимальной маршрутизации в многопроцессорных системах с отказами // Труды IX Всероссийской научной конференции «Информационные технологии, системный анализ и управление». Таганрог, 2011. Т. 1. С. 196207.

51.Павлюченко Д.В., Динь Туан Лонг, Колоскова Г.П. Клеточные модели поиска непесекающихся подсеток в многопроцессорных системах // Труды IX Всероссийской научной конференции «Информационные технологии, системный анализ и управление». Таганрог, 2011. Т. 1. С. 207-215.

52.Колосков В.А., Динь Туан Лонг, Павлюченко Д.В. Самореконфигурация в решетчатых структурах многопроцессорных систем // Труды конференции с международным участием «Технические и программные средства систем управления, контроля и измерения» УКИ'12. М. ИПУ РАН, 2012.

53.Колосков В.А., Динь Туан Лонг, Павлюченко Д.В. Клеточные модели самореконфигурации отказоустойчивых многопроцессорных систем // Труды международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе» 1Т + 8Е'2012. Приложение к журналу «Открытое образование», 2012. С. 87-89.

54.Колосков В.А., Динь Туан Лонг, Павлюченко Д.В. Клеточные алгоритмы реконфигурации и маршрутизации на базе естественно-подобной среды // Труды международной конференции «Параллельные вычисления и задачи управления» РАСО'12. М. ИПУ РАН, 2012. С. 149-161.

55.Колосков В.А., Колоскова Г.П., Динь Туан Лонг. Управляемая клеточная непрерывная среда самореконфигурации многопроцессорных систем // Информационные технологии. 2012. № 9. С. 22-27.

56.Колосков В.А., Колоскова Г.П., Павлгоченко Д.В., Динь Туан Лонг. Передача сообщений в реконфигурируемой отказоустойчивой многопроцессорной системе // Информационные технологии. 2013. № 10. С. 29-35.

57.Колосков В.А., Колоскова Г. П., Динь Туан Лонг, Павлюченко

Д.В. Адаптивное сетевое управление маршрутизацией в реконфигурируемых системах// Мехатроника, автоматизация, управление. 2013. № 8. С. 39-46.

58.Черкесов Н.Г. Надежность аппаратно-программных комплексов. СПб.: Питер, 2005. 479 с.

59.Ушаков И.А. Курс теории надежности систем. М.: Дрофа, 2008. 239

с.

60.Metra С., Ferrari A., Onalia М., Pagni A. Hardware Reconfiguration Scheme for High Availability Systems // Proceeding of the 10th International OnLine Testing Symposium (OLTS'04). 2004.

61.Lin H., Chen S., Wu J. Feeder reconfiguration for distribution system contingencies with immune algorithm // Power Tech Proceedings, 2001-IEEE Porto, 10 Sep. 2001-13 Sep. 2001.

62.Dutt S., Hayes J. An Autumorphic Approach to the Design of Fault Tolerant Multiprocessors //Proc. FTS-19, Washington. 1989. Pp. 496-504.

63. Zhang L. Fault-Tolerant Meshes with Small Degree // IEEE Trans. Comput. 2002. Vol. 51. Pp. 5553-5560.

64.Дж. By, Хуанг К. Сбалансированный гиперкуб и устойчивые к отказам вложения колец //Программирование. 1995. № 1. С. 55-62.

65.Wu J. On finding a Hamiltonian path in a tournament using semi-heap // Parallel Processing Letters. 2000. Vol. 10. no. 4. Pp. 279.

66.Wu J. Fault-tolerant adaptive and minimal routing in mesh-connected multicomputers using extended safety levels // IEEE Transactions on Parallel and Distributed Systems. 2000. Vol. 11. no. 2. Pp. 149.

67.Su C.-C., Shin K. G. Adaptive fault-tolerant deadlock-free routing in meshes and hypercubes // IEEE Transactions on Computers. 1996. Vol. 45. no. 6. Pp. 666-683.

68,Ozguner F. A Reconfiguration Algorithm for Fault Tolerance in a Hy-percube Multiprocessor // Information Processing Letters. Nov. 1998. Vol. 29. Pp. 247-254.

69.Latifi S. Distributed Subcube Identification Algorithm for Reliable Hypercubes // Information Processing Letters. June 1991. Vol. 38. Pp. 315-321.

70.Bruck J. et al. Efficient Fault-Tolerant Mesh and Hypercube Architectures // Proc.22 Inf 1 Symp. Fault-tolerant Computing, July 1992. Pp. 162-169,

71.Chen H.L., Tzeng N.F. Subcube Determination in Faulty Hypercubes // IEEE Trans. Computers. Aug. 1997. Vol. 46. no. 8. Pp. 871-879.

72.Chen H.L., Tzeng N.F. A Boolean Expression-Based Approach for Maximum Incomplete Subcube Identification in Faulty Hypercubes // IEEE Trans. Parallel and Distributed Systems. Nov. 1997. Vol. 8. no.11. Pp. 1171-1183.

73.Степаненко С.А. Топологическое резервирование мультипроцессорных сред выделенными элементами // Труды РФЯЦ-ВНИИ ЭФ. 2005. № 10. С. 50-60.

74.Степаненко С.А., Южаков В.В. Эксафлопные супер ЭВМ. Контуры архитектуры // Параллельные вычисления и задачи управления РАСО 2012. Т. 3. С. 67-81.

75.Wu J., Srikanthan Т. Accelerating reconfiguration of degradable VLSI arrays // IEE Proceedings - Circuits, Devices and Systems, August 2006. Vol. 153. No. 4. Pp. 383-389.

76. Wu J., Guiyuan J. Algorithm for Communication Synchronization on Reconfigurable Processor Arrays with Faults // Parallel and Distributed Processing Symposium Workshops & PhD Forum (IPDPSW), 2012 IEEE 26th International. 21-25 May 2012. Pp. 266-270.

77. Уваров С.С. Проектирование реконфигурируемых отказоустойчивых систем на ПЛИС с резервированием на уровне ячеек // Автоматика и телемеханика. 2007. № 9. С. 176-189.

78. Zhang Y., Wang Y., Yang S., Xie M. Design of a cell in embryonic systems with improved efficiency and fault-tolerance // Evolvable Systems: From Biology to Hardware, 8 conf., ICES 2007. Pp. 129-139.

79.Mokhtar M., Hallinday D., Turrell A. Hippocampus-Inspired Spiking Neural Network on FPGA // Evolvable Systems: From Biology to Hardware, 8 conf. ICES, 2008. Pp. 262-272.

80.Shayani H., Bentley P., Turrell A. A Cellular Structure for Online Routing of Digital Spiking Neuron Axons and Dendrites on FPGAs // Evolvable Systems: From Biology to Hardware, 8 conf. ICES, 2008. Pp. 273-285.

81. Катаев О.В. Об одном подходе к построению отказоустойчивых бортовых многопроцессорных вычислительных управляющих систем // Искусственный интеллект. 2008. № 4. С. 538-544.

82. Wolfram S. A new king of science // USA: Wolfram media Inc., 2002. -1197 c.

83. Аладьев В.З. Классические однородные структуры. Клеточные автоматы. Publisher bu Fultus Publising. 2009. 529 с.

84.Бандман О.Л. Мелкозернистый параллелизм в вычислительной математике // Программирование. 2001. № 4. С. 5-20.

85.Бандман О.Л. Метод построения клеточно-автоматных моделей процессов формирования устойчивых структур // Прикладная дискретная математика. 2010. № 4. С. 91-99.

86.Бандман О.Л. Клеточно-автоматные модели пространственной динамики // Системная информатика. 2005. № 5. С. 57-113.

87.Бандман О.JI. Методы композиции клеточных автоматов для моделирования пространственной динамики // Вестник Томского государственного университета. 2002. № 9. С.118-192.

88. Sarkar P. A brief history of cellular automata // ACM Сотр. Surveys. 2000. Vol. 32. no. 1.

89. Бессонов Л.А. Теоретические основы электротехники. Электрические цепи. М.: Гардарики, 2007.

Приложение 1. Эволюция клеточного массива композиции (КАУ?, (КАсо КАШ)) для синхронного поиска

1 итерация

■и): :00 хг: 00 4 0:00 XI-: 00 хО: ;00 хг; 00 >0: :00 хг :01 ХО: :00 ч г : 00 ХО: : 00 м- :00

50,00 50,00 50,00 50,00 50, СО 50.00

00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0.00

0,00 0.00 0.00 0,00 0,00 0.00

0,00 0,00 0, со 0.00 0,00 0,00

• и: :С0 м :С0 «о- 00 чг: 00 -0: : 00 чг : 00 ;»0: :С0 хг :СО ХО: : 00 Хг :01 40; : 00 чг :00

50,00 50,00 50, СО 50,00 50,00 50,00

0 0 00 00 00 00 со СО 00 00 СО 00 00 00 00 00 00 00 00 00 00 00 00 00 00

0,00 0,00 0, СО 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0.00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

40: 00 ХГГ00 хо.-оо Л г: 01 х0:01 хг: 00 ХО; :О0 хг ,* 00 хО: г 00 чг :00 ХО: ;00 хг: 00

50,00 0,00 50,00 50,00 50,00 50,00

00 00 00 00 01 00 00 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 00

0,00 •50,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0.00 0,00 0,00 0,00 0,00

0,00 0,00 50,00 0,00 0,00 0,00

• 0: : 00 \г :00 0: 00 чг :00 >0: :С0 хг : 00 ХО :00 хг :01 40 : 00 чг : 00 чО :00 чг: 00

50.00 50,00 50, СО 50,00 50,00 50,00

п 0 00 00 0'} со 00 00 00 00 СО 00 Ои 00 00 00 00 00 00 00 00 00 00 00 00

0.00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,С0 0,00 0,00 0,00

0.00 0,00 о.со 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

>0 :00 чг : 00 \0 : 00 > г; 00 40; 00 хг: 00 ХО: : 00 хг : 00 ХО: :О0 хг : 00 40: :00 хг :01

50,00 50,00 50,00 50,00 50,00 50,00

00 00 00 00 00 00 00 00 00 со 00 СО 00 00 00 00 00 00 00 00 00 00 00 00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,С0 0,00 0.00 0,00

0,00 0,00 0,00 0,00 0,00 0.00

0,00 0,00 0,00 С, 00 0,00 0,00

> 0 :оО * Г : СО чо '00 V :01 \0' : 00 чг : 00 40: :00 хг: 00 ХО: :00 хг :О0 >.0: :00 М- :00

50. СО 50,00 50, СО 50,00 50,00 50,00

по 00 00 СО 00 00 00 00 00 СО 00 СО 00 СО 00 00 00 00 00 00 00 00 00 00

0. со 0,00 0,00 0,00 0,00 0,00

0,00 0.00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

\0 : 00 \г :00 \0 : 00 хг :00 ХО :00 хг: 00

50,00 2 5,00 50,00

00 00 00 СО 00 01 01 00 00 00 00 00

0,00 0,00 0,00

0,00 2 5,00 0,00

0,00 -25,00 0,00

0,00 0,00 0,00

40 : 00 хг :00 ХО :01 Хг: 00 ХО : 00 ХГ.-00

50,00 50,00 50,00

00 00 00 00 00 01 00 00 00 00 00 00

0,00 0,00 0,00

0,00 2 5,00 0,00

0,00 0,00 0,00

0,00 0, со 0,00

:00 >г; 00 >0 : 00 хг :01 ХО : 01 г: 00

50 .Со 0,00 50.00

00 00 00 00 01 00 00 00 00 00 00 01

0,00 -50,00 0,00

0,00 0,00 0.00

0,00 0,00 0,00

0,00 0,00 50,00

Х0; : 00 ХГ: 00 х0:00 хг:00 ХО: :00 хг: 00

50,00 50,00 50,00

00 00 00 00 00 00 00 00 00 00 00 00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0.00

0,00 0,00 0,00

: 00 \г :00 \0: 00 хг :00 хО: 00 г: 00

50.СП 50,00 50,00

00 00 00 00 00 00 00 00 00 00 00 ОС

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

ХО: 00 ХГ :00 ХО: 00 хг : 01 ХО: 00 хг :00

50,00 0,00 50,00

00 00 00 00 00 00 01 00 00 00 00 00

0.00 0,00 0,00

0,00 0,00 0.00

0,00 ■25,00 0,00

0,00 0.00 0,00

Х0:00 Хг: 01 ХО : 00 хг :00 ХО : 00 хг: 00

50,00 50.00 50,00

00 00 00 00 00 00 00 00 00 со 00 00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

ХО :00 Хг: 00 40 : 00 хг :01 Х0:00 хг :00

50,00 50,00 50,00

00 00 00 00 00 00 00 00 00 00 00 00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

хО :00 хг: 00 ХО :00 хг : 00 ХО :00 >г :00

50,00 50,00 50,00

00 00 00 00 00 00 00 00 00 СО 00 00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

ХО :00 хт: 01 ХО : 00 ХГ : СО >0 :00 ХГ :00

50,00 50,00 50,00

00 00 00 00 00 00 00 00 00 00 00 00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

%0: 00 хг :00 "0: 00 Хг :00 ХО: 00 М- :01

50,00 50,00 50,00

00 00 00 00 00 00 00 00 00 00 00 00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

ХО: 00 ХГ-.00 хО: 00 XI-: 00 лО: 00 ХГ .'ПО

50,00 50,00 50,00

00 00 00 00 00 00 00 00 00 00 00 00

0,00 0,00 0,00

0.00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0.00

ХО: 00 хг :00 \0:00 >г:00

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0,00 0,00

0,00 0,00

0,00 0.00

ХО: 00 хг :00 ХО: 01 хг: 00

Л -1 Ь Э , > > 50,00

01 00 00 01 00 00 00 01

•16,6" 0,00

0,00 0,00

0,00 0,00

16,6~ 16,6-

ХО: 00 хг :00 ХО: 00 XI- :01

50,00 0,00

00 00 00 00 01 00 00 00

0,00 50,00

0,00 0,00

0,00 0,00

0,00 0,00

ХО: 00 Хг :00 ХО: 00 хг :00

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0.00 0,00

0,00 0,00

0,00 0,00

ХО :00 хг: 00 ХО :01 хг :00

50,00 50,00

00 00 00 00 00 00 01 00

0,00 0,00

0,00 0,00

0,00 50,00

0,00 0,00

ХО :00 хг: 00 ХО : 00 Хг :01

50,00 0,00

00 00 00 00 00 01 00 00

0.00 0,00

0,00 -50,00

0,00 0,00

0,00 0,00

ХО: 00 Хг : 00 ХО: 00 ХГ: 01

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0,00 0,00

0,00 0,00

0,00 0,00

ХО: 00 хг :00 ХО: 00 хг :00

50,00 50,00

00 00 00 со 00 00 00 00

0,00 0,00

0,00 0,00

0, со 0,00

0,00 0,00

ХО :01 хг: 00 ХО: 00 хг :00

50,00 50,00

00 00 00 01 00 00 00 00

0,00 0,00

0,00 0,00

0,00 0,00

50,00 0,00

ХО: 00 хг : 00 ХО: 00 хг: 01

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0,00 0,00

0,00 0,00

0,00 0,00

ХО : 00 Хг :00 хО :00 хг :00

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0,00 0,00

0,00 0,00

0,00 0,00

ХО :00 >.г: 00 ХО : 00 хг: 00

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0.00

0,00 0,00

0.00 0,00

0,00 0,00

>,0: 00 Хг :00 ХО: 00 Хг :00

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0,00 0,00

0,00 0,00

0,00 0,00

хО: 00 хг :01 ХО: 00 хг : 00

0,00 1 б , б ~

01 00 00 00 01 00 00 01

16. 6Г ■16,6Г

0,00 0.00

0,00 0,00

0,00 16,6~

хО: 00 хг :00 ХО: 00 хг : 00

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0,00 0,00

0,00 0,00

0,00 0,00

ХО: 00 хг : 00 ХО: 00 хг : 00

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0,00 0.00

0,00 0,00

0,00 0,00

ХО :00 хг: 00 ХО :00 хг :01

50,00 50,00

00 00 00 00 00 00 00 00

0,00 0,00

0,00 0,00

0,00 0.00

0,00 0,00

хО : 00 хг :00 ХО : 00 хг :00

50,00 50,00

00 00 00 00 00 00 00 00

0.00 0.00

0,00 0,00

0,00 0,00

0.00 0.00

ХО :00 хг :00 хО : 00 хг : 00 ХО: : 00 хг :00

50,00 50,00 50,00

00 00 00 00 00 00 00 00 00 00 00 00

0.00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 0,00

■» о; : 00 хг : 00 ХО; :01 хг :00 ХО: :00 хг: 00

50,00 50,00 3 3.33

00 00 00 00 01 00 00 00 01 00 00 01

о,со 16.67 16,6'

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 • 16,6-

ХО: :00 хг :00 ХО : 00 хг :01 ХО'.О! хг: 00

50,00 0,00 50,00

00 00 00 00 01 00 00 00 00 00 00 01

0,00 -50,00 0,00

0.00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 50,00

ХО :00 > г : 00 ХО :01 хг : 00 ХО: :00 хг: 00

50,00 50,00 2 5,00

00 00 00 00 01 00 00 00 01 00 00 01

0,00 25 ,00 2 5,00

0,00 0,00 0,00

0,00 0,00 0,00

0,00 0,00 •25,00

ХО : 00 хг :00 ХО :01 хг :00 хО: :00 хг : СО

50.00 50,00 50,00

Си 00 00 00 00 00 01 00 00 00 00 СО

0,00 0,00 0,00

0,00 0,00 0,00

0,00 50,00 0,00

0,00 0,00 0,00

'> 0: :00 хг :00 ХО; :00 >,г :01 ХО: : 00 хг: СО

50,00 0,00 50,00

00 00 00 00 00 01 00 00 00 00 00 00

0,00 0,00 0.00

0.00 -50,00 0,00

0,00 0,00 0,00

0,00 0,00 0.00

ХО: :00 хг: 01 ХО: : 00 хг: 00 ХО; : 00 хг : 00

0,00 50,00 50,00

00 00 01 00 00 00 00 00 00 00 00 00

0,00 0,00 0,00

0,00 0,00 0,00

-16,67 0,00 0,00

0,00 0,00 0.00

ХО; : 00 хг :00 ХО: :00 Хг ; 03. >0: : 00 ХГ : 00

16,67 50,00 50.00