Методология и технические решения для проведения олимпиад по информатике и программированию тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Станкевич, Андрей Сергеевич

• Станкевич, Андрей Сергеевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Станкевич, Андрей Сергеевич

ОГЛАВЛЕНИЕ.

ВВЕДЕНИЕ.

ГЛАВА 1. СОРЕВНОВАНИЯ ПО ПРОГРАММИРОВАНИЮ.

1.1. Обзор соревнований по программированию.

1.1.1. Соревнования по программированию среди студентов.

1.1.2. Соревнования по информатике и программированию среди школьников.

1.1.3. Учебно-тренировочные сборы.

1.1.4. Летние школы.

1.1.5. Интернет-архивы задач.

1.2. Сценарии тестирования программных решений.

1.3. Системы оценки и подведения итогов соревнований по программированию.

1.3.1. Система подведения итогов студенческого чемпионата мира по программированию.

1.3.2. Система международной олимпиады школьников по информатике {ЮГ), использовавшаяся до 2009 г.

1.3.3. Новая система международной олимпиады школьников по информатике (ЮГ).

1.3.4. Системы с баллами за задачу, зависящими от времени ( Торсо(1ег, Сойе^гсез).

1.4. Системы автоматического проведения соревнований по программированию.

1.5. Задачи, решаемые в диссертационной работе.

Выводы по главе 1.

ГЛАВА 2. МЕТОДОЛОГИЯ ПРОВЕДЕНИЯ СОРЕВНОВАНИЙ ПО

ИНФОРМАТИКЕ И ПРОГРАММИРОВАНИЮ.

2.1. Требования к проведению соревнований по программированию

2.1.1. Требования к проведению соревнований.

2.1.2. Требования к системе автоматического управления соревнованиями.

2.2. Организация очной командной олимпиады школьников по программированию.

2.2.1. Организационная структура олимпиады.

2.2.2. Схема проведения заключительного этапа.

2.2.3. Организация отбора на олимпиаду.

2.2.4. Принцип формирования комплекта задач.

2.3. Организация серии интернет-соревнований.

2.3.1. Требования к серии интернет-соревнований.

2.3.2. Сравнительный анализ существующих интернет-соревнований

2.3.3. Схема цикла интернет-олимпиад.

2.4. Методология проведения олимпиад по информатике и программированию с использованием автоматической системы управления соревнованиями.

2.5. Использование соревнований для поиска, отбора и обучения школьников и студентов, одаренных в области информатики и программирования.

Выводы по главе 2.

ГЛАВА 3. ФОРМАЛЬНЫЕ МЕТОДЫ ОПИСАНИЯ СЦЕНАРИЕВ ТЕСТИРОВАНИЯ ПРОГРАММНЫХ РЕШЕНИЙ И ПОДВЕДЕНИЯ

ИТОГОВ СОРЕВНОВАНИЙ.

3.1. Сценарии тестирования программных решений.

3.1.1. Левоконтекстные терминальные грамматики.

3.1.2. Задание сценариев тестирования левоконтекстными терминальными грамматиками.

3.1.3. Обработка ошибок при выполнении сценариев.

3.1.4. Реализация выполнения сценария тестирования с использованием стековой машины.

3.1.5. Алгоритмы анализа контекстно-свободных грамматик с возможностью бесконечных цепочек порождений.

3.1.6. Верификация свойств сценариев тестирования.

3.1.7. Пример задания и анализа сценария тестирования.

3.2. Унифицированный метод обработки результатов и подведения итогов соревнований для различных систем оценки.

3.2.1. Модель подведения итогов соревнования.

3.2.2. Реализация различных систем оценки с использованием предлагаемого подхода.

Выводы по главе 3.

ГЛАВА 4. СИСТЕМА АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ СОРЕВНОВАНИЯМИ.

4.1. Компонентная модель построения системы автоматического управления соревнованиями.

4.2. Модель данных в системе автоматического управления соревнованиями.

4.2.1. Описание классов в модели данных.

4.2.2. Сравнение с другими системами управления соревнованиями по программированию.

4.3. Работа со сценариями тестирования.

4.3.1. Реализация работы со сценариями тестирования.

4.3.2. Сравнение с другими системами управления соревнованиями по программированию.

4.4. Подведение итогов соревнований.

4.4.1. Реализация подведения итогов соревнований.

4.4.2. Сравнение с другими системами управления соревнованиями по программированию.

4.5. Итоговое сравнение с другими системами управления соревнованиями по программированию.

Выводы по главе 4.

ГЛАВА 5. ВНЕДРЕНИЕ РЕЗУЛЬТАТОВ РАБОТЫ.

5.1. Проведение олимпиад по информатике и программированию.

5.1.1. Всероссийская командная олимпиада школьников по информатике и программированию.

5.1.2. Цикл интернет-олимпиад.

5.1.3. Индивидуальная олимпиада школьников по информатике и программированию.

5.1.4. Кубок по программированию Russian Code Сир.

5.2. Внедрение в учебный процесс.

5.2.1. Обучение школьников.

5.2.2. Тестирования абитуриентов.

5.2.3. Обучение студентов.

5.2.4. Использование олимпиадного подхода для проверки некоторых научных результатов.

Выводы по главе 5.

Введение диссертации (часть автореферата) на тему «Методология и технические решения для проведения олимпиад по информатике и программированию»

Актуальность проблемы. Различные творческие конкурсы для школьников и студентов проводятся с конца XIX века [52]. Предметные олимпиады в СССР проводились с 1934 г., когда была проведена первая "олимпиада школьников Ленинграда по математике [52]. В 1985 г. в Ленинграде была проведена первая олимпиада школьников по информатике [29, 52]. В США в 1977 г. был проведен первый межвузовский чемпионат по программированию, который в дальнейшем был преобразован в чемпионат мира по программированию среди студентов, проводимый АСМ [78]. В России соревнования студентов по программированию проводятся с 1996 г., когда впервые был проведен полуфинал чемпионата мира по программированию, который также стал чемпионатом России по программированию [72]. С 2000 г. число различных соревнований по информатике и программированию для школьников и студентов постоянно растет.

Рост числа соревнований по информатике и программированию обусловлен рядом причин.

Олимпиады поддерживаются университетами, поскольку участие в олимпиадах позволяет сформировать у школьников и студентов интерес к информатике и программированию, вовлечь школьников в занятия информатикой и программированием, стимулировать тем самым поступление на специальности соответствующего профиля. Большое число олимпиад проводится Санкт-Петербургским национальным исследовательским университетом информационных технологий, механики и оптики (НИУ ИТМО) при участии автора данной работы [42, 51, 54, 56, 84, 88, 94], Московским государственным университетом, Саратовским государственным университетом, Новосибирским государственным университетом, Уральским федеральным университетом, Петрозаводским государственным университетом и многими другими университетами, в том числе за рубежом [6, 53, 57, 59, 62, 63, 66, 79]. Олимпиады позволяют найти и отобрать способных школьников и студентов, которые в дальнейшем могут обучаться по углубленным программам. Олимпиады способствуют усвоению фундаментальных знаний из области теоретической информатики, что позволяет привлечь победителей и призеров олимпиад к занятиям наукой

55]Г

Поддержка олимпиад осуществляется государством через гранты Министерства образования и науки РФ, а также компаниями, специализирующимися на разработке программного обеспечения. При этом, например, под руководством автора в 2011 г. НИУИТМО совместно с компанией Mail.Ru Group был проведен кубок Russian Code Сир. Соревнования по программированию проводятся компаниями Google, Microsoft, Facebook, Яндекс. С 1997 г. генеральным спонсором чемпионата мира по программированию является корпорация IBM. Для компаний олимпиады представляют собой способ поиска и отбора высококвалифицированных сотрудников, а также предоставляют возможность для распространения информации об инженерной и исследовательской работе, проводимой компаниями. Особую важность для России представляет популяризация профессии программиста как творческого труда, требующего высокой квалификации.

Одним из важных отличий соревнований по информатике и программированию от большинства предметных олимпиад является автоматизация проверки работ участников. Если проверку работ, например, на олимпиадах по математике, жюри проводит вручную, выставляя оценки, то при проведении олимпиад по информатике и программированию проверка осуществляется в реальном времени с использованием автоматизированных систем управления соревнованиями. Первые системы, например PC, разработанная в Калифорнийском университете [74] и использовавшаяся на чемпионате мира по программированию с 1989 по 2009 г., были лишь вспомогательным инструментом, предназначенным для технической поддержки жюри, осуществлявшего ручную проверку решений. В России одной из первых систем автоматической проверки решений была разработанная в СПбГИТМО (ТУ) и СПбГУ в 1996 г. система NPC. Она была написана в форме набора скриптов операционной системы Windows и осуществляла поддержку только используемой в то время формы соревнований. В дальнейшем при активном участии автора диссертации в СПбГУ ИТМО была разработана и внедрена в проведение олимпиад по информатике и программированию автоматическая система управления соревнованиями PCMS [85, 90, 92].

Поскольку проверка и подведение итогов соревнования по программированию происходят в реальном времени, важным является надежность системы управления соревнованиями. Например, в 2011 г. при проведении в Бухаресте и Виннице полуфинальных соревнований в Юго-Восточном Европейском регионе из-за проблем в автоматической системе проведения не удалось осуществлять надежное взаимодействие между двумя местами проведения. Кроме того, из-за недостаточной производительности использованной системы управления соревнованиями (PC, версия 8.6, 2009 г.), не удалось объективно подвести итоги соревнования и выявить победителей. В частности, ряд попыток решения задач вообще не был проверен [75, 80].

Помимо собственно олимпиад по информатике и программированию, на их основе был предложен и развивается соревновательный подход в образовании [6, 8, 15- 18, 21, 31, 38, 40, 43-49, 84]. Так, в 2003 г. оргкомитетом чемпионата мира по программированию среди студентов был организован Competitive Learning Institute (Институт соревновательного обучения). В России использование соревновательного подхода в обучении развивалось при активном участии автора [88, 89].

В связи с изложенным актуальными являются две проблемы: разработка методологии проведения олимпиад по информатике и программированию, и разработка и внедрение технических решений для проведения олимпиад.

Методология должна систематизировать накопленный опыт организации и проведения олимпиад в стране и за рубежом. В рамках методологии необходимо сформулировать и обосновать требования к проведению олимпиад, включающие требования к автоматической системе управления соревнованиями. Технические решения должны поддерживать разработанную методологию и включать разработку автоматической системы управления соревнованиями по программированию, удовлетворяющую требованиями, сформулированным в рамках предложенной автором методологии.

В соответствии с паспортом специальности 05.13.06. «Автоматизация и управление технологическими процессами и производствами (образование)» областями исследования, проводимыми в диссертации, в частности, являются «3. Методология, научные основы и формализованные методы построения автоматизированных систем управления технологическими процессами (АСУТП) и производствами (АСУП), а также технической подготовкой производства (АСТПП) и т. д.» и «18. Средства и методы проектирования технического, математического, лингвистического и других видов обеспечения АСУ».

Цель диссертационной работы — разработка методологических и технических решений для организации и проведения олимпиад по информатике и программированию. Для этого были поставлены и решены следующие задачи:

1. Разработать методологию проведения олимпиад по информатике и программированию с использованием автоматической системы управления соревнованиями.

2. Разработать формальные методы описания сценариев тестирования программных решений, унифицированный метод обработки результатов и подведения итогов соревнований, модель представления данных в системе, обеспечивающую эффективное переиспользование материалов олимпиад.

3. Создать автоматическую систему управления соревнованиями по программированию.

4. Внедрить разработанные методологию и автоматическую систему в практику проведения олимпиад по информатике и программированию.

5. Внедрить разработанные методологию и автоматическую систему в учебный процесс при работе со школьниками, абитуриентами и студентами.

Научная новизна. На защиту выносятся следующие результаты, обладающие научной новизной.

1. Формальный метод описания сценариев тестирования программных решений на основе левоконтекстных терминальных грамматик, позволяющий проводить автоматическую верификацию некоторых свойств сценариев.

2. Унифицированный метод обработки результатов и подведения итогов соревнований в автоматической системе управления соревнованиями по программированию.

3. Модель представления данных о соревнованиях, позволяющая осуществлять эффективное переиспользование материалов соревнований.

Методы исследования. В работе использованы методы теории формальных языков, дискретной математики и теории алгоритмов.

Достоверность научных положений, выводов и практических рекомендаций, полученных в диссертации, подтверждается корректным обоснованием постановок задач, точной формулировкой критериев, а также результатами внедрения методологии и технических решений, предложенных в диссертации, на практике.

Практическое значение. В результате исследований, проведенных в диссертации, разработаны методология проведения олимпиад по информатике и программированию и автоматическая система управления соревнованиями по программированию PCMS, которые используются:

1. При проведении олимпиад по информатике и программированию, в том числе: о Всероссийской командной олимпиады школьников по информатике и программированию, которая проводится под руководством автора с 2000 г. по настоящее время; о серии интернет-олимпиад школьников по информатике и программированию; о индивидуальной олимпиады по информатике и программированию; о олимпиады Russian Code Сир.

2. В учебном процессе на кафедре «Компьютерные технологии» НИУ ИТМО при проведении практических занятий по курсам «Дискретная математика и алгоритмы», «Алгоритмы и структуры данных», «Теория формальных языков», «Языки программирования и методы трансляции», «Алгоритмы алгебры и теории чисел».

3. В учебном процессе на кафедре «Компьютерные технологии» НИУ ИТМО при проведении вступительных тестирований абитуриентов с 2000 по 2007 г.

4. В дополнительном обучении информатике и программированию школьников, например, в Физико-математическом лицее № 239 (Санкт-Петербург).

Апробация результатов работы. Основные положения диссертационной работы докладывались на научно-методических конференциях «Современные технологии обучения» (СПбГЭТУ, 2002), «Телематика-2004» (СПбГУ ИТМО), «Конференция молодых ученых СПбГУИТМО» (2005), «Телематика-2005» (СПбГУ ИТМО), «Телематика

2009» (СПбГУ ИТМО), «Телематика-2010» (СПбГУ ИТМО), «Competitive Learning Institute Symposium» (Харбин, Китай, 2010).

Внедрение результатов работы. Результаты диссертации использованы при выполнении научно-исследовательских работ Министерства образования и науки РФ по темам «Создание информационной обучающей системы подготовки разработчиков программного обеспечения на основе методологии, используемой в международных олимпиадах по программированию», «Разработка концепции и методического обеспечения новой технологии обучения и контроля качества образования в области программирования», «Разработка технологии создания программного обеспечения систем управления на основе автоматного подхода», а также государственных контрактов «Выполнение работ (оказание услуг) по организации и проведению Всероссийской олимпиады школьников и студентов по информатике и программированию», «Выполнение работ (оказание услуг) по созданию системы повышения квалификации педагогических кадров в области информационных технологий на базе интегрированной информационной образовательной среды и комплекса интернет-олимпиад и творческих конкурсов».

Публикации. На тему диссертации опубликовано 13 научных работ, в том числе шесть статей, из которых две в журналах из перечня ВАК.

Награды. В 2003 г. автор в составе авторского коллектива стал лауреатом премии Президента Российской Федерации в области образования за научно-практическую работу для образовательных учреждений высшего профессионального образования «Разработка концепции и создание организационной структуры, учебно-методического и программного обеспечения инновационной системы подготовки высококвалифицированных кадров в области информационных технологий».

В 2004 г. автору была присуждена премия ACMICPC Founder's Award за вклад в развитие чемпионата мира по программированию в Европе.

В 2008 г. автору была присуждена премия ACM ICPC Distinguished Coach Award за выдающиеся достижения как тренеру команд НИУ ИТМО на чемпионате мира по программированию.

Автор является дважды призером чемпионата мира по программированию (2000 г.— четвертое место, 2001 г. — третье место), тренером трех команд — чемпионов мира по программированию (2004, 2008, 2009 гг.) и трех команд, занявших третье место на этом чемпионате (2003, 2005, 2007 гг.).

В 2009 г. автору присуждена Молодежная премия Санкт-Петербурга в области информационных технологий.

Структура диссертации. Диссертация изложена на 175 страницах и состоит из введения, пяти глав и заключения. Список литературы содержат 94 наименования. Работа проиллюстрирована 12 рисунками и 17 таблицами.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Станкевич, Андрей Сергеевич

Выводы по главе 5

1. С использованием разработанной методологии в главе 2 при участии автора организованы Всероссийская командная олимпиада школьников по информатике и программированию, цикл интернет-олимпиад для школьников, индивидуальная олимпиада школьников по информатике и программированию, соревнование Russian Code Сир.

2. Для технической поддержки соревнований используется разработанная при участии автора и описанная в главе 4 система автоматического управления соревнованиями PCMS.

3. Использование методологии проведений олимпиад в учебном процессе для школьников и студентов позволяет существенно снизить временные затраты преподавателя и повысить качество покрытия материала контрольными заданиями.

4. Учебные соревнования можно использовать для проверки некоторых научных результатов, формулируя их в форме олимпиадных задач.

ЗАКЛЮЧЕНИЕ

В работе рассмотрены основные соревнования по информатике и программированию для школьников и студентов, сформулированы и решены основные методологические и технические проблемы в проведении олимпиад на 2000 г., когда автор стал заниматься этой проблематикой.

В результате диссертационных исследований получены следующие результаты.

1. Предложен метод описания сценариев тестирования с использованием левоконтекстных терминальных грамматик. Доказано, что порождаемые ими языки совпадают с контекстно-свободными. Разработаны алгоритмы анализа некоторых свойств контекстно-свободных грамматик с учетом бесконечных цепочек порождений. Предложены алгоритмы проверки различных свойств сценария с помощью анализа задающей его левоконтекстной терминальной и соответствующей ей контекстно-свободной грамматики.

2. Предложен унифицированный метод подведения итогов соревнования и рассмотрена реализация подведения итогов для наиболее широко распространенных систем оценки с помощью предложенного метода.

3. Предложена модель представления данных о соревновании, позволяющая осуществлять эффективное переиспользование материалов соревнований.

4. На основе разработанных методов создана автоматическая система управления соревнованиями по программированию РСМБ, многолетняя эксплуатация которой продемонстрировала ее высокую надежность.

5. Разработана методология проведения олимпиад по информатике и программированию с использованием автоматической системы проведения соревнованиями.

6. С использованием разработанной методологии проведения олимпиад и созданной системы автоматического управления соревнованиями по программированию проведены различные олимпиады, в том числе: о Всероссийская командная олимпиада школьников по информатике и программированию (проводится под руководством автора с 2000 г. по настоящее время); о серия интернет-олимпиад школьников по информатике и программированию; о индивидуальная олимпиада по информатике и программированию; о олимпиада Russian Code Сир.

7. Разработанные методология проведения олимпиад и система управления соревнованиями внедрены в учебный процесс в НИУ ИТМО и ФМЛ № 239. Это позволило в 2 - 4 раза снизить временные затраты преподавателя на проверку работ и повысить качество покрытия материала контрольными заданиями.

8. За организацию и проведение Всероссийской командной олимпиады школьников по информатике и программированию и разработку автоматической системы управления соревнованиями PCMS в 2003 г. автор в составе коллектива стал лауреатом премии Президента Российской Федерации в области образования за научно-практическую работу для образовательных учреждений высшего профессионального образования «Разработка концепции и создание организационной структуры, учебно-методического и программного обеспечения инновационной системы подготовки высококвалифицированных кадров в области информационных технологий».

Дальнейшие исследования целесообразно проводить в области развития разработанных формальных методов задания и анализа сценариев тестирования, дальнейшего развития автоматической системы управления соревнованиями по программированию, а также поиска и апробации новых методов использования методологии олимпиад по информатике и программированию в учебном процессе.

Список литературы диссертационного исследования кандидат технических наук Станкевич, Андрей Сергеевич, 2011 год

1. Печатные издания на русском языке

2. Алексеев A.B. Всероссийская олимпиада по информатике // Детская компьютерная газета «Компутер». Красноярск. 1991. № 2, с. 2, 3.

3. Андерсон Д. Дискретная математика и комбинаторика. М.: Вильяме, 2004. 960 с.

4. Ахо А., Лам М., Сети Р., Ульман Дж. Компиляторы: принципы, технологии и инструментарий. М.: Вильяме, 2008. 652 с.

5. Ахо А., Ульман Дж. Теория синтаксического анализа, перевода и компиляции (Том 1. Синтаксический анализ). М.: Мир, 1978. -612 с.

6. Ахо А., Хопкрофт Д., Ульман Дж. Структуры данных и алгоритмы. М.: Вильяме, 2010. 400 с.

7. Буч Г., Рамбо Д., Джекобсон А. Язык UML. Руководство пользователя. М.: ДМК Пресс. 2001. 432 с.

8. Васильев В. Н., Елизаров Р. А., Парфенов В. Г., Столяр С. Е. Организация дистанционного обучения программистов / Тезисы докладов Всероссийской научно-методической конференции «Телематика'98». СПбГУ ИТМО. 1998, с. 172, 173.

9. Вельдер С. Э., Лукин М. А., Шалыто А. А., Яминов Б. Р. Верификация автоматных программ. СПб: Наука, 2011. 242 с.

10. Вирт Н. Алгоритмы и структуры данных. СПб.: Невский Диалект, 2008.-352 с.

11. Волынский Ю. Задачи Всесоюзной олимпиады по основам информатики 1990 г. // Вычислительная техника и ее применение. 1991. №2, с. 36-40.

12. Гамма Э., Хэлм Р., Джонсон Р., Влиссидес Дж. Приемы объектно-ориентированного проектирования. Паттерны проектирования. СПб.: Питер, 2001. 325 с.

13. Гладкий A.B. Формальные грамматики и языки. М.: Наука, 1973. -368 с.

14. Дейтел Х.М., Дейтел П. Дж., Сантри С. И. Технологии программирования на Java 2. В трех томах. М.: Бином-Пресс, 2003. 560 с.

15. Иванов И. П., Чеповский A.M., Чернышев C.B. Воспитание программистов на базе олимпиад по программированию / Труды Седьмой международной конференции памяти академика А.П. Ершова «Перспективы систем информатики». Новосибирск. 2009, с. 56, 57.

16. Казаков М. А., Васильев В. H., Корнеев Г. А., Парфенов В. Г, Шалыто А. А. Три кита подготовки программистов // Открытые системы. 2009. № 3, с. 54 56.

17. Касаткин В. Н. Олимпиада по информатике: какой ей быть. // Информатика и образование. 1987. № 5, с. 95 96.

18. Касьянов В. Н. Лекции по теории формальных языков, автоматов и сложности вычислений. Новосибирск: НГУ, 1995. 112 с.

19. Касьянова Е. В., Касьянова С. Н. Подготовка одаренных детей к олимпиадам по программированию / Труды Седьмой международной конференции памяти академика А.П. Ершова «Перспективы систем информатики». Новосибирск. 2009, с. 63, 64.

20. Кирюхин В. М. Информатика. Всероссийские олимпиады. Выпуск 1 М.: Просвещение, 2008.

21. Кирюхин В. М., Окулов С. М. Методика решения задач по информатике. Международные олимпиады. М.: Бином, 2007. -271 с.

22. Кирюхин В.М. Первая Международная олимпиада по информатике. // Квант. 1989. № 12, с. 64 66.

23. Кирюхин В.М. Методика проведения и подготовки к участию в олимпиадах по информатике: Всероссийская олимпиада школьников. М.: Бином, 2011. 271 с.

24. Кларк Э. М., Грамберг О., Пелед Д. Верификация моделей программ. Model Checking М.: МЦНМО, 2002. 416 с.

25. Кормен Т. X, Лейзерсон Ч. И., Ривест Р. Л., Штайн К Алгоритмы: Построение и анализ, М.: Вильяме, 2005. 1296 с.

26. Котляров В. П., Коликова Т. В. Основы тестирования программного обеспечения. М.: Бином, 2006. 288 с.

27. Матиясевич Ю. Задачи первых ленинградских олимпиад по информатике // Информатика и образование. 1988. № 3, с. 85 87.

28. Мелихов А. Н., Бернштейн Л. С., Курейчик В. М. Применение графов для проектирования дискретных устройств. М.: Наука, 1974.-352 с.

29. Непейвода Н. Н., Рыков В. В. Профессия программиста — это удача или ловушка? / Труды V международной научно-практической конференции «Современные информационных технологии и ИТ-образование» МГУ. 2010, с. 109 112.

30. Пратт Т., Зелковиц М. Языки программирования: разработка и реализация. СПб.: Питер, 2002. 688 с.

31. Романовский И. В. Дискретный анализ. СПб.: Невский диалект, 1999.-240 с.

32. Седжвик Р. Фундаментальные алгоритмы на С++. Анализ. Структуры данных. Сортировка. Поиск. М.: Б1а8ой, 2001. 687 с.

33. Фаулер М. Архитектура корпоративных программных приложений. М.: Вильяме, 2004. 544 с.

34. Хомский Н., Миллер Дж. Введение в формальный анализ естественных языков // Кибернетический сборник. М.: Мир, 1965, с. 68-75.

35. Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. М.: Вильяме, 2002. 528 с.

36. Чурина Т. Г. Методика подготовки к олимпиадам по программированию / Труды Седьмой международной конференции памяти академика А.П. Ершова «Перспективы систем информатики». Новосибирск. 2009, с. 138 143.

37. Шень А. Программирование: теоремы и задачи. М.: МЦНМО, 2004. 296 с.

38. Шилов Н. В., Шилова С. О. Головоломки для 1Т'ишников? / Труды V международной научно-практической конференции «Современные информационных технологии и ИТ-образование» МГУ. 2010, с. 352-359.

39. Командный чемпионат мира по программированию АСМ 2010/2011. Северо-Восточный Европейский регион / Под ред. проф. В. Н. Васильева и проф. В. Г. Парфенова. СПбГУ ИТМО, 2010.-244 с.

40. Одиннадцатая Всероссийская олимпиада школьников по информатике и программированию / Под ред. В. Н. Васильева, В. Г. Парфенова, А. С. Станкевича. СПбГУ ИТМО, 2010. 262 с.

41. Печатные издания на английском языке

42. Enström Е., Kreitz G., Niemelä F., Söderman P., Kann V. Five Years with Kattis Using an Automated Assessment System in Teaching /41st ASEE/IEEE Frontiers in Education Conference. 2011, pp. 123-128.

43. Gárcia-Mateos G., Fernández-Alemán J. L. A course on algorithms and data structures using on-line judging / ITiCSE '09: Proc. 14th ann. SIGCSE conf. on Innovation and technology in Comp. Sei. education, ACM. 2009, pp. 45-49.

44. Ihantola P. et al. Review of Recent Systems for Automatic Assessment of Programming Assignments. Koli Calling 2010. Koli. Finland, pp. 33 -38.

45. Rosenbloom A. Running a programming contest in an introductory computer science course. / ITiCSE '09: Proc. 14th ann. SIGCSE conf. on Innovation and technology in Comp. Sei. education. ACM. 2009, p. 347.

46. Suleman H. Automatic marking with Sakai / SAICSIT'08: Proc. 2008 ann. research conf. of the South African Inst, of Comp. Sei. and Information Technologists on IT research in developing countries. ACM. 2008, pp. 229 236.

47. Vlasov D. The Open Cup and Petrozavodsk Programming Training Camp / Collaborative Learning Institute Symposium. 2010, p. 37.

48. Werth T. DOMjudge An Automated Judging System for Programming Contests / Collaborative Learning Institute Symposium. 2010, p. 38.1721. Ресурсы сети интернет

49. Сайт Russian Code Сир. http://russiancodecup.ru.

50. Сайт Всероссийской командной олимпиады школьников по программированию, http://neerc.ifmo.ru/scliool.

51. Сайт Всероссийской олимпиады школьников, http://rosolymp.ru

52. Сайт Всесибирской олимпиады им. И. В. Поттосина. http://olimpic.nsu.ru.

53. Сайт индивидуальной олимпиады по информатике и программированию, http://neerc.ifino.ru/school/ioip.

54. Сайт инициативы «Сохраним в университетах лучших!», http:// savethebest.ru.

55. Сайт интернет-олимпиад по информатике. http://neerc.ifino.ru/school/io.

56. Сайт интернет-соревнований Саратовского государственного университета, http://acm.sgu.ru.

57. Сайт интернет-соревнований университета Вальядолид, Испания. http://acm.uva.es.

58. Сайт интернет-соревнований Уральского федерального университета, http://acm.timus.ru.

59. Сайт летней компьютерной школы, http://lksh.ru.

60. Сайт международной олимпиады по информатике. http://ioinformatics.org.

61. Сайт московских олимпиад по информатике, http://acm.msu.ru.

62. Сайт олимпиад школьников по информатике США. http ://www.uwp.edu/ sws/usaeo,

63. Сайт «Открытого кубка» по программированию им. Е.В. Панкратьева, www.opencup.ru.

64. Сайт открытой олимпиады школьников по программированию. http://olympiads.ru/zaoch.

65. Сайт Петрозаводских учебно-тренировочых сборов, http ://karelia. snarknews .info.

66. Сайт системы DOMjudge. http://domjudge.sourceforge.net.

67. Сайт проверяющей системы dudge. http://c0de.g00gle.c0m/p/dudge.

68. Сайт проверяющей системы KATTIS. / http://kattis.csc.kth.se.

69. Сайт Российского совета олимпиад школьников. / http://rsr-olymp.ru.

70. Сайт Санкт-Петербургского тренировочного центра. / http://spbtc.ru.

71. Сайт Северо-восточного Европейского полуфинала чемпионата мира по программированию. / http://neerc.ifmo.ru.

72. Сайт системы проведения соревнований по программированию eJudge. / http://ejudge.ru.2

73. Сайт системы проведения соревнований по программированию PC . http://www.ecs.csus.edu/pc2/.

74. Сайт соревнований по программированию CodeForces. http://codeforces.ru.

75. Сайт соревнований по программированию TopCoder. http://topcoder.com/tc.

76. Сайт Хорватских интернет-олимпиад по информатике. http://www.hsin.hr/coci.

77. Сайт чемпионата мира по программированию, http://cm.baylor.edu.

78. Сайт чемпионата Урала, http://acm.usu.ru.

79. Сайт Юго-восточного Европейского полуфинала чемпионата мира по программированию, http://acm.ro.

80. W3C XML Schema 2 specification, Duration description. http://www.w3 .org/TR/200 l/REC-xmlschema-2-20010502/#duration.1. Публикации автора

81. Статьи в журналах из перечня ВАК

82. Станкевич А. С. Общий подход к подведению итогов соревнований по программированию при использовании различных системоценки // Компьютерные инструменты в образовании. 2011. № 2, с. 27-38.

83. Станкевич А. С., МавринП. Ю. Использование левоконтекстных грамматик для описания сценариев автоматического тестирования программных решений // Дистанционное и виртуальное обучение. 2011. №8, с. 36-48.1. Другие статьи

84. Станкевич А. С., Харченко Т. В. Всероссийские интернет-олимпиады по информатике и программированию // Компьютерные инструменты в образовании. 2002. № 3 4, с. 60 - 70.

85. Станкевич А. С., Елизаров Р. А. Система управления соревнованиями по программированию как система обработки данных // Телекоммуникации и информатизация образования. 2003. № 3, с. 64-85.

86. Станкевич А. С, Маврин П. Ю., Корнеев Г. А., Шалыто А. А. Моделирование жизненного цикла компоненты программного комплекса с использованием диаграмм состояний // Информатизация и связь. 2008. № 2, с. 20-23.

87. Станкевич А. С. Использование алгоритмов анализа левоконтекстных терминальных грамматик в задачах автоматического тестирования программ // Труды СПИИРАН. 2010. Вып. 13, с. 106-121.1. Материалы конференций

88. Станкевич А. С. О проведении олимпиад школьников по программированию / Материалы VIII международной конференции «Современные технологии обучения». СПбГЭТУ. 2002, с. 326, 327.

89. Станкевич А. С., Корнеев Г. А. Методы тестирования решений задач на соревнованиях по программированию / Труды II межвузовской конференции молодых учёных. СПбГУ ИТМО. 2005, с. 36-40.

90. Станкевич А. С., Корнеев Г. А., Маврин П. Ю. Построение компонентных систем с поддержкой динамической реконфигурации / Труды XVI Всероссийской научно-методической конференции «Телематика-2009». СПбГУ ИТМО. 2009, с. 289.

91. Stankevich A., Parfenov V., Tsarev F. Internet Olympiads in Informatics for High School Students / Competitive Learning Institute Symposium 2010, Harbin, China.