Оценочные исследования в социологии: история, меодология и перспективы применения в сфере образования тема диссертации и автореферата по ВАК РФ 22.00.01, кандидат наук Абрамова, Надежда Владиславовна

• Абрамова, Надежда Владиславовна
• кандидат наук
• 2017

Оглавление диссертации кандидат наук Абрамова, Надежда Владиславовна

ОГЛАВЛЕНИЕ

Введение

Глава 1. История развития оценочных исследований в

социологии

1.1.История оценочных исследований: идеология, цели, контекст

1.2.История оценочных исследований: становление основных методологических подходов

1.3.Исследования образования в России как область применения

методологии оценочных исследований

Глава 2. Социология образования взрослых как содержательная область применения оценочных исследований

2.1. Социологические интерпретации концепций «непрерывного/ пожизненного обучения взрослых»

2.2. «Концептуальная сфера» непрерывного образования взрослых: обучающееся общество, обучающаяся организация, человеческий

капитал, социальный капитал

Глава 3. Методологическое кейс-стади опросного инструментария оценочного исследования (на примере Президентской программы подготовки управленческих кадров

3.1.Историческая справка о программе подготовки управленческих кадров

3.2.Вторичный методический анализ опросного инструментария: исследование структуры «Анкеты специалиста» и анализ отчётов экспертов

3.3.Построение концептуальной модели воздействия программы

Заключение

Список литературы

Приложения

Введение диссертации (часть автореферата) на тему «Оценочные исследования в социологии: история, меодология и перспективы применения в сфере образования»

Введение

В последние годы оценочные исследования стали важным элементом социальной политики и исследовательской практики в России. В частности, это связано с внедрением новых принципов управления социальной политикой и проведением масштабных реформ в образовании и других сферах. Принятие или непринятие предлагаемых перемен определяется в значительной мере тем, как оцениваются нововведения населением и с какими фундаментальными ценностными и институциональными основаниями связаны те или иные оценки этих изменений. Образование, наряду со здравоохранением, является базовой социальной сферой, и потому оценка положения дел здесь особенно важна с точки зрения результативности проводимых преобразований. Именно поэтому в западных странах, и в первую очередь в США, первые оценочные исследования стали проводиться параллельно с началом масштабных социальных реформ в сфере образования и здравоохранения.

Под оценочным исследованием мы, вслед за американским социологом К. Вейзом, понимаем «систематическое оценивание процесса или результатов программы социальной политики, которые сравниваются по набору явных и скрытых параметров, с целью улучшения всего направления социальной политики или отдельной программы»1.

В последние десятилетия практика организации оценочных исследований получила широкое распространение в России, и на этом фоне стало актуальным проведение критического анализа и систематизации подходов к методологии оценочных исследований, выявление основных проблем, трудностей и перспектив, что позволило бы повысить эффективность реализации социальных программ.

1 Weiss C.H. Evaluation. Methods for Studying Programs and Policies. New Jersey: Prentice Hall. 1998. P.4.

Оценочные исследования обычно являются необходимым элементом программ реформирования сферы образования и ориентированы на решение практических задач социально-экономического характера и развития человеческого капитала. Оценочные исследования призваны определить результативность этих образовательных программ как элемента социальной политики.

Оценочные исследования имеют ряд методологических особенностей, которые недостаточно изучены и в неполной мере учитываются в текущей практике социологических исследований. К таким особенностям можно отнести следующие: учёт в оценке результатов социальных программ целей и интересов не только инициирующих эти программы организаций и акторов (правительственных и неправительственных), но и целей и интересов потенциальных реципиентов (например, молодые менеджеры), а также косвенных бенефициаров (например, родители и наниматели). Кроме того, для методологии оценочных исследований характерна ориентация на практическую эффективность при минимизации прямых и косвенных издержек. Тем не менее, несмотря на наличие ряда работ, посвященных анализу отдельных методологических проблем оценивания, до настоящего времени не было предпринято комплексного анализа методологии оценочных исследований и не были предложены основанные на этом анализе пути решения наиболее актуальных задач повышения надежности и валидности получаемых в подобных исследованиях результатов.

Нарастающий интерес политиков к оценочным исследованиям в России приводит к необходимости совершенствования методологической базы в этой области. Несмотря на имеющийся опыт подобных работ, в настоящее время Россия находится на начальном этапе развития оценочных исследований и существует небольшое количество эмпирических исследований по данному направлению. Исходя из этого,

представляется актуальным проанализировать имеющиеся методологические проблемы оценочных исследований с учётом опыта российских исследований и с привлечением зарубежного опыта в этой области.

Отдельно следует отметить значительный опыт проведения оценочных исследований, накопленных американскими и европейскими авторами. В России эта теоретико-методологическая база используется недостаточно активно и в контексте нашей работы целесообразно провести теоретико-методологический анализ западного опыта. Степень научной разработанности темы В качестве отдельного направления процесс формирования практики оценочных исследований начался в середине 1960-х гг. вместе с появлением широкомасштабных программ социальной поддержки малообеспеченных слоёв общества в большинстве развитых стран.

Работы, представляющие ценность в контексте данного исследования, условно можно разделить на два направления: теоретико-методологические (где проводится анализ и предлагается решение ряда методологических задач, стоящих перед оценочными исследованиями) и эмпирические (в них описаны и приведены результаты исследований). Первое направление рассматривает методологические вопросы оценочных исследований. К таким работам относятся исследования Х. Воллмана2, Д. Кэмпбелла3, Х-Т. Чена и П. Росси4, Г. Гордона и И. Морза5, К. Вейза6, Д. Грина7, а в России - Д. Б. Цыганкова8, А. Н. Беляева9. Ко второму

2 Wollmann H. Evaluation in Public Sector Reform. Northampton: Edgar Elgar. 2003. P. 1-11.

3 Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М.: Прогресс, 1980.

4 Chen H.-T., Rossi P.H. Evaluating with Sense: The Theory Driven Approach // Evaluation Review. 1983. №7. P.283.

5 Gordon G., Morse E.V. Evaluation Research // Annual Review of Sociology. 1975. V.1.. P. 352-354.

6 Weis C.H. Evaluation. New Jersey, Prentice Hall, 1998.

7 Greene J.C. Towards a Conceptual Framework for Mixed-method Evaluation Designs. Educational Evaluation and Policy Analysis, 1989.11, P.255-274.

8 Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып. V // под ред. Д.Б. Цыганкова. - М., 2010. - 237 с.; Цыганков Д.Б. Интеграция оценки в государственное

направлению относятся работы: М. Руф, Л. Конделла10, Д. Вейкерта11, С. Шелли12, С. Барнетт13, Г. Богатз14. Немецкий исследователь Х. Воллман выделил три этапа развития практики оценочных исследований: первый -1960-е - 1970-е гг. (акцент на планировании государственных программ), второй - середина 1970-х - 1980-е гг. (контроль расходов), третий - конец 1980-х - 1990-е гг. («новое общественное управление»)15, однако более узкая задача историко-социологической реконструкции и периодизации процесса становления методологии прикладных оценочных исследований пока остаётся нерешенной.

Работы Д. Т. Кэмпбелла и Д. Стэнли16 сформировали новое направление методов проведения оценки - рандомизированный полевой эксперимент, который широко применялся с 1965 по 1980 гг. и самые известные из них: «эксперимент с негативным подоходным налогом» и программа «Хед Старт», реализуемая в США.

Помимо отчетов и статей о результатах успешно проведенных оценочных исследований17, появлялись и критические статьи, авторы которых анализировали возникающие ошибки и проблемы. Как было

управление Российской Федерации // Оценка программ: методология и практика / под ред. А.И. Кузьмина.- М.: Изд-во «Престо-РК», 2009. С.170-192.

9 Беляев А., Цыганков Д. Оценивая эффективность реформы: новые технологии оптимизации государственной и отраслевой политики // Вестник актуальных прогнозов. 2004. №11.

10 Ruth M., Condell L., Ganson H. The Impact of Head Start on Children, Families and Communities: Final Report of the Head Start Evaluation, Synthesis, and Utilization Project. Washington D.C.: CSR INC.1985.

11 Weikert D.P. Relationship of Curriculum, Teaching, and Learning in Preschool Education // Stanley J.C. Preschool programs for the disadvantaged. Baltimore, Maryland: Johns Hopkins,1972

12 Shelley S., Fairchild M., Groginsky S. Early Childhood Care and Education: An Investment that Works. Washington D.C.: National Conference of State Legislatures, February.1995.

13 Barnett S.W. Benefits of Compensatory Preschool Education // The Journal of Human Resources. 1992. V.27. P. 293.

14 Bogatz G.A.,Ball S. The Second Year of Sesame Street: An evaluation. Princeton, New Jersey: Educational Testing Service, 1971.

15 Вольманн Х. Оценивание реформ государственного управления: «третья волна» // Социологические исследования. 2010. № 10. С. 93-99.

16 Campbell D. T., Stanley J.C. Experimental and Quasi-experimental Designs for Research.1966. Chicago: Rand McNally&Co.

17 Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях .М.: Прогресс, 1980. С. 346.

показано в ряде работ (К. Конрад18, К. Вейз19 и др.), доминирование экспериментального направления в ходе проведения оценочных исследований нередко отвлекает внимание от более важной задачи в исследованиях социальных программ: развития теоретических моделей социального воздействия, реализуемого оцениваемой программой.

В руководствах по проведению оценочных исследований (Л. Моррис20) довольно поверхностно говорится о теории, лежащей в основе рассматриваемых программ. Д. Уолли21 в частности отмечает, что исследователи сконцентрированы на вопросах, позволяющих разрешить применение экспериментальных или квазиэкспериментальных методов оценки.

Печальными последствиями недостаточного внимания к теории и проблемам теоретической валидности методического инструментария оценочных исследований является то, что результаты последних часто обеспечивают узкое и иногда искажённое понимание результатов социальных программ. Так, Х. -Т. Чен и П. Росси считают, что пренебрежение существующими теоретическими знаниями привело к низкой эффективности программ оценки22. Они предлагают концепцию «теоретически направленного» подхода, в рамках которого выделили три вида целей, характерных для оценочных исследований: 1) определённые политиками и правдоподобные, 2) определённые политиками и неправдоподобные, 3) теоретически-ориентированные цели. Ещё одним способом решения ряда методологических проблем оценочных исследований, который до настоящего времени не применялся именно для

18 Conrad K.J, Conrad K.M. Reassesesing Validity Threats in Experiments: Focus on Construct Validity/ Critically Evaluating the Role of Experiments in Program Evaluation. New Directions for Program Evaluation Series, San Francisco: Jossey-Bass.1994

19 Weis C.H. Evaluation. New Jersey, Prentice Hall, 1998.

20 Morris L. L., Fitz-Gibbon C.T., Henerson M.E. Program Evaluation Kit. Beverly Hills, CA: Sage. 1978.

21 Wholey J. S., Nay J.N., Schmidt R.E. Evaluation: Where is it Really Needed? Evaluation Magazine 1975,V.2, 2:P. 89-93.

22 Chen H.-T., Rossi P.H. Evaluating with Sense: The Theory Driven Approach // Evaluation Review.1983. №7.P.283.

повышения валидности методического инструментария, используемого в оценивании образовательных программ, является метод концептуальных карт У. Трочима23.

К сходному выводу приходят Г. Гордон и И. Морз: специалисты в области прикладных социальных исследований и оценивания социальных программ недостаточно используют теоретические модели при проведении исследований24.

В России оценочные исследования стали активно использоваться сравнительно недавно. Большой вклад в их становление внесли работы Д. Б. Цыганкова, А. Н. Беляева25 и др. Различные формы оценки результатов программ существовали в России и ранее, но они не рассматривались как относящиеся к традиции оценочных исследований. Только в 2004г. был создан Институт оценки программ и политик с целью продвижения в России передовых подходов в оценочных исследованиях. Однако до сих пор ни в российской, ни в европейской и американской социологии не была проведена историко-социологическая реконструкция контекста возникновения и основных стадий развития методологии оценочных исследований.

Также до настоящего времени не появилось достаточного числа работ, посвящённых дальнейшей разработке идей теоретико-ориентированного подхода к оценочным исследованиям применительно к отдельным типам социальных программ, реализуемых в областях образования, пенитенциарной политики и т.д. Данные обстоятельства теоретического и методического свойства определяют цели и задачи нашего диссертационного исследования.

23 Trochim W. Concept Mapping: Soft Science or Hard Art? // Evaluation and Program Planning. 1989. V. 12. P.87-110.

24 Gordon G., Morse E. Evaluation Research // Annual Review of Sociology.1975. V.1. P.352-354.

25 Беляев А., Цыганков Д. Оценивая эффективность реформы: новые технологии оптимизации государственной и отраслевой политики // Вестник актуальных прогнозов. 2004. №11.

Настоящее исследование представляет собой попытку проведения историко-социологической реконструкции и теоретико-методологического анализа существующих подходов к оценочным исследованиям в социологии, которые позволили бы выявить основные методологические проблемы и очертить возможности для их решения.

Объектом исследования являются история и современная практика оценочных исследований в социологии образовательных программ.

Предмет исследования - теоретико-методологические основания оценочных исследований в социологии.

Цель и задачи исследования. Целью является проведение историко-социологической реконструкции и теоретико-методологического анализа существующих подходов к оценочным исследованиям в социологии, а также оценка применимости метода концептуального картографирования для повышения качества данных, получаемых в оценочных исследованиях в сфере образования.

Достижение поставленной цели осуществляется на основе решения следующих исследовательских задач:

1. Обоснование целесообразности рассмотрения оценочных исследований в качестве отдельного направления методологии прикладных социальных исследований.

2. Осуществление историко-социологической реконструкции основных этапов становления оценочных исследований в социологии и проведение теоретико-методологического анализа сложившейся практики оценочных исследований.

3. Выделение основных методологических проблем, стоящих перед оценочными исследованиями в сфере образования.

4. Проведение концептуального анализа теоретических работ в сфере непрерывного образования взрослых с целью построения теоретико-

методологической модели для анализа конкретного оценочного исследования.

5. Обоснование применимости и практическая апробация метода концептуальных карт для повышения валидности инструментария оценочных исследований в сфере образования.

6. Оценка возможностей и ограничений метода концептуальных карт применительно к задаче разработки и повышения валидности инструментария исследования в области социологии профессионального образования, нацеленного на оценку эффективности «Президентской программы подготовки управленческих кадров». Теоретико-методологическая база исследования

Теоретико-методологической основой диссертации выступают: «вспомогательная теория измерения» Х. Блейлока26, метод концептуальных карт У. Трочима, работы посвящённые концепции «непрерывного профессионального образования взрослых».

Востребованность «вспомогательных теорий измерения», согласно позиции Х. Блейлока, связана с тем, что в социологическом понимании конструкты представлены на двух разных языках - операциональном и теоретическом.

Вспомогательные теории измерения являются явной фoрмулировкой перехoда от теoретических кoнцептов к переменным, доступных наблюдению и измерению. Построение моделей, соответствующих конкретному случаю, характеризующие взаимоотношения между их множественными индикаторами и латентными переменными, называют процессом концептуализации. В соответствии с данной концепцией смысл диагностической процедуры состоит в том, что вспомогательная теория измерения строится на

26 Девятко И.Ф. Диагностическая процедура в социологии. Очерк истории и теории. М.:Наука.1993. С.102.

предварительном этапе. На ее базе осуществляется изучение и оценка взаимосвязи «конструкта» и его эмпирических индикаторов. В этом случае диагностика предполагает концептуализацию устойчивых комплексов или групп переменных27.

Важным шагом в развитии методологии оценочных исследований стал метод построения концептуального картографирования У. Трочима. Он является детально разработанной техникой создания вспомогательной теории измерения, то есть для построения модели отношения индикаторов к теоретическим конструктам28.

Эмпирической базой исследования стали материалы «Президентской программы подготовки управленческих кадров», которая действует с 1997 г. Данная программа предоставляет возможность управленцам среднего и высшего управленческого звена российских предприятий получить дополнительное образование в сфере маркетинга, менеджмента или финансового менеджмента. Программа действует на всей территории Российской Федерации. Участники данной программы проходят обучение более чем в 80 российских вузах. Через шесть месяцев после завершения обучения проводится опрос участников о полученных результатах.

Эмпирической основой исследования послужили:

1) опросный инструментарий участников программы (1997, 1998, 2003 г.);

2) нормативные документы, посвященные деятельности Президентской программы;

3) информация по программе на сайте выпускников «Президентской программы подготовки управленческих кадров»;

27 Девятко И.Ф. Диагностическая процедура в социологии. Очерк истории и теории. М.:Наука.1993. С.102.

28 Trochim W. Concept Mapping: Soft Science or Hard Art? // Evaluation and Program Planning.1989. V. 12. P.87-110.

4) экспертные отчеты по проведению оценочных исследований (за 1998, 1999 г.)

5) исследование во время летней школы «Пересмотр традиционных подходов к исследованию социальной политики» («Revision of traditional approaches to social policy research»).

Для решения задач, поставленных в исследовании, использовались, во-первых, общенаучные методы познания — критический анализ и теоретическое обобщение социологической литературы по данной проблематике. Во-вторых, методом эмпирического исследования стал вторичный социологический анализ опросного инструментария и отчётов. Под вторичным анализом понимается «анализ существующего массива данных, который представляет интерпретации, выводы или знания, дополнительные или отличные от представленных в первом отчете по исследованию в целом и по его основным результатам»29. Вторичный анализ применялся для аналитической реконструкции теоретической модели оценочного исследования в образовании, а именно — оценки эффективности «Президентской программы по подготовке управленческих кадров».

С целью повышения валидности инструментария оценочного исследования эффективности данной программы нами была проведена апробация методики построения концептуальных карт. Кoнцептуальная карта - это графичес^е представление совокупного мнения экспертов, отражающее основные идеи, выработанные ими в ходе обсуждения основных конструктов, определяющих исследуемую проблемную область и включающее в себя связи между ключевыми конструктами исследования. Кoнцептуальная карта визуально отражает набoр смысловых единиц, объединённых в конструкты, с целью более точной

29 Hakim C. Secondary Analysis in Social Research. A Guide to Data sources and Methods with Examples. L.:George Allen&Unwin. 1982. P.1.

оценки и повышения теоретической (конструктивной) валидности используемого инструментария и отслеживания результатов оценивания социальных программ.

К участию в экспертной сессии было привлечено 30 экспертов на этапе «мозгового штурма» и затем 20 экспертов на этапе сортировки. Основная часть участников имела преподавательский стаж и большой опыт в проведении социологических исследований в сфере социальной политики, несколько участников обладали также опытом проведения оценочных исследований.

Исследование было проведено в июне 2010 г., во время летней школы «Пересмотр традиционных подходов к исследованию социальной политики» («Revision of traditional approaches to social policy research»).

Научная новизна исследования заключается в следующем:

1. Показано, что оценочные исследования в социологии характеризуются специфическим исследовательским контекстом, целями и методическими подходами и являются отдельным направлением методологии прикладных социальных исследований.

2. По итогам проведённого историко-социологического и теоретико-методологического анализа имеющейся практики оценочных исследований выделено два этапа в развитии этого исследовательского направления: 1960-е-1980-е гг. - период становления и институционализации оценочных исследований, 1980-е-1990-е гг. - разработка подходов к повышению валидности методов оценивания.

3. В результате теоретико-методологического анализа сложившейся традиции оценочных исследований выявлены и критически проанализированы наиболее часто встречающиеся проблемы исследовательских проектов: отсутствие теоретической модели исследования и связи между теорией и практикой, размытое определение целей программ.

4. Построена теоретическая модель «непрерывного профессионального образования взрослых», в которую включены индикаторы, учитывающие мнения и интересы участников образовательной программы.

5. Была впервые продемонстрирована возможность использования метода концептуальных карт в целях практической реализации теоретически-ориентированного подхода, предложенного П. Росси и Х. Ченом.

6. Для решения задачи повышения теоретической валидности эмпирических индикаторов, используемых в сфере исследований образования взрослых, в рамках вторичного анализа инструментария оценки конкретной образовательной программы впервые применён метод концептуальных карт, общие основы которого были разработаны У. Трочимом. В результате применения метода концептуальных карт проведена доработка инструментария - включены новые вопросы, уточнены существующие, изменена структура анкеты.

Положения диссертации, выносимые на защиту

1. Оценочные исследования - это отдельное направление методологии прикладных социальных исследований, обладающее собственной теоретико-методологической спецификой, историей развития и особенностями практического применения. В частности: становление оценочных исследований в социологии произошло сравнительно недавно, начиная с середины 1960-х гг., в контексте возникновения идеологии «государства благосостояния»; ключевая методологическая особенность оценочных исследований заключается в значительно более широком, в сравнении с другими областями социологической методологии, использовании экспериментальных и квазиэкспериментальных планов; при

построении инструментария оценочного исследования в равной мере учитываются интересы и реципиентов и бенефициаров.

2. Комплексная реконструкция истории развития оценочных исследований с исторической (как динамического процесса изменения идеологии, представления объекта, целей), а также с методологической (становление методических подходов, разработка специфических инструментальных средств оценивания социальных программ) точек зрения позволяет выделить две волны в развитии методологии оценочных исследований: первая (1960-е - 1980-е гг.) соответствует периоду становления и институционализации оценочных исследований, вторая (середина 1980-х - 1990-е гг.) - периоду интенсивной разработки подходов к повышению валидности методов оценивания.

3. Пренебрежение существующими содержательными теоретическими представлениями, описывающими отдельные институциональные области оценивания и соответствующие социальные проблемы, привело к низкой эффективности многих программ оценки. В связи с этим была обоснована необходимость дальнейшего применения теоретически-ориентированного подхода к разработке методов и техник оценивания, в частности, при помощи предложенных в работах Х. Блейлока «вспомогательных теорий измерения». В качестве инструмента для реализации теоретически-ориентированного подхода может служить метод концептуальных карт, предложенный У.Трочимом.

4. По итогам проведенного в работе концептуального анализа теоретических работ в сфере непрерывного образования взрослых была построена теоретико-методологическая модель для изучения методического инструментария конкретного оценочного исследования в области социологии профессионального образования, нацеленного на оценку эффективности «Президентской программы подготовки управленческих кадров».

5. Анализ выявил, что инструментарий исследования «Президентской программы подготовки управленческих кадров» не содержит эксплицитной модели измерения эффектов программы, что делает невозможной оценку его конструктной валидности. Предложенная в работе модификация метода концептуальных карт позволила повысить валидность методического инструментария данного оценочного исследования в области образования за счет разработки такой «вспомогательной теории измерения», отражающей не только существующие в социологии образования теоретические взгляды, но и ожидания экспертов и потенциальных бенефициаров оцениваемой образовательной программы.

6. Сопоставление построенной концептуальной карты ожидаемых эффектов программы и теоретической модели «непрерывного профессионального образования взрослых» подтвердило эффективность метода концептуальных карт для построения «вспомогательной теории измерения» при разработке инструментария оценочных исследований.

Глава 1. История развития оценочных исследований в социологии

В первой главе данной работы рассматривается история становления оценочных исследований в США и Европе. Выделение оценочных исследований в отдельную область методологии социальных исследований началось сравнительно недавно и связано с появлением широкомасштабных программ социальной поддержки бедных слоев общества. Идея о важности оценочных исследований появились и начала разрабатываться во второй половине XIX веке, начиная с работ Чарльза Бута и других социальных реформистов.

Цель данной главы - обосновать необходимость выделения оценочных исследований в отдельную область методологии социальных исследований на основе анализа научных публикаций по оценочным исследованиям и провести реконструкцию истории оценочных исследований. Для достижения поставленной цели предполагается рассмотреть развитие оценочных исследований с двух позиций: в первом параграфе данной главы мы будем рассматривать историю и перспективы с политико-исторической позиции (как динамический процесс изменения идеологии, представления объекта, целей), а затем, во втором параграфе, с позиции развития оценочных исследований как особого направления в методологии социологических исследований. Теоретики оценочных исследований отмечают, что основной задачей исследования является производство специфического знания о результатах, эффектах социальных программ. Оно проводится по запросу клиента, и клиентом определяется цель исследования. При этом в качестве клиентов (заказчиков) оценочных исследований могут выступать государственные организации, НКО, политические партии.

Список литературы диссертационного исследования кандидат наук Абрамова, Надежда Владиславовна, 2017 год

Список литературы

1. Абрамов Р.Н. Основные идеи менеджеризма /История теоретической социологии. Стабилизационное сознание и социологическая теория в век кризиса. М.: Академический проект. Гаудеамус. 2010. С.106.

2. Абрамова Н.В. Социологические интерпретации концепции «непрерывного профессионального образования взрослых»// Журнал социологии и социальной антропологии. 2011. Том XIV, №3. С.83-103.

3. Батыгин Г.С. Лекции по методологии социологических исследований: Учебник для студентов. М.: Аспект-Пресс, 1994. 286 С.

4. Бауман З. Индивидуализированное общество / Пер. с англ. В.Л.Иноземцева М.:Логос. 2002. 390 С.

5. Бейкер Дж. Оценка воздействия проектов развития на бедность. М.: Издательство "Весь мир". 2002. 278 С.

6. Бек У. Общество риска: на пути к другому модерну. М.: Прогресс. 2000. 383 С.

7. Беккер Г. Воздействие на заработки инвестиций в человеческий капитал // США: экономика, политика, идеология. 1993. №11.

8. Беляев А., Цыганков Д. Оценивая эффективность реформы: новые технологии оптимизации государственной и отраслевой политики // Вестник актуальных прогнозов. 2004. №11. С. 10-18.

9. Бессуднов А. Р., Куракин Д. Ю., Малик В. М., Янбарисова Д. М. Бюллетень Российского лонгитюдного панельного исследования образовательных и трудовых траекторий Национальная панель: первая волна (2011-2012) / Препринты. НИУ ВШЭ. Серия WP 1Е "Научные доклады Института образования". 2014. № WP 02/1Е/2014.

10. Бурдье П. Формы капитала // Экономическая социология. 2002. Т.3. №5. С.60-74.

11. Вишнякова С.М. Профессиональное образование: Словарь. Ключевые понятия, термины, актуальная лексика. М.: НМЦ СПО. 1999. 538 С.

12. Водзинская В. В. Ориентация на профессии // Социальные проблемы труда и производства. М.: Мысль. 1970. 227 С.

13. Вольманн Х. Оценивание реформ государственного управления: «третья волна» // Социологические исследования. 2010. № 10. С. 93-99.

14. Высшее профессиональное образование - данные статистики и Мониторинга экономики образования // Вопросы образования. 2011. № 1 С.172-191.

15. Гибсон М., Афонин А.Ф. Бизнес и высшее образование: опыт взаимодействия в Великобритании. Университетское управление. 2004. №4. С.53-66.

16. Горшков М.К., Ключарёв Г.А. Непрерывное образование в контексте модернизации. М.: ИС РАН, ФГНУ ЦСИ. 2011. 232 С.

17. Гурова Р.Г. К вопросу о конкретных социально-педагогических исследованиях // Советская педагогика. 1966. № 2.

18. Девятко И.Ф. Диагностическая процедура в социологии. Очерк истории и теории. М.:Наука.1993. 175 С.

19. Девятко И.Ф. Методы социологического исследования. Екатеринбург. Издательство Уральского университета. 1998. 208 С.

20. Делор Ж. Образование: необходимая утопия // Педагогика. 1998. №5. С. 32-47.

21. Диденко Д.В. Дополнительное профессиональное образование и повышение его эффективности // Непрерывное образование в политическом и экономическом контекстах. / Отв. Ред. Г.Л.Ключарёв. М.:ИС.РАН. 2008. С.78-107.

22. Дьюи Дж. Демократия и образование. М.: Педагогика. Пресс.2000. 384 С.

23. Жизненные пути молодого поколения / Отв. ред. М.Х.Титма. Таллинн: Ээсти раамат. 1985. 180 С.

24. Казаренкова Т.Б. Образование через всю жизнь // Социологические исследования. 2005. №5. С. 146.

25. Капелюшников Р. Ценится ли на российском рынке человеческий капитал? // Демоскоп Weekly.2005. № 193-194.

26. Князев Е.А. Надеяться на себя // Университетское управление. 2000.№2. С.40-47.

27. Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып. V // под ред. Д.Б. Цыганкова. М. 2010. 237 С.

28. Константиновский Д., Вахштайн В., Куракин Д. Реальность образования и исследовательские реальности. М.:Гос. ун-т. Высшая школа экономики. 2010. 320 С.

29. Костюк В.Н. Специфика экономики, основанной на знаниях // Общественные науки и современность. 2004. № 4. С. 134-144.

30. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М.: Прогресс. 1980. 392 С.

31. Лисовский В.Т. Советское студенчество: Социологические очерки. М.: Высшая школа. 1990. 304 С.

32. Ломакина Т.Ю. Современный принцип развития непрерывного образования. М.: Наука. 2006. 242 С.

33. Мангейм Д., Рич Р. Политология. Методы исследования. М.: «Весь мир». 1999. С. 286.

34. Мониторинг непрерывного образования: инструмент управления и социологические аспекты. М.: Макс Пресс. 2007. 340 С.

35. Нестик Т. Культурный, социальный и символический капиталы // http://artpragmatica.ru/contents/science/nestik_01 .htm

36. Овсяников А.А. Система образования в России // Мир России. 1999. № 3. С.73-86.

37. Отчет Всемирного банка. Формирование общества, основанного на знаниях. Новые задачи высшей школы http://www.worldbank.org.ru/ECA/Russia.nsf/ECADocByUnid/97E7A9C494AA5E8EC3256E270027 73F9/$FILE/constr_rus.pdf

38. Парыгин Б. Д. Социальная психология. Проблемы методологии, истории и теории / Б. Д. Парыгин. СПб: СПбГУП. 1999.

39. Петренко Е.С., Галицкая Е.Г., Шмерлина И.А. Международные индикаторы участия населения в непрерывном образовании // Вопросы образования. 2010. №2. С. 178-186.

40. Платонов К.К. Краткий словарь системы психологических понятий: Учеб. пособие для учеб. заведений профтехобразования. М.:Высшая школа. 1984. 174 С.

41. Поддьяков А. Решение комплексных проблем в PISA-2012 и PISA 2015: взаимодействие со сложной реальностью // Образовательная политика. 2012. №6. С.34-53.

42. Поливанова К.Н. Национальные и международные системы оценивания: учебное пособие к курсу. М.: Логос. 2010. 154 С.

43. Попова И.П. Влияние дополнительного профессионального образования на положение работников различных социально-профессиональных групп // Социс. 2010. №2. С.92-100.

44. Рекомендации по использованию результатов международного исследования читательской грамотности в начальной школе (4 класс) PIRLS-2011 http://www.centeroko.ru/download/Recom_PIRLS_2011.pdf

45. Ритцер Дж. Макдональдизация общества / Пер. Англ. А.В.Лазарева; М.: Издательская и консалтинговая группа «Праксис». 2011. 592 С.

46. Росс Л., Нисберт Р. Человек и ситуация. Перспективы социальной психологии/ Пер. с англ. В.В. Румынского/ Под ред. Е.Н.Емельянова, В.С. Магуна. М., Аспект Пресс. 1999. С. 334.

47. Сивак Е.В. История оценочных исследований в образовании в США: аналитический обзор // Социология: методология, методы, математическое моделирование. №33. 2011. С.112-135.

48. Словарь практического психолога / Сост. С.Ю. Головин. Минск: Харвест. 1997. С. 800.

49. Социология в России / Под ред. В.А.Ядова., М.: Издательство ИС РАН. 1998. С. 248.

50. Телегина Г.В. «Образование в течение жизни»: институциализация в европейском контексте и ее оценка. Непрерывное образование в политическом и экономическом контекстах / Отв. ред. Г. А. Ключарев. М.: ИС РАН. 2008. С. 16-37.

51. Типенко Н.Г. Экономика образования и образовательная политика // Общественные науки и современность. 2003. №4. С. 15-23.

52. Трубина Е.Г. Город в теории: опыты осмысления пространства. М.: Новое литературное обозрение. 2011. С. 357.

53. Туронок С.Г. Оценка государственной политики и задачи реформ: уроки зарубежного опыта. Вестник Московского университета. 2005.Серия 21. № 3. С.111-133.

54. Уваров А.Г., Ястребов Г.А. Социально-экономическое положение семей и школа как конкурирующие факторы образовательных возможностей: ситуация в России // Мир России. 2014. №2. С. 103-132.

55. Указ №774 от 23.07.1997г «О подготовке управленческих кадров для организаций народного хозяйства Российской Федерации».

56. Указатель по образованию в Великобритании. http:// leeds.ac.uk/bei/bei.htm

57. Филиппов Ф.Р. Всеобщее среднее образование в СССР. Социологические проблемы. М.:Мысль. 1976.

58. Филонович С.Р. Life-long learning: последствия для высшей школы // Вопросы образования. 2009.№4. С. 55-66.

59. Хейвуд Э. Политология. Учебник для студентов вузов / Пер. с англ.; под ред. Г.Г.Водолазова. М.: Юнити-Дана. 2005. 544 С.

60. Хольман И.Г. Высшая крестьянская школа в Дании и ее значение для развития датской народной культуры, 2 изд. П. 1919.

61. Цыганков Д.Б. Интеграция оценки в государственное управление Российской Федерации // Оценка программ: методология и практика / под ред. А.И. Кузьмина.- М.: Изд-во «Престо-РК». 2009. С.170-192.

62. Черноволенко В., Оссовскип В., Паниотто В. Престиж профессий и проблемы социально-профессиональной ориентации молодежи. Киев: Наукова думка. 1979.

63. Шамионов Р.М. Психология субъективного благополучия: к разработке интегративной концепции. Саратов:Сарат. гос. ун-т. 2003. 180 С.

64. Школа- 1988. Проблемы. Противоречия. Перспективы / Отв. ред. В.С. Собкин. М.: ВНИК «Школа». 1988. 36 С.

65. Шпаковская Л. Политика высшего образования в Европе и России. СПб.: Норма, 2007. С.22-23.

66. Шубкин В.Н., Артемов В.И., Москаленко Н.Р., Бузукова К.В., Калмык В.А. Количественные методы в социологических исследованиях проблем трудоустройства и выбора профессии // Количественные методы в социологических исследованиях. Отв. ред. А.Г. Аганбегян и В.Н.Шубкин. Новосибирск: НГУ. 1964.

67. Ярская-Смирнова Е.Р.,Романов П.В. Социальная антропология. Ростов- на-Д: Феникс. 2004. 387 С.

68. «О показателях качества образования в течение жизни». Доклад Европейской комиссии. 2002 . 212 С.

69. Antikainen A. On the Sociology of Continuing Education and Lifelong Learning. Lecture. Federal training center for teachers in sociology. Institute of Sociology. RAS. November. 2003.

70. Balatti, J., & Falk, I. (2002) Socioeconomic Contributions of Adult Learning to Community: a Social Capital Perspective, Adult Education Quarterly, 52(4), 281. Retrieved from Academic Search Complete database.

71. Balmеr М., Bales K., Kish Sklar K. The Social Survey in Historical Perspective, 1880-1940. Cambridge: Cambridge University Press, 1991. P.66-110.

72. Barnett S. Benefits of Compensatory Preschool Education // Journal of Human Resources. 1992. №27(2). P.279-312.

73. Batterham R., Southern D., Appleby N., Elsworth G., Fabris S., Dunt D., Young Construction of a GP Integration Model // Social Science and Medicine. 2002. № 4. P.1225-1241.

74. Bennet C., Lumsdaine A. Head Start Planned Variation: Anonradomised Experiment // Evaluation and Experiment. Some Critical Issues in Assessing Social Programs. New York. San Francisco, London. 1975. P.120-121.

75. Bernstein I., Freeman, H. Academic and Entrepreneurial Research. New York: Russell Sage Found 1975.

76. Blalock H.M. The Measurement Problem: A Gap between Languages of Theory and Research // Metodology in Social Research / Ed. by H.M.Blalock. New York: McGrow Hill, 1968. P.5-27.

77. Bogatz G.A., Ball S. The Second Year of Sesame Street: an Evaluation. Princeton, New Jersey: Educational Testing Service, 1971.

78. Booth C. Life and Labour of the People in London.3 d ed.(1902-1903): Reprint. N.Y: Augustus V.Kelley. 1969. Vol.17.

79. Bourdieu, P. The Forms of Capital // Handbook of Theory and Research for Sociology of Education. Ed. by J. Richardson. New York: Greenwood Press, 1986, P. 21.

80. Brownson R., Kelly C., Eyler A., Carnoske C., Grost L., Handy S., Maddock J., Pluto D., Ritacco B., Sallis J., Environmental and Policy Approaches for Ppromoting Physical Activity in the United States: a Research Agenda // Journal of Physical Activity and Health, 2008, № 5. P.488-503.

81. Bulmer M. Evaluation Research and Social Experimentation / Bulmer M. Social Science and Social Policy. London. Allen&Unwin. 1986. P. 161-167.

82. Campbell D., Stanley J. Experimental and Quasi-experimental Designs for Research.1966. Chicago: Rand McNally&Co.

83. Caro F.G., Reading Evaluation Research. New York : Russell Sage Foundation. 1971.

84. Carr F. The Public Service Ethos: Decline and Renewal // Public Policy and Administration.1999. Vol. 14. P.1-16.

85. Chen H.-T., Rossi P.H. Evaluating with Sense: The Theory Driven Approach // Evaluation Review. 1983. №7. P.283.

86. Cicirelli V.G. The Impact of Head Start. Athens. OH: Westinghouse Learning Corporation and Ohio University. 1969.

87. Clark B. The higher Education System. Academic Organization in cross-national perspective. University of California press.Berkeley;Los Angeles; London. 1983. P.143.

88. Coleman, J. Foundations of Social Theory. Cambridge, Mass.: Belknap Press of Harvard University Press, 1990

89. Coleman J. S. Social Capital in the Creation of Human Capital // American Journal of Sociology, 1988, n. 94, P. 95-120

90. Coleman J.S. The Concept of Educational Equality // Harvard Educational Review. 1968. № 38. P.7-22.

91. Collins, Frances Y. Head Start: Issues for the second quarter century // Hearing before the Committee on Labor and Human resources United States Senate. Washington: U.S. Government printing office. 1990. P.29.

92. Commission of the European Communities (CEC) (1994) Growth, Competitiveness and Employment: the Challenges and ways forward into the 21st Century (Luxembourg, Office for Official Publications of the European Communities).

93. Commission of the European Communities (CEC) (2000) A Memorandum on Lifelong Learning. Commission Staff Working Paper (SEC (2000) 1832, 30.10.00) (Brussels, CEC).

94. Commission of the European Communities (CEC) (2001) Communication from the Commission: Making a European area of Lifelong Learning a Reality (COM (2001) 678, final of 21.11.01) (Luxembourg, Office for Official Publications of the European Communities).

95. Conrad K.J, Conrad K.M. Reassesesing Validity Threats in Experiments: Focus on Construct Validity/ Critically Evaluating the Role of Experiments in Program Evaluation. New Directions for Program Evaluation Series, San Francisco: Jossey-Bass.1994.

96. Daughty D., Kunkel M., Experience of Depression in College-students - a Concept Map // Journal of Counseling Psyshology, 1993, № 40(3).P. 316-323.

97. Deutscher I. Toward Avoiding the Goal Trap in Evaluation Research/ Caro F.G. Readings in Evaluation Research. New York: Russell Sage. 1977.

98. Duncan O.D. Toward Social Reporting: Next Steps. New York: Russell Sage Foundation. 1970.

99. Edwards R. Behind the Banner. Whither the Learning Society? Adults Learning. 1995. P.187-189.

100. Edwards R. Lifelong Learning, Lifelong Learning, Lifelong Learning // Field J. Lifelong Learning. Florence, KY, USA: Taylor. 2000. P.3-11.

101. Faure E. Learning to Be: The World Education Today and Tomorrow. Paris:UNESCO. 1992.

102. Ferlie E., Ashburner L., Fitzgerald, L., Pettigrew A. New Public Management in Action. 1996. Oxford: Oxford University Press.

103. Field J., Leicester M. Lifelong Learning: Education across the Lifespan. Florence, KY,USA: Taylor. 2000. P. Xvi.

104. Field, J. Lifelong Learning. Florence. KY. USA:Taylor,2000.P.65.

105. Finne H., Levin M., Nilsen T. Trailing Research: a Model for Useful Program Evaluation // Evaluation. 1995. V.1(1). P.11-31.

106. Fisher F., Miller G. Handbook of Public Policy Analysis: Theory, Politics, and Method. Sidney: Political Science. 2007. P. 271.

107. Fisher R.A. The Design of Experiment. N.Y: Hafner. 1973.

108. Friere P. Pedagogy of the Oppressed. Harmondsworth: Pengium Books. 1972.

109. Geen J. Toward a Conceptual Framework for Mixed-method Evaluation Designs // Educational Evaluation and Polisy Analysis. 1989. V.11. P.255-274.

110. Giddens A. Consequences of Modernity. Cambridge: Polity press, 1990. P.38-39.

111. Giddens A. Modernity and Self-idenliti. Stanford (Cal.) Stanford univ. press, 1991.P.20.

112. Globalization and Reform in Higher Education. London: SHRHE and Open University Press. 2003. P.117.

113. Gordon G., Morse E. Evaluation Research // Annual Review of Sociology. V.1. 1975. P.352-354.

114. Greene J.C. Towards a Conceptual Framework for Mixed-method Evaluation Designs. Educational Evaluation and Policy Analysis, 1989.11. P.255-274.

115. Grommett S., Garret A.M. A Review of Evaluation of Project Head Start // The Journal of Negro Education. 1989. Vol.58. No.1.

116. Haiot J., Saimons G. Cultural Codes - Who Holds the Key? // Evaluation. 1999. Vol.5 (1). P.23-41.

117. Hake, B. Lifelong Learning Policies in the European Union: Developments and Issues, Compare, 1999. 29(1), 67.

118. Hakim C. Secondary Analysis in Social Research. A Guide to Data sources and Methods with Examples. L.:George Allen&Unwin. 1982. P.1.

119. Handly C. Inside Organizations. London: BBC.1990.

120. Hannock E.R. Concept of Poverty in the British Social Surveys from Charls Booth to Arthur Bowley / The Social Survey in Historical Perspective 1880-1940/ Ed. By M.Bulmer, K. Bales, K.K. Sklar. Cambridge: Cambridge Univ. Press. 1991. P. 189-216. Hatton M. A Pure Theory of Lifelong Learning / Hatton M. Lifelong Learning : Policies, Practices and Programs. Toronto:APEC. 1997.

121. Haus E. The Limits of Cost of Benefits Evaluation // Evaluation.2000. Vol. 6 (1). P.79-86.

122. Hood C. A Public Management for all Seasons. Public Administration. 1991.69 (Spring). P.3-19. http://www.oecd.org/pisa/

123. Huberman A. Some models of adult learning and adult change // Studies on permanent education. Strasburg.1974.N.22.

124. Hubern A., Betts S. Examing Fourth Generation Evaluation // Evaluation. 1999.Vol. 5 (3). P.340-358.

125. Jarvis P. Globalization, the Learning Society and Comparative Education // Comparative education. 2000, Vol. 36. N 3. P.346.

126. Jarvis P. International Dictionary of Adult and Continuing Education. London. Routlege. 1990.

127. Kallen D. Reccurent and Lifelong Learning: Definitions and Distinctions. // Schuller T. , McGarry J. World Yearbook of education: Reccurrent Education and Lifelong Learning. London: Kogan Page. 1979.

128. Kolb D., Deborach S. Concept Mapping Organizational Cultures // Journal of Management Inquiry. 1997. Vol. 6 (4). P. 282-295.

129. Kridel C.A., Bullough R. V. Stories of the Eight-year Study: Reexamining Secondary Education in America. Albany: State Univ. of New York Press, 2007.

130. Lazarsfeld P. Experimental Sociology. A Study in Method. N.Y. 1945.

131. Lifelong Learning: the Implications for the Universities in the EU/ Prepared by Prof. Nikos Kokosalakis, Prof. Maurice Kogan /Reference Period: from 1-11-1998 to 31- 10-2000/ FINAL REPORT, Contract no: SOE2-CT98- 2043, Project no: PL980025. http://improving-ser.sti.jrc.it/default/page.gx %3f_app.page=entity .html%26_app.acti on=entity% 26_entity .obj ect=T SER— 000000000000033B% 26_entity.name=Report.doc

132. Luttman R.J., Laffel G.L., Pearson, S.D. "Using PERT/CPM to Design and Manage Clinical Processes"// Quality Management in Health Care .1995. No.2. P.1-12.

133. Maddaus G.F., O'Dwyer L.M. A Short History of Performance Assessment: Lessons Learned // Phi Delta Kappan. 1999. Vol. 80. No. 9.

134. Maddaus G.F., Stufflebeam D.L., Kellaghan T. Program Evaluation: a Historical Overview // Evaluation Models: Viewpoints on Educational and Human Services Evaluation / Ed. by D.L. Stufflebeam, G.F. Madaus, T.Kellaghan. Boston; Dordrecht; L.: Kluwer academic publishers, 2002.

135. Mansbride A.The maltitude of the Wise-WeIIfare of the World// Convergence, 1968.V..№4..P.1-3.

136. Marginson S., Ordoroka I. Global Hegemony in Higher Education and Research. N.Y.: Social Science Research Council, 2008. P.1.

137. Mertens D., Wilson D. Program Evaluation Theory and Practice: A Comprehensive Guide. Gilford Publication. New York. 2012.

138. Mertens Donna M. ,Wilson Donna T. Program Evaluation Theory and Practice: A Comprehensive Guide. Gilford Publication. New York.2012.

139. Middle Start: Supportive Interventions for Higher Education among Students of Disadvantaged Backgrounds // Yinger J., Ikeda K., Laycock F.. Final report. Project No.5-0703, Psychology Department, Oberlin College (Oberlin,Ohio), 1970.November 24.

140. Minton H.J. The Impact of Sesame Street on Readiness // Sociology of Education. 1975. Vol.48. P.142.

141. Modernising Vocational Education and Training: Fourth Report on Vocational Training Research in Europe.Cedefop.Luxemburg. EUR-OP. 2009. (http:// www.cedefop.europa.eu/etv/Projects_Networks/Research Lab/Published.asp)

142. Morris L. L., Fitz-Gibbon C.T., Henerson M.E. Program Evaluation Kit. Beverly Hills, CA: Sage.1978.

143. Morris, L. L., Fitz-Gibbon C.T., M. E. Henerson M.E. Program Evaluation Kit. Beverly Hills, CA: Sage. 1978.

144. Nickson D. Bringing in the Excluded? Aesthetic Labour, Skills and Training in the New Economy // Journal of Educational and Work. 2003. Vol. 16., N2, P. 185203.

145. OECD Emplloyment Outlook, 2004.

146. Osborne D., Gaebler T. Reinventing Government: How the Entrepreneurial Spirit is Transforming the Public Sector. Reading (MA): Addison-Wesley. 1992.

147. Page G., Thomas J. International Dictionary of Education . London:Kogan Page. 1977.

148. Paldam M. Social Capital: One or Many? Definition and Measurement // Journal of Economic Surveys, 2000, Vol. 14, Issue 5, P. 629.

149. Parson S. Lifelong Learning and the Community School // Poster C. Community Education in the Western World. London: Routlege. 1990.

150. Peters R.S. Ethics and Education. London:Allen and Unwin.1966.

151. Portes, Alejandro. Economic Sociology and the Sociology of Immigration: A Conceptual Overview. // The Economic Sociology of Immigration: Essays on Networks, Ethnicity, and Entrepreneurship. Ed. by Alejandro Portes. New York: Russell Sage Foundation, 1995, P. 1-43, P. 12-13.

152. Potter C. Program Evaluation. In Terre Blanche M., Durrheim K., Painter D. Research in Practice: Applied Methods for the Social Sciences (2nd ed.). Cape Town: UCT Press. 2006. P.410-428.

153. Potter C. Program Evaluation. In Terre Blanche M., Durrheim K., Painter D. Research in Practice: Applied Methods for the Social Sciences (2nd ed.). Cape Town: UCT Press. 2006. P.410-428.

154. Raizen S., Rossi P. H. Program Evaluation in Education. Washington DC: Nat. Acad. Sci. 1981.

155. Ridde V. Equity and health policy in Africa: Using Concept Mapping in Moore(Burkina Faso) // BMC Health Services Research.2008. №8 (90).

156. Riecken H., Boruch R. Social Explanation: A Method for Planning and Evaluating Social Intervention/ New York. Academic Press. 1974.

157. Rossi P., Williams W. Evaluation Social Programs: Theory, Practice, and Politics. Seminar Press.New York, London, 1972.

158. Rossi P. H. Evaluation: a Systematic Approach. Sage Publications. Beverly Hills.London.1979.P.293.

159. Rossi P. H., Wright J.D. Evaluation Research: An Assessment // Annual Review of Sociology. 1984. Vol.10. P.332.

160. Rossi P.H., Lipsey M.W., Freeman H.E. Evaluation: A Systematic Approach. Thousand Oaks: Sage.2004.

161. Ruth M., Condell L., Ganson H. The Impact of Head Start on Children, Families and Communities: Final Report of the Head Start Evaluation, Synthesis, and Utilization Project. Washington D.C.: CSR INC.1985.

162. Ryan P. Training Quality and Trainee Exploitation // Lyard R. Britain's Trainings Deficit: the Centre for Economic Performance Report. Aldershot: Ashgate, 1994. P.92-124.

163. Schon D A. Beyond the Stable State. London.Temple-Smith. 1971.

164. Scriven M. Pros and Cons about Goal-free Evaluation // Evaluation Comments.1972. №3. P.1-4.

165. Shelley S., Fairchild M., Groginsky S. Early Childhood Care and Education: An Investment that Works. Washington D.C.: National Conference of State Legislatures, February.1995.

166. Stamelos I., Vlahavas I., Refanidis I., Tsoukias A. Knowledge based Evaluation of Software Systems: A Case Study. Information and Software Technology. Amsterdam. 2000.

167. Stouffer S. A., Edward A. S., Leland C. D., Shirley A. S., Robin M. W., Jr. Studies in Social Psychology in World War II: The American Soldier. Vol. 1, Adjustment During Army Life. Princeton: Princeton University Press, 1949. P.125.

168. Sutton P. Lifelong and Continuing Education // Husen T., Postlethwaite N. The International Encyclopedia of Education. V. 6. Oxford: Elsevier Science Ltd. 1994.

169. Tight M. Critical Perspective on Management Learning. Management Learning. Sage. 2000.

170. Tight, M. Key Concepts in Adult Education and Training. London and New York: Routledge, 1998. 2nd ed. 2003.

171. Trochim W. Concept Mapping: Soft Science or Hard Art? // Evaluation and Program Planning. 1989. V.12. P.87-110.

172. Trochim, W. Paper Presented at the 1999 Conference of the Oregon Program Evaluators Network, "Evaluation and Technology: Tools for the 21st Century", Portland, Oregon, October 8, 1999.

173. U.S. Department of Health and Human Services. Creating a 21st Century Head Start: Final Report of the Advisory Committee on Head Quality and Expansion. Washington, D C.: GPO. 1993.

174. Vaught F. A. Governmental Strategies in Practice // Govermental Strategies and Innovation in Higher Education/ Ed. By F.A. van Vaught. London:Jessica Kingsley, 1989.P.21.

175. Wain K. Lifelong Education: a Duty to Oneself? // Journal of Philosophy of Education.1991. № 25. P.273-278.

176. Weikert D.P. Relationship of Curriculum, Teaching, and Learning in Preschool Education // Stanley J.C. Preschool programs for the disadvantaged. Baltimore, Maryland: Johns Hopkins,1972

177. Weiss C. Evaluation: Methods for Studying Programs and Policies. New Jersey: Prentice Hall.1998. P. 230.

178. Weiss C. Evaluation Research: Methods of Assessing Program Effectiveness. Englewood Cliffs. NJ: Prentice-Hall.1972

179. Weiss C.H. The Politicization of Evaluation Research // Social Issues. 1970. V. 26. P.57-68.

180. Wholey J. S., Nay J.N., Schmidt R.E. Evaluation: where is it really needed? // Evaluation Magazine. 1975. V. 2, 2: P.89-93.

181. Wholey J. S., Nay J.N., Schmidt R.E. Evaluation: Where is it Really Needed? Evaluation Magazine 1975,V.2, 2:P. 89-93.

182. Wholey J.S. Evaluation: Promise and Performance. Washington. DC: Urban Institute. 1979.

183. Wildavsky A. Speaking Truth to Power. The Art and Craft of Policy Analysis. New Brunswick, 1987. P.12.

184. Wollmann H. Evaluation in Public Sector Reform. Northampton: Edgar Elgar. 2003.P. 1-11.