Аттестация как средство повышения эффективности системы внеурочной воспитательной работы школы тема диссертации и автореферата по ВАК РФ 13.00.01, кандидат педагогических наук Тамошин, Юрий Михайлович

• Тамошин, Юрий Михайлович
• кандидат педагогических наук
• 2000

Оглавление диссертации кандидат педагогических наук Тамошин, Юрий Михайлович

ВВЕДЕНИЕ

ГЛАВА 1. Аттестация общеобразовательных школ: теоретические основы, принципы, проблемы

1.1. Аттестация школ в системе управления учреждениями общего образования: анализ теоретических и практико-ориентированных концепций

1.2. Принципы и алгоритмы проектирования оценивания в процессе аттестации образовательных учреждений

1.3. Квалиметрические аспекты оценки школы в процессе аттестации

ГЛАВА 2. Проблема целей и содержания аттестационного оценивания системы внеурочной воспитательной работы общеобразовательной школы

2.1. Воспитательная работа в школе: контент-анализ психолого-педагогической литературы

2.2. Проблема оценки внеурочной воспитательной работы школы: концепции и подходы

2.3. Оценка системы внеурочной воспитательной работы школы в рамках аттестационной процедуры: цели и содержание

ГЛАВА 3. Педагогический инструментарий аттестационного оценивания системы внеурочной воспитательной работы школ и его эффективность

3.1. Конструирование аттестационного оценивания внеурочной воспитательной работы общеобразовательного учреждения

3.2. Влияние аттестации на эффективность внеурочной воспитательной работы школы

Введение диссертации (часть автореферата) на тему «Аттестация как средство повышения эффективности системы внеурочной воспитательной работы школы»

Актуальность исследования. Реализация задач гуманизации и демократизации образования предполагает не только обновление целей, содержания образования, используемых форм, методов, технологий обучения, воспитания и развития личности, но и соответствующую перестройку управления образовательными системами на всех уровнях - от федерального до конкретной школы. В основе этой перестройки лежат идеи концентрации основного внимания на выявлении и согласовании интересов различных субъектов образовательного процесса и управления им в противовес привычному принуждению. Реализовать такой подход призваны демократические регуляторы, задаваемые с помощью специальных процедур, таких, как лицензирование, государственная аттестация и аккредитация образовательных учреждений, аттестация педагогических работников и т.д.

В то же время анализ научных исследований по проблемам аттестации учреждений общего среднего образования и оценивания в рамках аттестации различных аспектов деятельности школы свидетельствует, что эти исследования нацелены на достижение наиболее объективной, всесторонней и глубокой оценки тех или иных сторон функционирования учреждений. При этом (за исключением небольшого числа работ) вопросы реализации предназначения аттестации школ как демократического механизма регулирования деятельности образовательных учреждений остаются вне поля внимания исследователей. На практике аттестация зачастую лишь фиксирует существующие недостатки и не реализует возможность непосредственного влияния на эффективность деятельности управляемых подсистем образования.

В исследованиях Л.И.Фишмана высказаны идеи о том, что аттестацию правомерно рассматривать как одну из форм реализации обратных связей в управлении образовательными системами, причем реализация обратных связей есть неотъемлемый способ деятельности всех субъектов образовательных систем. В связи с этим им обосновывается подход, заключающийся в отказе от абсолютизации требования объективности оценивания. Путем "делегирования" обратных связей вышестоящих субъектов образовательных систем нижестоящим предполагается выстраивание их собственных обратных связей, а также достижение посредством этого механизма согласования целей субъектов и демократического гуманистического характера управления. В исследовании В.Н.Чупина данный механизм рассмотрен для частного случая развития целеполагания руководителей школ. Однако эти идеи не применялись для оценивания в рамках аттестации внеурочной воспитательной работы учреждений общего образования.

Существующие теоретические и практико-ориентированные исследования процесса воспитания, воспитательной системы школы, а также исследования, выявляющие подходы к оцениванию эффективности функционирования школьных воспитательных систем, направлены преимущественно на определение возможной структуры и содержания результата воспитания с целью исчерпывающей оценки степени его достижения. Такая направленность имеющихся подходов не позволяет использовать их в чистом виде при конструировании данного аспекта аттестационной процедуры. В процессе аттестации необходимо оценивать результаты деятельности образовательного учреждения, но сама по себе задача выявления конкретного вклада школы в общий итог воспитания ребенка является крайне сложной и еще не до конца решенной в педагогике.

Это несоответствие между большинством исследований в области воспитания и современными подходами к аттестации школ обостряется в связи с нормой Закона "Об образовании", согласно которой аттестация определяется как установление соответствия содержания, уровня и качества подготовки выпускников требованиям государственных образовательных стандартов. При этом сам стандарт воспитания отсутствует, более того, в рамках современной гуманистической парадигмы воспитания даже теоретическая возможность его разработки представляется весьма проблематичной. В то же время понятно, что школьное образование не сводимо к обучению. Воспитательная функция школы все чаще осмысливается как основная, а значит проблема моделирования аттестационного оценивания системы внеурочной воспитательной работы школы как управленческого средства повышения ее эффективности и конструирования соответствующих методик и инструментов является высоко актуальной.

Таким образом, существующее противоречие между необходимостью осмысления аттестационного оценивания системы внеурочной воспитательной работы образовательного учреждения как средства повышения ее эффективности и степенью разработки этих вопросов в теории управления образовательными системами, а также отсутствие опыта реализации такого влияния аттестационного оценивания на воспитательную работу школы определило проблему нашего исследования. В теоретическом плане — это проблема выявления подходов, при которых аттестационное оценивание внеурочной воспитательной работы школы становится действенным фактором повышения ее эффективности. В практическом плане — это проблема разработки соответствующего инструментария.

Объектом исследования является аттестация общеобразовательных учреждений, а предметом исследования — теоретические основы формирования аттестационного оценивания системы внеурочной воспитательной работы школы как средства повышения ее эффективности.

Цель исследования — выявление подходов к построению аттестационного оценивания системы внеурочной воспитательной работы общеобразовательных школ, при которых оно является действенным средством повышения эффективности этой системы.

Гипотеза исследования. Исходя из того, что аттестация школы является не только механизмом государственного контроля за результатами деятельности образовательного учреждения, но и механизмом, позволяющим органу управления влиять на его функционирование и развитие, аттестационное оценивание системы внеурочной воспитательной работы школы будет служить действенным средством повышения эффективности данного аспекта деятельности общеобразовательных учреждений, если: аттестационная процедура рассматривается не только как способ объективизации результатов этой деятельности, но и как инструмент воздействия субъекта оценивания на руководителей и педагогов в аспекте осуществления ими внеурочной воспитательной работы; учитывается необходимость вычленения результатов воспитательного воздействия школы из общего процесса социализации детей; осуществляется максимально возможное ограничение параметров оценивания внеурочной воспитательной работы школы.

Задачи исследования: ^Проанализировать в контексте цели исследования существующие теоретические и практико-ориентированные подходы к аттестации школ.

2. Осуществить моделирование аттестационного оценивания как средства воздействия на деятельность образовательных учреждений и их работников в содержательном и квалиметрическом аспектах.

3. Раскрыть в контексте аттестационного оценивания современные подходы к анализу проблем воспитания и оценке результативности школьных воспитательных систем.

4. Сформулировать принципы проектирования аттестационного оценивания системы внеурочной воспитательной работы школы.

5. Разработать педагогический инструментарий аттестационного оценивания системы внеурочной воспитательной работы школы и осуществить экспериментальную проверку его эффективности.

Методологической основой исследования является теория познания, гуманистическая теория воспитания, системный подход к изучению управленческих и педагогических процессов, теория систем, теория информации, отечественные и зарубежные концепции управления образовательными системами.

Исследование базируется на следующих концепциях и идеях:

- основных положениях методологии педагогики и методики исследования (М.А.Данилов, В.И.Загвязинский, В.В.Краевский, А.И.Пискунов, М.Н.Скаткин);

- теоретических положениях о сущности целостного педагогического процесса (Ю.К.Бабанский, В.П.Беспалько, В.В.Краевский, И.Я.Лернер, Г.И.Щукина);

- теоретико-методологических основах социального управления (В.Г.Афанасьев, М.К.Бочаров, Д.М.Гвишиани, Т.И.Заславская, Г.Х.Попов, А.И.Пригожин, A.M.Омаров, Э.Г.Юдин) и менеджмента (М.Альберт, М.Вудкок, М.Х.Мескон, Ф.А.Тейлор, А.Файоль, Г.Форд, Д.Френсис, Ф.Хедоури, Г.Эмерсон);

- современных концепциях управления образовательными системами (В.П.Беспалько, К.Я.Вазина, Ю.В.Васильев, В.А.Караковский, Ю.А.Конаржевский, В.Ю.Кричевский, А.М.Моисеев, Н.В.Немова,

А.А.Орлов, В.С.Пикельная, В.П.Симонов, М.М.Поташник, П.И.Третьяков, Л.И.Фишман, Т.И.Шамова, П.В.Худоминский);

- исследованиях проблем измерения и аттестации (В.С.Аванесов, М.Альберт, Л.Арелини, Н.Е.Архангельский, Н.Н.Булынский, Б.Госсо, Д.Дьюк, П.Карстанье, Т.Е.Ковина, М.Х.Мескон, Г.А.Сериков, Р.С.Стеркина, А.И.Субетто, В.К.Тарасов, К.М.Ушаков, Н.О.Уваров, Ф. Хедоури, В.С.Черепанов);

- современных гуманистических подходах к воспитанию (Л.В.Байбородова, В.П.Бездухов, О.С.Газман, В.А.Караковский, А.В.Мудрик, Н.И.Монахов, Л.И.Новикова, С.Л.Паладьев, С.Д.Поляков, Н.Л.Селиванова, А.С.Сидоркин, Е.Н.Степанов).

Методы исследования. Выбор методов исследования обусловлен требованиями наиболее адекватного и полного решения задач на каждом этапе научно-исследовательской работы. Использовался комплекс методов: теоретического анализа (сравнительно-сопоставительный, моделирования), социологических исследований (анкетирование, интервьюирование, анализ документов), наблюдений, экспериментальных исследований, изучения и обобщения передового управленческого и педагогического опыта, математической статистики.

Организация и этапы исследования.

Опытно-экспериментальной базой исследования являлись образовательные учреждения Самарской области.

Исследование проводилось в несколько этапов.

Первый этап (1995 - 1996 гг.) Анализ литературных источников, существующих методик и практики оценивания воспитательной работы учреждений образования; осмысление исходных методологических и теоретических положений исследования; изучение подходов к структурированию оценивания внеурочной воспитательной работы в рамках аттестационной процедуры.

Второй этап (1996 - 1998 гг.) Изучение концепции обратных связей в управлении образовательными системами; построение теоретической модели аттестационного оценивания системы внеурочной воспитательной работы учреждений образования; разработка опытно-экспериментальной программы исследования, проведение пилотных исследований состояния системы внеурочной воспитательной работы в школах и разрабатываемых методик ее оценивания.

Третий этап (1998 - 1999 гг.) Выявление условий эффективного воздействия аттестационного оценивания системы внеурочной воспитательной работы в школах на эффективность этой работы и обоснование подходов к построению соответствующих аттестационных инструментов.

Четвертый этап (1999 - 2000 гг.) Детальное изучение влияния аттестационного оценивания на эффективность системы внеурочной воспитательной работы школ, экспериментальная апробация методик и инструментов; литературное оформление основных теоретических и практических положений исследования, подготовка методических рекомендаций, направленных на внедрение результатов исследования в практику.

База исследования: 250 образовательных учреждений и 110 руководителей и заместителей руководителей образовательных учреждений Самарской области, 5 муниципальных органов управления образованием.

В работе использован личный педагогический опыт соискателя: работа учителем и руководителем отдела в учреждении дополнительного образования, методистом Центра лицензирования, аттестации и мониторинга в сфере образования Самарской области, разработчиком нормативных и методических документов для проведения аттестации и образовательных учреждений, непосредственным руководителем комплексом опытно-экспериментальных работ. Новизна исследования:

• разработан алгоритм проектирования аттестационного оценивания, заключающийся в поэтапном определении:

- сторон или аспектов деятельности, на которые целесообразно и реально оказать влияние в процессе аттестации,

- объектов и параметров оценивания с точки зрения идеи их предельного ограничения,

- измерительных инструментов и методик, которые могут быть использованы самостоятельно в образовательных учреждениях;

- адекватных субъектов-источников информации;

- условий, при которых трансформация внутренних обратных связей субъектов оценивания в интросвязи аттестуемых происходит наиболее эффективно;

• определен необходимый минимум параметров оценки в рамках аттестационной процедуры системы внеурочной воспитательной работы школы - "организационные" результаты воспитательной работы, выраженные через показатели поведенческой, эмоционально-чувственной и рефлексивной активности учащихся;

• выявлены условия осуществления аттестационного оценивания внеурочной воспитательной работы общеобразовательных школ, обеспечивающие повышение эффективности этой работы (социально-педагогическая диагностика совокупности мнений старшеклассников как основной источник информации о воспитательном поле саморазвития; анализ адекватности содержания, ресурсообеспечения и управления воспитательной работы ее целям).

Теоретическая значимость исследования заключается в обосновании принципов и подходов к построению аттестационного оценивания внеурочной воспитательной работы учреждений общего образования как средства повышения ее эффективности. Результаты исследования расширяют научные представления об аттестации в управлении различными образовательными системами. Они могут стать основой моделирования аттестационного оценивания различных аспектов деятельности учреждений и работников образования, осуществления анализа воспитательной работы в школе и проектирования технологий ее изменения в процессе аттестации.

Практическая значимость исследования заключается в том, что его результаты направлены на обеспечение эффективности управления образовательными системами, разработку технологий аттестационного оценивания и осуществление переориентации деятельности руководителей и педагогических работников общеобразовательных школ с учетом современных подходов к внеурочной воспитательной работе. Апробированные и подтвержденные научно экспериментальные результаты исследования в виде выводов и методических рекомендаций могут быть использованы в массовой управленческой и педагогической практике.

Достоверность научных результатов обеспечена четкостью постановки задач и обоснованностью методологии исследования; применением комплекса методов, адекватных цели и предмету работы; подтверждением гипотезы как на теоретическом, так и практическом уровнях; репрезентативностью выборки и возможностью воспроизведения материалов экспериментальной работы; результатами сопоставления полученных результатов с массовым управленческим и педагогическим опытом.

Апробация и внедрение результатов исследования осуществлялись посредством научных и методических публикаций; участия в научных конференциях и совещаниях: "Образование и культура", 1998 г., "Педагогический процесс как культурная деятельность",

1999 г., "Непрерывное образование: реформы и традиции", 1998 г., "Здоровый образ жизни в здоровой окружающей среде", 1999 г., "Оценка качества общего образования как фактор развития школы",

2000 г.; проведения специальных семинаров с руководителями муниципальных органов управления и методических служб, методистами, руководителями образовательных учреждений.

Положения, выносимые на защиту:

1. Оценивание системы внеурочной воспитательной работы в процессе аттестации школы должно рассматриваться не только как способ объективизации результатов этой деятельности, но и как инструмент управленческого воздействия на руководителей и педагогов с целью повышения эффективности внеурочной воспитательной работы.

2. В процессе аттестации общеобразовательных учреждений "организационные" результаты воспитательной деятельности определяют необходимый минимум параметров, используемых при оценке системы внеурочной воспитательной работы школы.

3. Разработка процедуры и методик оценивания внеурочной воспитательной работы в процессе аттестации школы должна предусматривать: построение исходной эмпирической модели внеурочной воспитательной работы, отражающей конкретные и принципиально измеримые "организационные" результаты воспитательной деятельности по трем видам активности учащихся (поведенческой, эмоционально-чувственной и рефлексивной); создание адекватного алгоритма отображения исходной модели в элементы формальной модели, предполагающего основным источником информации — старшеклассников, а инструментом сбора информации — анкеты, использующие вербализацию в процессе оцифровки качественных признаков; отбор достаточно простых и открытых для руководителей образовательных учреждений и педагогов инструментов и методик, что обеспечивает делегирование обратных связей от осуществляющих аттестацию органов управления руководителям школ и педагогам, а следовательно - влияние на их профессиональную деятельность; вербализацию общей оценки внеурочной воспитательной работы, предусматривающую отказ от количественных или уровневых подходов к оцениванию.

4. Степень влияния аттестационного оценивания на управление внеурочной воспитательной работой и, опосредованно, на ее эффективность возрастает при использовании методики оценивания "организационных" результатов внеурочной деятельности на основе социально-педагогической диагностики в сочетании с анализом адекватности содержания, ресурсообеспечения и управления воспитательной работы ее целям.

Заключение диссертации по теме «Общая педагогика, история педагогики и образования», Тамошин, Юрий Михайлович

Выводы по второй главе:

1. Анализ психолого-педагогической литературы, посвященной проблеме воспитания, позволил четко выделить два толкования этого понятия. Первое рассматривает ребенка как объект педагогического процесса. Такой взгляд на воспитание как на управление, влияние, воздействие, формирующее личность, характерен для традиционной педагогики, основанной на социоцентрическом подходе, в рамках которого цель развития личности - ее социализация с позиций максимальной общественной полезности. При таком подходе целью воспитания является гармонично и всесторонне развитая личность в соответствии с заданными внешними нормативами. В этом случае учебно-воспитательный процесс игнорирует фактор саморазвития личности.

В соответствии с современной гуманистической парадигмой воспитания, используемой в исследовании, источники воспитания находятся в окружающей действительности, в культуре общества и отдельных людей, а также в самом человеке. Основные закономерности воспитания можно определить следующим образом: воспитание детерминировано культурой общества; воспитание и обучение - два взаимопроникающих, взаимозависимых процесса с определяющей ролью воспитания; эффективность воспитания обусловлена активностью человека, включенностью его в самовоспитание; эффективность и результативность воспитания зависят от гармоничной связи всех его структурных элементов, участвующих в воспитательном процессе: целей, содержания, форм, методов, средств, адекватных ребенку и педагогу.

2.Основной задачей школы является создание необходимых условий для саморазвития, самоактуализации внутренних движущих сил, способностей и талантов ребенка-школьника. Опираясь на анализ потребностей и мотивов детей, в контексте задач настоящего исследования воспитание понимается как деятельность, направленная на создание психолого-педагогических условий для удовлетворения базовых психосоциальных потребностей школьника (ребенка) посредством совокупности воспитательных задач, направлений воспитательной работы школы (в том числе организуемых во внеурочное время).

3. Необходимым условием эффективной организации воспитательного процесса в школе является создание воспитательной системы - целостного социального организма, возникающего в процессе взаимодействия основных компонентов воспитания (цели, субъекты, их деятельность, отношения, материальная база, освоенная коллективом окружающая среда).

В воспитательной системе школы можно достаточно условно выделить подсистему внеурочной воспитательной работы, сохраняющую практически все свойства системы, но являющуюся ее некоторым упрощением. При этом изъятие из системы процесса обучения отнюдь не означает исключения из рассмотрения взаимодействия с ним всех элементов системы внеурочной воспитательной работы.

4. Детальный, проведенный исходя из цели настоящего исследования анализ показал целесообразность рассматрения результатов воспитания не как тех или иных положительных, социально-ценностных качеств личности воспитанника, и не через использование понятия "воспитанность" (формируемого путем отбора, систематизации, структурирования перечня желательных качеств личности), и построения каких-либо интегративных личностных образований, а прежде всего как "организационные" результаты.

В качестве базового уровня результативности воспитательной деятельности следует понимать достижение педагогическим коллективом такого качества (состояния) организации деятельности воспитанников, ее разнообразных видов и форм, при котором обеспечивается реальная возможность: разностороннего личностного проявления воспитанников (положительная динамика проявлений ценностно-значимых качеств личности); обогащения личного опыта воспитанников социально и личностно-значимым содержанием; продуктивности деятельности воспитанников, выражаемой в соответствующих предметно-практических достижениях.

5. Проведенный анализ позволяет сделать вывод о том, что содержание существующих подходов к оцениванию школьных воспитательных и диагностические методы, применяемые в рамках этих подходов, не могут служить даже ориентиром при моделировании и последующем конструировании аттестационного оценивания работы учреждений общего образования в обсуждаемом аспекте по следующим причинам: они не предусматривают реализацию функции механизма изменения деятельности учреждения в плане осуществления его воспитательных задач, так как основным объектом информационного обмена не являются результаты воспитательного процесса, предъявляются очень широкие требования к используемым формам и методам педагогической деятельности, не осуществляется делегирование данных обратных связей; не определяются предварительно те стороны и аспекты системы внеурочной воспитательной работы, на которые целесообразно и реально влиять в процессе оценивания, не отбираются соответствующие объекты (группы объектов) и параметры оценивания; используемые измерительные инструменты и методики весьма громоздки, а потому вряд ли могут быть использованы как в рамках краткосрочной аттестационной процедуры, так и самими образовательными учреждениями в процессе подготовки к ней; зачастую отождествляются объекты оценивания, субъекты-источники и субъекты-пользователи информации.

Именно поэтому при использовании данных подходов и методик не могут быть реализованы сформулированные в первой главе основные требования к интерпретации исходных данных при проектировании и осуществлении аттестационного оценивания в управлении образовательными системами.

6. Результаты проведенных пилотных исследований эффективности внеурочной воспитательной работы школ свидетельствуют о том, что подавляющее большинство руководителей образовательных учреждений недостаточно понимают широкую социальную функцию школы и склонны рассматривать ее как систему воспитательных мероприятий, направленных на решение отдельно взятых задач. Руководители не всегда ставят перед собой задачу выявить результаты собственной работы по реализации социальной функции образовательного учреждения, не в должной мере занимаются выявлением потребностей воспитанников и их родителей, а следовательно, не формируют образовательное и воспитательное пространство в собственном образовательном учреждении в соответствии с этими запросами.

Пилотный этап исследований позволил сформулировать основные цели аттестации как средства развития (повышения эффективности) системы внеурочной воспитательной работы школы: изменение позиции педагогов и педагогических коллективов, их ориентацию на современную гуманистическую парадигму в построении воспитательной работы, предусматривающую концентрацию внимания на организации собственной активной деятельности учащихся, удовлетворяющей их основные социальноориентированные потребности.

Учитывая непродолжительность аттестационной процедуры, а также сформулированный в первой главе принцип максимального ограничения параметров оценивания, выбора преимущественно тех объектов и их сторон, на которые целесообразно воздействовать, в силу указанных особенностей результатов воспитания аттестационному оцениванию могут и должны подвергаться "организационные" результаты.

При построение эмпирической модели внеурочной воспитательной работы, отражающей конкретные и принципиально измеримые "организационные" результаты воспитательной деятельности, следует исходить из необходимости использования трехкомпонентной по своему содержанию системы оценок:

1-й компонент (показатель) - степень участия (включенности) ученика в деятельность (поведенческая активность);

2-й компонент (показатель) - характер отношения к деятельности (эмоционально-чувственная активность);

3-й компонент (показатель) - степень значимости, осмысленности деятельности (рефлексивная активность).

Таким образом, эффективность системы внеурочной воспитательной деятельности в образовательном учреждении при ее оценивании в процессе аттестации школы целесообразно определить как ин-тегративный показатель, выраженный степенью трех видов активности (поведенческой, эмоционально-чувственной, рефлексивной) школьника в специально организуемых формах внеурочной деятельности.

ГЛАВА 3. Педагогический инструментарий аттестационного оценивания системы внеурочной воспитательной работы школ и его эффективность

3.1. Конструирование аттестационного оценивания внеурочной воспитательной работы общеобразовательного учреждения

Качественное проведение процедуры оценивания требует от ее разработчиков четкого определения не только объектов, но и субъектов-источников получения информации. Обозначенная выше сложность вычленения результатов воспитания через сформированность определенных личностных качеств ученика не позволяет, как указывалось выше, использовать его в качестве объекта оценивания. В таком случае объектом аттестационного оценивания становятся организационные результаты воспитательной деятельности с позиций трех видов активности учащихся и условия ее осуществления. Выбор данного объекта, таким образом, приводит к возможности характеризовать эффективность деятельности управляющей подсистемы с позиций представителей управляемой подсистемы. Согласно целям аттестации ими являются учащиеся, а управляющую подсистему по отношению к ним составляют руководитель (заместители) и педагогический коллектив. Очевидно, что субъектом-источником информации прежде всего должен выступать ученик.

С позиций избранного подхода (глава 2) в определении эффективности организации внеурочной воспитательной деятельности учащихся возникает проблема возрастного ограничения субъектов-источников информации. Психофизиологические особенности младшего и среднего школьного возраста не позволяют говорить о сформи-рованности рефлексивной активности, а именно, способности ученика оценивать, признавать деятельность личностно-значимой. До старшего школьного возраста движущей силой является эмоционально-чувственная активность, что затрудняет определение степени ее влияния на сформированность личностных качеств воспитанников. Только старшеклассник способен дать оценку (через мнения, суждения) организуемой внеурочной деятельности с позиций собственных личностно-значимых смыслов.

Следующим моментом при конструировании аттестационных инструментов является проблема выбора адекватного способа оцифровки качественных признаков (такие признаки составляют в нашем случае большинство). Существуют весьма значительные различия в подходах к оцифровке для различных категорий субъектов-источников педагогической информации (177, 178). Прежде всего, очевидной является зависимость между квалификацией источников и шкалами, которые можно использовать при разработке соответствующего инструментария. Как утверждает автор (178), чем выше уровень квалификации источника, тем более оправдано использование количественных параметров для оценки отдельных сторон педагогической реальности. И наоборот: чем ниже уровень квалификации, тем более необходимым становится использование качественных признаков, в пределе - исключительно номинальных. В то же время уровень компетентности эксперта вовсе не означает приоритета его суждений.

Учитывая, что все истинно педагогические признаки принадлежат к двум низшим качественным классам - номинальным и ранговым, данную мысль можно выразить и в терминах различных подходов к оцифровке, о которых говорилось в первой главе. Чем выше уровень источника, тем более оправдано использование первого подхода к оцифровке, основанного на гипотезе существования латентных количественных признаков, выраженных через исследуемые качественные, и соответственно, разбиение первых на интервалы. В случае же менее компетентных источников информации (которые могут быть более осведомленными) целесообразным является использование второго способа оцифровки, не требующего от респондентов указанного перевода качественных признаков в количественные шкалы. Понятно, что в случае опроса старшеклассников целесообразно преимущественно использовать второй способ.

Не рассматривая подробно методологию организации опроса отдельных субъектов-источников с последующей оцифровкой без предположения о существовании латентных количественных признаков, то есть, по второму из названных подходов (это, безусловно, предмет социологических исследований), отметим лишь такой весьма продуктивный вариант реализации этого подхода, как вербализация (159, 178). Необходимо констатировать, что замена интервального или рангового шкалирования выбором из некоторых описанных вербальным способом образцов оценки различных сторон объекта по существу сводит работу источника к отбору некоторых "подходящих" номинальных характеристик.

Существует мнение, что при такой процедуре мы не уходим от гипотезы существования скрытых количественных признаков, а лишь иначе представляем их респондентам. Другой крайней точкой зрения является утверждение В.К.Тарасова (116) - разработчика основанного на вербализации "метода делового портрета" о том, что при такой процедуре измерения вообще не происходит. С наших позиций, это суждение является абсолютно необоснованным. Что же касается отнесения метода вербализации к первому или второму подходу к оцифровке, то это, по нашему мнению, в значительной степени определяется способом последующей обработки. В любом случае, однако, этот способ действительно существенно снижает требования к квалификации источников, что, учитывая непрофессиональный статус и возраст предполагаемых в нашем случае источников информации, представляется весьма важным.

При конструировании инструмента или методик мы ограничены существенным требованием простоты и открытости. Речь идет о том, что, согласно обсуждавшимся в первой главе подходам, применять методики и интерпретировать результаты должны иметь возможность не только привлекаемые для проведения аттестации эксперты, но и сами субъекты аттестуемой школы: руководители и педагоги. Данное ограничение является весьма существенным: значительная часть современных исследовательских методик процесса и результатов воспитания требует (особенно на этапе интерпретации результатов) весьма высокой квалификации субъектов-пользователей. Напротив, многие применяемые в педагогической практике методики не предполагают высокой квалификации пользователей, но и не обеспечивают, как правило, разумной адекватности выводов целям анализа пользователей. С нашей точки зрения, необходимым условием реализации простоты и доступности методик является максимальная (и достаточно простая) алгоритмизация или вербализация интерпретации результатов.

Следуя логике избранного подхода, в качестве основного оценочного инструмента эффективности организации системы внеурочной деятельности учащихся школы является разработанная анкета для старшеклассников (Приложение 4). Формулировки предлагаемых вопросов определяются содержанием каждого из указанных компонентов (показателей) эффективности основных форм внеурочной деятельности, распространенных в школьной практике: 1) факультативы и спецкурсы; 2) творческие объединения (кружки, секции, клубы, студии); 3) массовые мероприятия (классные и общешкольные); 4) классные часы; 5) общественные организации (ученическое самоуправление).

Другие существующие формы внеурочной деятельности представлены на практике не столь широко или по своему содержанию соответствуют известным формам, хотя и имеют другое название.

В ходе пилотных исследований установлено, что рассматриваемый подход к построению инструментария по оценке эффективности внеурочной воспитательной работы оптимален в процедуре аттестации в том смысле, что достаточно полно раскрывает эмпирическую модель (весьма полно диагностирует объект по сравнению с опросниками, составленными с учетом какого-либо одного из указанных выше компонентов в предмете диагностики или иных комбинаций).

Анкета содержит 37 вопросов (Приложение 4). На каждый вопрос сформулированы ответы, из которых учащимся предлагается выбрать либо один, либо несколько. Все ответы оценочных вопросов (№1,3-5, 7, 12, 13, 15 - 18, 20 - 24, 26) составлены с использованием идеи вербализации, что не предполагает каких-либо трудностей у субъектов-источников при выборе того или иного ответа.

Оценка ведется по биполярной шкале (+ ответ; - ответ). Количественный результат оценки (К) представляет собой прямое распределение положительных и отрицательных суждений испытуемых по каждому компоненту в виде численных значений от общего числа опрошенных Ро/о (П1,П2) = ^-100%, где П! - количество учащихся, ответивших положительно, п2 - количество учащихся, ответивших отрицательно, N - общее количество опрошенных учащихся (включая вопросы не оценочного характера). Итоговый результат выражается в виде индексов, распределяющихся в интервале [-1; +1]. Индекс = +1 - это ситуация, при которой все респонденты имеют положительное суждение по предложенной оценочной шкале (идеальная степень проявления показателя). Индекс = -1 - ситуация крайне негативного проявления исследуемого показателя. Величина индекса означает степень преобладания положительных суждений над отрицательными (либо наоборот) и определяется по формуле: i = (nn - n2) '■ (ni + n2). За нулевую точку отсчета при этом принимается состояние баланса между теми и другими (ni : п2 = 1:1). Значение индекса имеет относительное значение в заданном интервале значений, что позволяет проводить сравнение между школами вне зависимости от количества обучаемых, территориального расположения и т.д. Тип построения оценочной шкалы одинаков для всех компонентов диагностики, что дает возможность сравнивать также компоненты между собой внутри школы.

Наряду с основными оценочными шкалами в анкету включены вопросы, позволяющие одновременно получать информацию о факторах и условиях, прямо или косвенно влияющих на эффективность той или иной формы внеурочной деятельности образовательного учреждения, а именно:

1) условия для обеспечения функционирования системы дополнительного образования (факультативов, спецкурсов и творческих объединений) - вопросы № 2, 7, 8, 10, 11;

2) представленность и разнообразие приоритетных направлений деятельности - вопрос № 6;

3) содержание, направленность и характер массовых мероприятий - вопрос № 14;

4) ведущая тематика классных часов - вопрос № 19;

5) основные уровни и первоочередные задачи ученического самоуправления - вопросы № 23, 25;

6) активность участия учащихся в жизни класса и школы - вопрос № 27;

7) психологический микроклимат (комфортность) в школе и классных коллективах - вопросы № 28 - 30;

8) спектр деятельности, предоставляемый внешкольными учреждениями, и степень активности в ней учащихся - вопрос № 31;

9) приоритеты в проведении свободного времени учащимися школы - вопросы № 32, 33.

Для более детального анализа в анкету включены вопросы, выявляющие зависимость получаемых данных от социально-статусных характеристик учащихся:

1) уровня текущей успеваемости ученика - вопрос № 34;

2) класса обучения - вопрос № 37;

3) половой принадлежности - вопрос № 35;

4) статуса семьи (полная, неполная) в которой проживает учащийся - вопрос № 36.

На ряду с основными выводами об "организационных" результатах системы внеурочной воспитательной работы школы анкета позволяет выделить ведущих и второстепенных по степени влияния на активность учащихся основных субъектов педагогической системы: школы (образовательного учреждения), внешкольных учреждений, семьи (родителей), референтной группы (друзей-товарищей). Степень влияния каждого субъекта выражается индексом влияния путем определения соотношения между количеством выбранных респондентом (только положительных) высказываний {А, В, С,.} по отношению к данному субъекту и общим числом положительных высказываний, предлагаемых в анкете применительно к данному объекту {Ы - всегда постоянно}.

•/\ УА + УВ + УС+. индекс влияния I (V) = —----N

Разделив значение индекса влияния ¡(V) на число опрошенных (Ы), получаем среднее значение влияния определенного субъекта педагогической системы на одного опрошенного (среднее значение индекса по массиву):

I (V) среднее = .

Как показали пилотные исследования, достоверность получаемых результатов наиболее высока, если опрос ведется по генеральной выборке. Экспериментально установлено, что характерные для системы внеурочной деятельности тенденции обнаруживаются в выборке, представленной не менее 40% респондентов от общей численности старшеклассников. Среднее время, необходимое для выполнения учеником испытания, равно 35 минутам (что не выходит за рамки урока). Опрос по согласованию с администрацией учреждения можно проводить в любое удобное время в течение срока, отведенного на аттестационную процедуру. Для оперативной обработки получаемых данных разработаны программные материалы на электронных носителях. Тем не менее, как показала практика, результативнее проводить опрос до начала работы аттестационной комиссии с тем, чтобы оценку содержания организуемой школой внеурочной деятельности интерпретировать с позиции характерного для нее типа эффективности. Выстроенная программа обработки и представления полученных данных позволяет интерпретировать их в зависимости от класса обучения, текущей успеваемости и половой принадлежности опрашиваемых учащихся.

При разработке новых методик и инструментов, как правило, рассматривается вопрос об их валидности. Для нас данный вопрос не столь важен, поскольку известные методики и инструменты оценки качества воспитательной работы или воспитательных результатов имеют иные, отличные от наших, основания: оценивание производится не с позиций эффективности "организационных" результатов воспитательной деятельности через три вида активности учащихся. Кроме того, методика принципиально конструировалась не как средство наиболее объективного измерения, а инструмент, позволяющий активно влиять на организацию воспитательной работы школ. Тем не менее, на пилотном этапе на 10 экспериментальных площадках по каждой форме внеурочной деятельности учащихся проводилось выявление степени соответствия фиксируемых при помощи анкеты результатов результатам других авторских методик, имеющих широкое распространение на практике (Приложение 5). При этом в задачи данного этапа исследования не входило определение соответствия полученных данных данным, получаемым по другим методикам на основе жестко заданных количественных интервалов. Приоритетным являлось установление соответствия выявленных тенденций по разным методикам (Приложение 5).

Особенность избранных в качестве проверочных методик состоит в том, что некоторые из них имеют очень узкую направленность (лишь частично "пересекаясь" с нашим подходом) либо, наоборот, выявляют отношение к школе или воспитательной работе в ней столь широко, что затрудняет проведение сравнительно-сопоставительного анализа.

Результаты проведенного анализа (Приложение 5) показывают:

1) максимальное число соответствий выявленных тенденций обнаруживается по показателям эффективности организации массовых мероприятий, классных часов и ученического самоуправления. По двум другим формам внеурочной деятельности совпадение тенденций также более чем удовлетворительное;

2) результаты, получаемые в случае использования методик, направленных на выявление содержания деятельности и характера взаимодействия ее участников, наиболее полно (100% случаев) подтверждают уровень и направленность проблем, определяемых по предлагаемой в исследовании анкете для старшеклассников;

3) четко выраженная зависимость существует между уровнем удовлетворенности учащихся школьной жизнью и эффективностью организации трех форм внеурочной деятельности: факультативов и спецкурсов, массовых мероприятий и классных часов, что нельзя отнести к эффективности организации творческих объединений и ученического самоуправления.

В целом можно заключить, что валидность разработанной анкеты для аттестационного оценивания эффективности организации форм внеурочной деятельности учащихся на уровне тенденций достаточно высока.

Получаемые данные позволяют (по аналогии с результатами исследований С.Д.Полякова (136, 137) выстроить теоретический или гипотетический типологический ряд, характеризующий эффективность системы внеурочной деятельности школы по суждениям учащихся.

Типология представляется следующим образом:

ЗАКЛЮЧЕНИЕ

Проведенное в настоящей работе исследование проблемы аттестационного оценивания системы внеурочной воспитательной работы школ, рассматриваемой как инструмент повышения ее эффективности, позволяет сделать следующие выводы:

1. Опираясь на понимание управления как элемента любой образовательной системы, обеспечивающего реализацию ее целей; учитывая открытость образовательных систем и информационную природу управления; исходя из важности в процессе управления осуществления обратных связей - механизма, посредством которого результаты функционирования системы влияют на характер этого функционирования, а также особенности управления образовательными системами, состоящей в множественности субъектов управления, анализируя аттестацию образовательных учреждений необходимо исходить из ее понимания как институциональной формы осуществления обратных связей в управлении образовательными системами (в нашем случае -прежде всего региональными), имеющих в социально-педагогических системах существенные особенности.

Так как активный и произвольный сбор и переработка информации присущи всем субъектам управления образовательной системой, то обратные связи не могут рассматриваться в таком управлении только как способ получения информации вышестоящим субъектом управления для оказания последующего корректирующего воздействия. Совершенно необходимым является рассмотрение всех субъектов в качестве активных пользователей информацией, идущей по каналам обратной связи, а любой педагогической информации - как проявление сознания ее источника. Отсюда следует необходимость отказа при построении аттестационного оценивания от идеализаций абсолютной объективности информации, а также независимости протекающих в образовательной системе процессов от содержания, способов получения, выбора источников и пользователей этой информацией. Необходимым оказывается также планирование передачи в процессе сбора информации целей деятельности всем субъектам управления и обеспечения принятия этих целей. В связи с этим принципиальным является отбор конкретных параметров оценивания в рамках аттестационной процедуры не только исходя из явных, декларируемых целей аттестации, но и исходя из латентных целей соответствующего органа управления. При этом идея максимальной объективности (системности, всесторонности) оценки не может абсолютизироваться и должна выступать одним из принципов отбора параметров, а не непосредственной целью.

2. Опираясь в анализе проблемы аттестационного оценивания на представление о том, что аттестация учреждения общего образования может и должна реализовывать функцию механизма изменения системы образования, а также на предложенные Л.И.Фишманом и В.Н.Чупиным основные подходы к формированию аттестационной процедуры, мы пришли к выводу о том, что измерение или оценивание может реализовывать функцию воздействия на управляемую подсистему в заданном целью управления направлении лишь при разумном ограничении параметров оценивания, выборе тех объектов и их сторон, на которые целесообразно воздействовать в рамках данного измерения, максимальной осведомленности нижестоящих субъектов о параметрах, критериях и методиках оценивания.

Разработанная нами модель аттестационного оценивания системы внеурочной воспитательной работы, предусматривает реализацию следующей последовательности операций: определение, тех сторон или аспектов на которые целесообразно и реально влиять в процессе аттестации; отобр соответствующих объектов (групп объектов) и параметров оценивания (результатов функционирования внеурочной воспитательной системы, ее функционирования, ресурсного обеспечения), исходя из предельного ограничения их числа; разработка соответствующих измерительных инструментов и методик исходя из необходимости использования достаточно простых технологий, которые могут быть использованы в самих образовательных учреждениях; определение для каждого объекта и используемого инструмента адекватных субъектов-источников информации; выделение организационно-педагогических условий (соотношения объектов, источников, пользователей, процедур измерения, взаимодействий различных субъектов в процессе подготовки, проведения данного аспекта процедуры аттестации и подведения ее итогов), при которых трансформация внутренних обратных связей субъектов оценивания в интросвязи аттестуемых происходит наиболее эффективно; определение возможного соотношения (сочетания) аттестационного оценивания системы внеурочной воспитательной работы и специально организованного и неструктурированного обучения (переподготовки, повышения квалификации, методической работы) работников образовательного учреждения.

3. Реализация этой последовательности операций на квалимет-рическом уровне предполагает построение "эмпирической системы с отношениями", получение формальной совокупности результатов измерения, получение окончательной интерпретации результатов измерения.

При этом основными требованиями к интерпретации исходных данных при проектировании и осуществлении аттестационного оценивания в управлении образовательными системами являются требования:

- соответствия получаемой информации управленческой цели;

- соответствия субъектов-источников информации и измерительных инструментов управленческой цели аттестации;

- соответствия влияния, производимого самим измерением, управленческой цели.

При этом, выполнение двух первых требований автоматически обеспечивает выполнение последнего.

Основные условия качественного проведения этапов оцифровки признаков и интерпретации результатов при проведении аттестационной процедуры таковы:

- обеспечение соответствия инструментария объектам;

- обеспечение максимального разнообразия источников информации;

- выбор адекватных задаче способов оцифровки качественных признаков;

- обеспечение максимальной технологичности измерения и анализа результатов;

- обеспечение валидности инструментария;

- обеспечение репрезентативности данных в случае использования выборочного метода;

- обеспечение теоретического уровня интерпретации результатов измерения.

4. Следует констатировать, что гуманистическая парадигма воспитания требует осознания и признания ребенка как главной ценности в педагогическом процессе, осознания и признания его способности и права на саморазвитие, признание субъект-субъектных отношений определяющими в педагогическом процессе. Исходя из этого основной задачей школы является создание необходимых условий для саморазвития, самоактуализации внутренних движущих сил, способностей и талантов ребенка-школьника. Необходимым условием эффективной организации воспитательного процесса в школе является создание воспитательной системы - целостного социального организма, возникающего в процессе взаимодействия основных компонентов воспитания, в рамках которой можно достаточно условно выделить подсистему внеурочной воспитательной работы.

В понятие "результаты воспитательной деятельности" следует включать по меньшей мере три аспекта и предполагать три уровня потенциальных ее результатов: организационные результаты, практические результаты (реальные достижения воспитанников в различных конкретных видах деятельности), собственно воспитательные результаты (положительная динамика проявлений ценных личностных качеств воспитанников в специально организуемой деятельности).

5. Существующие подходы к оцениванию школьных воспитательных систем и диагностические методы, применяемые в рамках этих подходов, не могут служить ориентиром при моделировании и последующем конструировании аттестационного оценивания работы учреждений общего образования в обсуждаемом аспекте, так как они не предусматривают реализацию функции изменения деятельности учреждения. Как правило основным объектом информационного обмена являются не результаты воспитательного процесса, а используемые формы и методы, не осуществляется делегирование данных обратных связей, не производится предварительное определение тех сторон воспитательной работы, на которые целесообразно и реально влиять в процессе оценивания, используемые измерительные инструменты и методики весьма громоздки; зачастую отождествляются объекты оценивания, субъекты-источники и субъекты-пользователи информации.

6. Основной целью аттестации как средства повышения эффективности системы внеурочной воспитательной работы школы должно служить изменение позиции педагогов и педагогических коллективов, их ориентация на современную гуманистическую парадигму в построении воспитательной работы, предусматривающую концентрацию внимания на организации собственной активной деятельности учащихся, удовлетворяющей их основные потребности. Следовательно, эффективность системы внеурочной воспитательной деятельности в образовательном учреждении при ее оценивании в процессе аттестации школы целесообразно определить как принципиально измеримый интегра-тивный показатель, выраженный степенью трех видов активности (поведенческой, эмоционально-чувственной, рефлексивной) школьника в специально организуемых формах внеурочной деятельности.

7. Создание адекватного алгоритма измерения "организационных" результатов воспитания должно предусматривать в качестве основных субъектов-источников информации учащихся школы. При разработке соответствующего инструментария опроса старшеклассников целесообразно преимущественно использовать вербализацию, не требующую от учащихся перевода качественных признаков в количественные шкалы. Для обеспечения простоты и доступности методик целесообразно использовать вербализацию интерпретации результатов.

На основании этих выводов в качестве основного оценочного инструмента эффективности организации системы внеурочной деятельности учащихся школы разработана анкета для старшеклассников, вопросы которой выявляют эффективность, распространенных в школьной практике основных форм внеурочной деятельности: факультативов и спецкурсов, творческих объединений, массовых мероприятий, классных часов, ученического самоуправления. Для повышения действенности данной социально-педагогической диагностики (в смысле влияния на эффективность воспитательной работы) целесообразно сочетать диагностику с анализом адекватности содержания, ресурсообес-печения и управления организуемой в образовательном учреждении деятельности ее целеполаганию.

8. Изучение влияния предложенного нами варианта аттестационного оценивания системы внеурочной воспитательной работы школ на ее эффективность позволило однозначно зафиксировать данное влияние по четырем динамическим критериям, характеризующим изменения одновременно в трех сферах: результатах, деятельности и ее условий или ресурсов: статистически значимые изменения произошли в эффективности системы внеурочной воспитательной работы школ, измеряемой по аттестационным параметрам, в приоритетных основаниях осуществления управленческих функций в аспекте руководства внеурочной воспитательной работой, в эффективности управленческой деятельности заместителей руководителей по воспитательной работе, в их самооценке профессионального мастерства. Важной характеристикой технологичности предложенного варианта аттестационного оценивания как управленческой процедуры является также систематическое и осмысленное использование разработанных аттестационных методик в управлении воспитательной работой в школах.

Сказанное подтверждает гипотезу исследования и реализацию поставленных нами задач. Вместе с тем, результатами данного исследования аттестационного оценивания системы внеурочной воспитательной работы школ не исчерпываются все проблемы в этой сложной сфере. Например, не полностью реализована на практике разработанная теоретическая модель аттестационного оценивания как в части создания социально-педагогического инструментария для выявления суждений учащихся различных возрастных групп, так и методик анализа адекватности содержания, ресурсообеспечения организуемой в образовательном учреждении воспитательной деятельности и управления ею целеполаганию. Принципиально важным представляется также изучение психологических аспектов оценивания и влияния аттестационного оценивания на взаимодействие руководителей школ и педагогов.

Список литературы диссертационного исследования кандидат педагогических наук Тамошин, Юрий Михайлович, 2000 год

1. Абульханова-Славская К.А. Деятельность и психология личности. -М.: Наука, 1980.-337 с.

2. Абчук В.А. Директорский "хлеб": Занимательно об управлении. Л.: Лениздат, 1991. - 208 с.

3. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. М., 1985. - 132 с.

4. Амонашвили Ш.А. Здравствуйте, дети! М., 1983. - 194 с.

5. Ананьев Б.Г. О проблемах современного человекознания. М.: Наука, 1977.-384 с.

6. Андреев И.В. Современные подходы к деятельности учителя. М., 1996.-78 с.

7. Анкудинов Ю.А. Хозяйственный руководитель: стиль и методы работы. М.: Экономика, 1988. - 160 с.

8. Аптон Г. Анализ таблиц сопряженности. М., 1982. - 88 с.

9. Э.Асеев В.Г. Мотивация поведения и формирования личности. М.: Просвещение, 1976. - 165 с.

10. Ю.Асмолов А.Г. Психология личности. М.: МГУ, 1990. - 367 с.

11. И.Асмолов А.Г. Культурно-историческая психология и конструирование миров. М.-Воронеж, 1996. - 768 с.

12. Афанасьев В.Г. Программно-целевое планирование и управление. -М„ 1990. 127 с.

13. Афанасьева Т. Г. Из опыта аттестации педагогических работников. -Брянск, 1996. 36 с.

14. Бабанский Ю.К. Избранные педагогические труды. М.: Педагогика, 1989.-560 с.

15. Бабкин Н.И., Иванов Д.Е., Толстое Н.С. Проблемы управления образованием: Учебное пособие. Чебоксары: Чувашский РИПКРНО, 1993. - 116 с.

16. Бадалян Л.Г. Количественный анализ качественных признаков // Математические методы в социологических исследованиях. М., 1984. - С. 88-112.

17. Байбородова Л.В. Взаимодействие педагогов и учащихся в школьном коллективе. Ярославль, 1991. - 72 с.

18. Байбородова Л.В., Паладьев С.Л., Степанов E.H. Изучение эффективности воспитательной системы школы: Учеб.-метод, пособие. Псков: ПОИПКРО, 1994. - 92 с.

19. Э.Басов A.B. К вопросу о предмете социальной педагогики II Теория и практика социальной работы. В 2-х тт. - Т. 1. - М.-Тула: Изд-во АСОиР, 1993.-457 с.

20. Бездухов В.П. Гуманистическая направленность учителя. Самара, 1997.-172 с.

21. Безруков В.И. Формирование культуры стимулирования в управленческой деятельности руководителей школы: Автореф. дисс. к. п. н. М., 1995. - 16 с.

22. Беспалько Б.П. Слагаемые педагогической технологии. М., 1989. -190 с.

23. Беспалько Б.П. Теория учебника: Дидактический аспект. М., 1988. -162 с.

24. Битинас Б.П. Некоторые проблемы измерения результатов воспитания учащихся // Измерения в исследовании проблем воспитания. Тарту, 1973. - С. 28 - 31.

25. Битинас Б.П. Структура процесса воспитания. Каунас, 1984. - 98 с.

26. Бодалев A.A. Личность и общение: Избранные труды. М.: Педагогика, 1983. - 272 с.

27. Бодалев A.A. Психология о личности. М.: МГУ, 1988. - 188с.

28. Божович Л.И. Проблемы развития мотивационной сферы ребенка // Изучение мотивации детей и подростков. М., 1972. - С.34-36.

29. Большой энциклопедический словарь. В 2-х тт. / Лод ред. А.М.Прохорова. М.: Сов. энциклопедия, 1991. - 768 с.

30. Бондаревская Е.В. Опыт выявления уровня воспитанностит учащихся // Сов. педагогика, 1965. № 4. - С. 11-14.

31. Братусь Б.С. Общепсихологическая теория деятельности и проблема единиц анализа личности // А.Н.Леонтьев и современная психология.-М.: МГУ, 1983.-С. 212-219.

32. Бруднов А., Березина В. Социально-педагогическая работа в школе // Воспитание школьников, 1994. № 1. - С.2-4.

33. Бутенко И.А. Анкетный опрос как общение социолога с респондентами,- М., 1989. 151 с.

34. Буткина Е.А. Из опыта организации аттестации школ. Новосибирск, 1998.-74 с.

35. Васильев Ю.В. Педагогическое управление в школе: методология, теория, практика. М.: Педагогика, 1990 - 144 с.

36. Вершловский С.Г., Петряевская Л.Г., Ходаков А.И., Бродянская Л.В., Королева Е.Г. Проблемы и перспективы непрерывного образования: Методики социально-педагогических исследований. СПб.: ЦПИ, 1996.-86 с.

37. Вершловский С.Г. Психолого-педагогические проблемы деятельности молодого учителя. Л.: Ленигр.орг.об-ва Знание , 1983. -32 с.

38. Вечерняя средняя школа: Сб.науч.тр. / НИИ общ. образования взрослых АПН СССР / Под ред. С.Г.Вершловского. М.: Педагогика, 1990.-205 с.

39. Винер Н. Кибернетика, или Управление и связь в животном и машине / Пер. с англ. / Под ред. Г.Н.Поварова. М.: Наука, 1983. -343с.

40. Внутришкольное управление: вопросы теории и практики / Под ред. Т.И.Шамовой М.: Педагогика, 1991. -191 с.

41. Воспитание детей в школе: Новые подходы и новые технологии / Под ред. Н.Е. Щурковой. М.: Новая школа, 1998. - 208 с.

42. Воспитательная система школы: аспект моделирования: Учебно-метод. пособие / Авт.-сост. Е.Н.Степанов, Л.В.Байбородова, С.Л.Паладьев. Псков: ПОИПКРО, 1994. - 126 с.

43. Воспитательная система школы. Проблемы и поиски / Сост. Н.Л.Селиванова. М., 1989. - 93 с.

44. Воспитательная система школы: проблемы управления. Очерки прагматической теории / Под ред. В.А. Караковского. М., 1997. -Вып. 6.-104 с.

45. Воспитанность: Модель управленческой скрининг-программы / Под ред. Б.И. Канаева Тольятти, 1998. - 62 с.

46. Выготский Л.С. История развития высших психических функций. Собр. соч. В 6-ти тт. - Т.З. - М.: Педагогика, 1983. - 368 с.

47. Габдуллин Г.Г. Интенсификация управления школой на основе программно-целевого подхода // Совершенствование управления народным образованием в условиях демократизации советского общества. Ч. I. - М., 1988. - 222 с.

48. Гаврилин A.B. Управлление школой как воспитательной системой. -Владимир, 1983. 87 с.

49. Газман О.С. От авторитарного образования к педагогике свободы // Новые ценности образования. М., 1995. - Вып 2. - С. 16-45.

50. Гальперин П.Я. Введение в психологию. М.: МГУ, 1976. - 326 с.

51. Голубев Н.К., Битинас Б.П. Введение в диагностику воспитания. -М.: Педагогика, 1989. 157 с.

52. Гольдберг В.А. Управление становлением воспитательной системы школы. М., 1995. - 193 с.

53. Гузеев В.В. Оценка, рейтинг, тест // Школьные технологии, 1998. -№ 3. С. 3-24.

54. Гуманистическая воспитательная система: Вопросы теории / Под ред. Л.И. Новиковой, A.B. Мудрика М., 1993. - 88 с.

55. Гуров В. "Открытая" школа и социально-педагогическая работа с детьми // Воспитание школьников, 1994. №2. - С.6-9.

56. Де Калуве Л., Маркс Э., Петри М. Развитие школы: модели и изменения Калуга: КИС, 1993. - 240 с.

57. Деятельностный подход в психологии: проблемы и перспективы: Сб. науч. тр. / Под ред. В.В Давыдова и Д.А. Леонтьева. М.: Изд-во АПН СССР, 1990. - 180 с.

58. Елисеев И.А. Роль аттестации в процессе профессионального самосовершенствования. М., 1997. - 64 с.

59. Жмыриков А.Н. Диагностика социально-психологической адаптированности личности в новых условиях деятельности и общения. М., 1989. - 249 с.

60. Закон Российской Федерации "Об образовании" // Информ.-метод, сб. № 25. Самара, 1996. - 86 с.

61. Зверева В. И. Диагностика и экспертиза педагогической деятельности аттестуемых учителей. М.: УЦ "Перспектива", 1998. -112с.

62. Зверева В.И. Самоаттестация школы. М., 1999. - 160 с.65.3игерт В., Ланг Л. Руководить без конфликтов. М.: Экономика, 1990.-336 с.бб.Зосимовский A.B. Формирование общественной направленности личности в школьном возрасте. М.: МГУ, 1981. 343 с.

63. Зотова Н.О. Об оценке эффективности деятельности учителя. -СПб., 1994. 126 с.

64. Иванов И.П. Звено в бесконечной цепи. Рязань, 1994. - 115 с.

65. Изучение личности школьника учителем / Под ред. З.И. Васильевой и др. М.: Педагогика, 1991.- 136 с.

66. Ильин Е.П. Сущность и структура мотива // Психологический журнал, 1995.- №2.-С. 8-11.

67. Ильчиков М.З., Смирнов Б.А. Социология воспитания. М.: Ин-т международного права и экономики, 1996. - 114 с.

68. Имедадзе И.В. Проблема полимотивации поведения // Вопросы психологии, 1984. № 6. - С. 5-7.

69. Ингекамп К. Педагогическая диагностика. М., 1991. -141 с.

70. Интерпретация // Филос. энциклопедия. Т. 10. М., 1970. - 334 с.

71. Интерпретация и анализ данных в социологических исследованиях; типология и классификация в социологических исследованиях / В.Г.Андреенков, Ю.Н.Толстова. М., 1982. - 138 с.

72. Каган М.С. Философия культуры. СПб., 1996. - 416 с.

73. Караковский В.А. Воспитательная система школы: педагогические идеи и опыт формирования. М., 1992. - 128 с.

74. Караковский В.А., Новикова Л.И., Селиванова Н.Л. Воспитание? Воспитание. Воспитание! Теория и практика школьных воспитательных систем. М.: Новая школа, 1996. - 160 с.

75. Кендалл М., Стьюарт А. Статистические выводы и связи. М., 1973. -123 с.

76. Кирилюк Л.Г. Диагностика эффективности процесса нравственного воспитания подростков. М., 1986. - 186 с.

77. Кирьянов А.И. Педагогическая диагностика воспитательного процесса в малокомплектной сельсклй школе М., 1991. - 163 с.

78. Кобзарь Б.С., Макарова Л.М. Обучение студентов диагностике воспитательной работы // Педагогика, 1993. № 1. - С. 66 - 69.

79. Ковалев С.М. Воспитание и самовоспитание. М., 1989. - 182 с.

80. Ковина Т.Е. Аттестация педагогических кадров как средство управления системой образования в регионе // Автореф дисс. к.п.н. -СПб., 1997.-22 с.

81. Колесников Л.Ф., Турченко В.Н., Борисова Л.Г. Эффективность образования. М.: Педагогика, 1991. - 272 с.

82. Колмогорцева Л.И. Организация психолого-педагогической диагностики учебно-воспитательного процесса в школе. Курган: Курганский ИПКРО, 1995.-68 с.

83. Кон И.С. Открытие "Я". М., 1978. - 148 с.

84. Кон И.С. Психология ранней юности. М., 1989. - 193 с.

85. Конаржевский Ю.А. Менеджмент и внутришкольное управление. М: Образовательный центр "Педагогический поиск", 1999. - 224 с.

86. ЭО.Конаржевский Ю.А. Педагогический анализ как основа управления школой. Челябинск: ЧГПИ, 1978. - 102 с.

87. Конев В.А. Курс "Философия образования (культурантропологичес-кий аспект)". Самара, 1993. - 92 с.

88. Кондратьева В. Школа и социум: грани общения // Народное образование, 1994. № 1. - С. 13-14.

89. ЭЗ.Корнеев М.Я. Проблемы социальной типорлогии личности. Л.: Изд-воЛГУ, 1971.- 143 с.

90. Кочетов А.И. Мастерство перевоспитания. Минск, 1991. - 179 с.

91. Краевский В.В. Методология педагогического исследования: Пособ. для педагога исследователя. Самара: СамГПИ, 1994. -165 с.

92. Эб.Краевский В.В. Теоретическая концепция процесса обучения как часть педагогической теории II Теоретические основы создания общего среднего образования. М., 1983. - С. 7-23.

93. Круглянина О.Н. Система школьного образования в современной России: Состояние, проблемы, тенденции развития. М., 1998. -144 с.

94. Кузьмина H.B. Методы исследования педагогической деятельности. -Л.: ЛГУ, 1970.- 114 с.

95. Кузьмина Н.В. Понятие Педагогическая система и критерии ее оценки // Методы системного педагогического исследования. Л.: ЛГУ, 1980.- 172 с.

96. ЮО.Кунц Г., О'Доннел С. Управление: системный и ситуационный анализ управленческих функций / Пер. с англ. / Общ.ред. и предисл. акад. Д.М.Гвишиани. М.: Прогресс, 1981. - 495 с.

97. Куприна А.И. Мониторинг как средство повышения качества управления образовательным процессом. Екатеринбург, 1999. - 247 с.

98. Ю2.Кухарев Н.В. Директор учится: Обрат, связь в педагогической системе. Минск: Университетское, 1989. - 159 с.

99. ЮЗ.Кухарев Н.В. На пути к профессиональному совершенству. М. Просвещение, 1990. - 159 с.

100. Ю4.Кухарев Н.В. Эффективность обучения и воспитания. Минск:БГУ, 1979-216 с.

101. Лебедев O.E. Результаты образовательной деятельности и их измерение // Проблемы результативности педагогической деятельности. СПб., 1997. - С. 18-24.

102. Леонтьев А.Н. Деятельность. Сознание. Личность. // Избр. психол. произв. В 2-х тт. - Т.2. - М.: Педагогика, 1983. - С. 94 - 231.

103. Лихачева Т.Л. Социокультурное проектирование моделей образовательных учреждений в условиях переходного периода. М., 1997. - 153 с.

104. Лобанова H.H., Косарев В.В., Крючатов А.П. Профессиональная компетентность педагога. Самара- СПб, 1997. - 106 с.

105. ЮЭ.Логинова Л.Г. Аттестация и аккредитация учреждений дополнительного образования детей. М.: Владос, 1999. - 240 с.

106. ИО.Маркелов С.А. Разработка и исследование средств управления фундаментализацией образования в социальных системах (на основе логико-категориальных моделей) Самара, 1996. - 246 с.

107. Меньшиков Л.А. Аттестация педагогических кадров. М., 1993. -162 с.

108. Мескон М.Х., Альберт М., Хедоури Ф. Основы менеджмента / Пер. с англ. / Общ. ред. Л.И.Евенко. М.: Дело, 1992. - 702 с.

109. ИЗ.Минияров В.М. Воспитание, социализация и самовоспитание, их соотношение. // Социализация детей и подростков в современных социокультурных условиях малого города: Материалы и тезисы научно-практич. конференции. Кинель, 1999. - С. 15-17.

110. Михеев В.И. Моделирование и методы теории измерения в педагогике. М.: Высшая школа, 1987. - 200 с.

111. Молчанов С.Г. Теория и практика аттестации педагогических и руководящих работников образовательных учреждений: Автореф. дисс.д.п.н. Челябинск, 1998. - 20 с.

112. Монахов Н.И. Изучение эффективности воспитания. Теория и методика. М.: Педагогика, 1981. - 144 с.

113. Монахов Н.И. Проблемы критериев эффективности воспитания школьников // Сов. педагогика, 1987. № 2. - С.24-26.

114. Монахов Н.И. Совершенствование воспитательной работы на основе изучения ее результатов // Сов. педагогика, 1981. № 2. - С. 11-12.

115. Мотова Г.Н. Педагогические основы проектирования системы аккредитации учреждений общего среднего образования. Автореф. дисс. к.п.н. М., 1998. - 17 с.

116. Мудрик A.B. Социализация и "смутное время". М., 1991. -114 с.

117. Мясищев В.Н. Психология отношений. Москва -Воронеж, 1995. -356 с.

118. Немова Н.А. Система повышения квалификации педагогических работников. М., 1994. - 198 с.

119. Никандров Н.Д. На пути к гуманной педагогике // Сов. педагогика, 1990. № 9. - С. 41-47.

120. Никитин Э.М. Научно-организационные основы федеральной системы повышения квалификации в условиях реформирования образования: Учебное пособие. М.: РИПКРО, 1994. - 46 с.

121. Новикова Л.И. Воспитательная система школы: исходные позиции // Сов. педагогика, 1991. № 11. - С. 39-43.

122. Оценка учреждений и работников образования: пути ее совершенствования и практические результаты / Под ред. Л.Е.Куршенова. -М., 1996. С.133.

123. Педагогическая диагностика в школе / Под ред. А.М.Кочетова -Минск: 1987.-127 с.

124. Петрова В. И. О педагогическом эксперименте в изучении процессов воспитания // Сов. педагогика, 1974. № 9. - С. 42-45.

125. Петровский В.А. Идея "Я=МИР" в развитии личности // Новые ценности образования, 1995. Вып. 3. - С. 27-37.

126. Подготовка, принятие и исполнение комплексно-целевой программы работы школы на год: Метод, рекомендации / Под ред. Т.И.Шамовой. М.: МПГУ, 1993. - 38 с.

127. Поздняков Т. А. Эффективность аттестации педагогических работников. Казань, 1995. - 82 с.

128. Положение о порядке аттестации и государственной аккредитации образовательных учреждений // Образование в документах, 1999. -№ 2. С. 11-13.

129. Положение о порядке аттестации и государственной аккредитации образовательных учреждений в Самарской области // Образование -Самарский регион, 1999. 5 октября.

130. Поляков С.Д. Диагностика воспитания: версии для внутреннего и внешнего пользования II Директор школы, 1997. № 2. - С. 26-28.

131. Поляков С.Д. Психопедагогика воспитания: Опыт популярной монографии с элементами учебного пособия и научной фантастики. -М., 1996.-254 с.

132. Попов A.B. Теория и организация американского менеджмента. -М.: МГУ, 1991.- 195 с.

133. Поснова Г.В. Гуманистическая направленность воспитательной деятельности в современной школе. Петрозаводск, 1996. - 188 с.

134. Поташник М.М. Оптимизация управления школой : М.: Знание, 1991.-64 с.

135. Психологический словарь / Под общ. ред. А.В.Петровского и М.Г.Брошевского / Изд-е 2-е, исп. и доп. М., 1990. - 494 с.

136. Рожков И.И. Проблема типологии личности в этико-социологических исследованиях. СПб., 1996. - 148 с.

137. Росс Дж. П. Типология образа жизни / Пер с англ. // Социологические исследования, 1981. № 4. - С. 34-37.

138. Ртищева И.А. Оптимизация процесса формирования "нового типа" личности старшеклассника общеобразовательной школы. М., 1996.-131 с.

139. Рубинштейн С.Л. Проблемы общей психологии. / АПН СССР. М.: Педагогика, 1989. - В 2-х тт. - Т. 1. - 485 с. - Т.2. - 328 с.

140. Рубцов И.В. Свободное время как фактор социально-педагогической коррекции поведения подростков. Екатеринбург, 1996. - 142 с.

141. Руководство вечерней школой и контроль / Под ред. Е.П.Тонконогой. М.: Просвещение, 1985. - 144 с.

142. Руководство педагогическим коллективом: модели и методы: Пособие для руководителей образовательных учреждений / Под ред. В.С.Лазарева. М.: ЦСиЭИ, 1995. - 158 с.

143. Саидер Б. Управление систем ами образования: проблемы и тенденции // Вопросы образования, 1990. № 2. - С. 23-25.

144. Саранов A.M. Системный подход в исследованиях учебно-воспитательного процесса средней школы (на примере системы воспитатетльной работы классного руководителя). Волгоград, 1984. -210 с.

145. Семенов В.Д. Взаимодействие школы и социальной среды: опыт исследования. М., 1986.

146. Сенник Н.М. Аттестация образовательного учреждения как средство стимулирования профессиональной деятельности учителя // Автореф. дисс. к.п.н. СПб., 1997. - 20 с.

147. Скок Г.Б., Горлов Б.Б. Психолого-педагогичсекие аспекты оценки деятельности преподавателей. Новосибирск, 1992. - 147 с.

148. Словарь-справочник менеджера / Под ред. М.Г.Лапусты. М. ИНФРА-М, 1996.-608 с.

149. Соловьев Г.Е. Социально-педагогические условия воспитания личностных перспектив старшеклассников. Екатеринбург, 1994. -163 с.

150. Социально-педагогические проблемы развития профессиональной и общественной активности учителей: Сб. науч. тр. / АПН СССР, НИИ общ. образования взрослых / Отв. ред. С.Г.Вершловский. М.: АПН СССР, 1988.-80 с.

151. Социальное становление учащихся. / Под ред. М.И. Рожкова. -Ярославль: ЯГПУ, 1996. 69 с.

152. Спирин Л.П., Степнинский М.А., Фрумкин M.J1. Основы педагогического анализа. Ярославль, 1985. - 128 с.

153. Справочник заместителя директора школы по восптательной работе. М.: Образовательный центр "Педагогичсекий поиск", 1999. -160 с.

154. Субетто А.И. Квалитативная революция и образование // Проектирование, обеспечение и контроль качества образовательных услуг // Материалы I Всерос. конф. Тольятти, 1998. - 90 с.

155. Суппес П., Зинес Дж. Основы теории измерений // Психологические измерения. М., 1967. - С. 9-110.

156. Тарасов В.К. Персонал: технология, отбор и подготовка менеджеров. Л., 1989. - 238 с.

157. Теория и практика воспитания: Учеб. пособие / Под ред. Л.А. Байковой, Л.К. Гребенкиной, О.В. Еремкиной. Рязань, 1997. - 236 с.

158. Тимофеев Н.Т. Проблема повышения профессиональной квалификации учителя. М., 1993. - 128 с.

159. Типология и классификация в социологических исследованиях. -М.: Наука, 1982. 116 с.

160. Титова Е.В. Если знать, как действовать. Разговор о методике воспитания: Книга для учителя. М., 1993. - 84 с.

161. Третьяков П.И. Управление общеобразовательной школой в крупном городе. М.: Педагогика, 1991.- 188 с.

162. Туулик М.А. Оценивание как социально-воспитательное явление: -Таллин, 1991.- 139 с.

163. Управление в образовании: проблемы и подходы: Практическое руководство / Под ред. П.Карстанье, К.Ушакова. М.: ИФ Сентябрь, 1995.-331 с.

164. Управление развитием школы: Пособие для руководителей образовательных учреждений / Под ред. М.М. Поташника и В.С.Лазарева. М.: Новая школа, 1995. - 464 с.

165. Управление это наука и искусство: Сб. науч. тр. / Отв. ред. Г.Л.Подвойский. - М.: Республика, 1992. - 349 с.

166. Устименко Т.А. Влияние школы как воспитательной системы на мотивацию школьников. М., 1992. - 153 с.

167. Ушинский К.Д. Три элемента школы // Педагогические сочинения. -В 6-ти тт. Т. 1 - М.: Педагогика, 1998. - С. 177-193.

168. Филонов Г.Н. Состояние социума и воспитание // Педагогика, 1995. № 6. - С. 37-42.

169. Фишман Л.И. Можно ли управлять процессом социализации? // Социализация детей и подростков в современных социокультурных усовиях малого города: Материалы и тезисы научно-практич. конф. -Кинель, 1999. С. 13-15.

170. Фишман Л.И. Модель образовательного менеджмента в России: ценности и стереотипы. Казань-Самара, 1997. - 305 с.

171. Фишман Л.И. Обратные связи в управлении педагогическими системами: опыт классификации и конструирования / ИОВ РАО. -СПб.-Самара: СамГПИ, 1993. 394 с.

172. Фишман Л.И. Теоретические основы управления образовательными учреждениями: Пособие для руководителей общеобразовательных школ Самара: СамГПИ, 1994. - 112 с.

173. Фишман Л.И., Чупин В.Н. Влияние управленческой процедуры на профессиональные взгляды директоров школ // Тез. докл. конф. "Непрерывное образование: реформы и традиции". Самара, 1999. -С. 14.

174. Фишман Л.И., Чупин В.Н. Управление образованием на муниципальном уровне // Тез. докл. научно-практической конф. "Актуальные проблемы управления ". Самара, 1994. - С. 16.

175. Фридман Л.М. Изучение личности учащегося и ученических коллективов. М., 1988. - 198 с.

176. Формирование знаний и умений на основе теории поэтапного усвоения умственных действий: Сб. науч. статей / Гальперин П.Я., Талызина Н.Ф. М.: МГУ, 1968. - 135 с.

177. Чупин В.Н. Аттестация образовательных учреждений средство изменения целеполагания руководителей // Тез. докл. II Международной научно-практ. конф. "Педагогический процесс как культурная деятельность",- Самара, 1999. - С. 489.

178. Чупин В.Н. Аттестация общеобразовательных школ как средство развития целеполагания их руководителей // Автореф. дисс.к.п.н. -Самара, 2000. 19 с.

179. Чупин В.Н. Информационное обеспечение развития образования на муниципальном уровне // Тез. докл. Всероссийской научно-практической конф. "Педагогический процесс как культурная деятельность". Самара, 1996. - С. 185-187.

180. Шакуров Р.Х. Социально-психологические основы управления: руководитель и педагогический коллектив. М.: Просвещение, 1990. -280 с.

181. Шамова Т.И., Ахлестин К.Н. Профессиограмма директора общеобразовательной школы. М.: МГПИ, 1988. - 66 с.

182. Шамова Т.И., Конаржевский Ю.А., Нефедова К.А., Третьяков П И. Внутришкольное управление: вопросы теории и практики. М.: Педагогика, 1991.-191 с.

183. Шамова Т.И., Нефедова К.А. Совершенствование методов и форм внутришкольного управления // Сов. педагогика, 1988. № 2 - С. 4144.

184. Швырев B.C. Научное познание как деятельность. М., 1984.

185. Шилова М.И. Учителю о воспитанности школьников. М., 1990.

186. Шинкаренко H.A. "Открытая" школа и социально-педагогическая работа с детьми // Педагогика, 1994. № 1. - С. 24-27.

187. Школа как воспитательная система / Под ред. A.B. Гаврилина. М., 1992. - 164 с.

188. Щипанов В.В. Международная глобализация образовательных услуг // Проектирование, обеспечение и контроль качества образовательных услуг: Материалы I Всерос. конф. Тольятти, 1998. -90 с.

189. Щуркова Н.Е. Воспитание детей в школе. М., 1997. - 174 с.

190. Щуркова Н.Е. Воспитание: Новый взгляд с позиции культуры. М., 1997. - 196 с.

191. Щуркова Н.Е. Диагностика воспитанности: педагогические методики. М., 1994. - 108 с.

192. Щуркова Н.Е., Питюков В.Ю., Савченко А.П., Осипова Е.А. Новые технологии воспитательного процесса.- М., 1993. С. 46-49.

193. Эммануилова Н.С. Из опыта организации аттестации школ. СПб., 1996.-68 с.

194. Юл Дж., Кендэл М. Дж. Теория статистики. М., 1960. - 362 с.

195. Якунин В.А. Обучение как процесс управления: Психологические аспекты. Л.: ЛГУ, 1988. - 159 с.

196. Якунин В.А. Психология управления учебно-познавательным процессом студентов: Учеб. пособие. Л.: ЛГУ, 1986. - 43 с.

197. Larry А., Blaskamp, Dab. G. Brundenburg, John С Ory. Evaluating Theashing Effctiveness. A pracnikal Guide. Sage Publications, inc. Beverly Hills // New Delhi, 1984. 81-86 p.