Психологические резервы совершенствования экспертных оценок при проведении акмеологических экспертиз тема диссертации и автореферата по ВАК РФ 19.00.13, кандидат психологических наук Енакаева, Регина Рустемовна
- Специальность ВАК РФ19.00.13
- Количество страниц 175
Оглавление диссертации кандидат психологических наук Енакаева, Регина Рустемовна
ВВЕДЕНИЕ 4
Глава 1. ТЕОРЕТИКО-МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ ПСИХОЛОГИЧЕСКОГО
АНАЛИЗА ЭКСПЕРТНЫХ ОЦЕНОК 24
1.1 Психологическая сущность, виды экспертных оценок и особенность их применения при проведении акмеологи-ческих экспертиз. 24
1.2 Особенности профессиональной деятельности экспертов и методы их изучения. 43
Глава 2. ЭКСПЕРИМЕНТАЛЬНО-ПСИХОЛОГИЧЕСКИЙ АНАЛИЗ ПСИХОЛОГИЧЕСКИХ ФАКТОРОВ, ВЛИЯЮЩИХ НА ТОЧНОСТЬ ЭКСПЕРТНЫХ
ОЦЕНОК 56
2.1 Анализ имеющихся экспериментально-психодиагностических данных о влиянии психологического фактора на точность экспертных оценок 56
2.2. Психодиагностические отличия экспертов, придерживающихся различных стилей деятельности при экспертных оценках и особенности их использования в деятельности руководителя 66-81 2. 3 Экспериментальное исследование психологических эффектов, возникающих в процессе экспертных оценок и их учет руководителем при организации акмеологической экспертизы 82
Глава 3. ПУТИ ПОВЫШЕНИЯ ТОЧНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК В ПРОЦЕССЕ АКМЕОЛОГИЧЕСКИХ ЭКСПЕРТИЗ 101
3.1 Внутренние психологические резервы совершенствования профессиональной деятельности экспертов 101
3.2 Совершенствование руководства и научного обеспечения профессиональной деятельности экспертов 120
Рекомендованный список диссертаций по специальности «Психология развития, акмеология», 19.00.13 шифр ВАК
Продуктивность акмеологической экспертизы в профессиональной деятельности государственных служащих2007 год, кандидат психологических наук Коротаева, Марика Валерьевна
Продуктивность экспертной оценки управленческого персонала организации2004 год, кандидат психологических наук Смирнов, Сергей Александрович
Оптимизация акмеологических критериев отбора и оценки экспертов2013 год, кандидат психологических наук Тюрин, Константин Геннадиевич
Акмеологические технологии как средство формирования кадрового резерва на предприятии газодобывающей отрасли2008 год, кандидат психологических наук Ковалева, Татьяна Вадимовна
Совершенствование профессионализма социальных работников с учетом их личностных особенностей1998 год, кандидат психологических наук Филиппова, Галина Павловна
Введение диссертации (часть автореферата) на тему «Психологические резервы совершенствования экспертных оценок при проведении акмеологических экспертиз»
Актуальность исследования.
В условиях структурной перестройки промышленности, всей экономики, в условиях преодоления экономического кризиса, непростой социально-политической обстановки в стране резко возросла ответственность руководящих кадров разных уровней за принятие обоснованных, взвешенных решений.
Если учесть, что в условиях системного кризиса все чаще возникают нестандартные ситуации, что нередко опыта по преодолению аналогичных ситуаций руководители не имеют, то становится понятным, что рост профессионализма руководителей связан с успешностью преодоления этих ситуаций. В ситуациях профессиональной некомпетентности или недостаточной профессиональной компетентности руководитель в большинстве случаев опирается на опыт окружающих людей, то есть вольно или невольно, сознательно или бессознательно использует экспертные оценки.
В настоящее время в стране наблюдается системный кризис, что ставит вопрос о необходимости интегральных, комплексных экспертных оценок самых различных отраслей науки и практики. Интеграция различных научных знаний в современной науке происходит, в том числе, и под эгидой акмеологии. Такая интеграция может быть проведена в рамках собственно акмеологической процедуры - акмеологической экспертизы.
Экспертные оценки проводится людьми, экспертами, профессионалами в своей области. От работы экспертов зависит эффективность принятия решения руководителем. В современных условиях, когда резко возросло количество проблемных ситуаций в управлении, когда процесс управления все чаще сталкивается с ситуациями со многими неизвестными, руководители, не использующие опыт экспертов все чаще терпят фиаско, рыночные отношения сметают таких руководителей с своих постом. Поэтому вольно или невольно все большая часть руководителей использует мнение экспертов при принятии решений, все чаще мнение экспертов выступает фактором роста профессионализма руководителей.
Поэтому исследование психологических особенностей экспертных оценок, их влияние на процесс совершенствования профессионализма руководящих кадров, на повышение точности, корректности, объективности, действенности принимаемых решений, является практически важной, актуальной проблемой.
Эта проблема важна и с теоретической точки зрения. В настоящее время метод экспертных оценок неплохо исследован в отечественной науке. Однако психологические аспекты проблемы активизации деятельности экспертов исследованы в отечественной психологии явно недостаточно. Не исследован и процесс использования экспертных оценок в интересах совершенствования профессионализма руководящих кадров. В то же время психологический фактор является одним из важнейших, влияющих на точность экспертных оценок, . а, следовательно, и на взвешенность управленческих решений, принятых на основе мнения экспертов.
В теоретическом плане тема исследования затрагивает развитие методической системы современной психологии, ее интеграцию в управленческую деятельность руководящи кадров. Иван Петрович Павлов отмечал:" Метод - самая первая, основная вещь. От метода, от способа действия зависит вся серьезность исследования. Все дело в хорошем методе. При хорошем методе и не очень талантливый человек может сделать много. А при плохом методе и гениальный человек будет работать впустую и не получит ценных, точных данных" (Павлов И.П., Полн.собр.соч., Т.5, с.26).
Метод экспертных оценок пронизывает всю методическую систему психологи как науки. Именно эксперты определяют какие методы и как применять, как интерпретировать результаты применения различных методов, как интегрировать знания, полученные различными путями, в единую систему. Экспертные оценки обычно предворяют и завершают исследование. Кроме того, в самих экспертных оценках сконцентрировались многие проблемы психологии как науки, в частности в них отражаются социально-психологические особенности, закономерности формирования групп и их оценочной деятельности. По сути большая часть проблем социальной психологии концентрируется на столь конкретном участке.
Таким образом, проблема экспертных оценок является комплексной в самой психологии.
Наряду с этим, постановка вопроса об использовании экспертных оценок в интересах управленческих решений руководящих кадров комплексирует эту проблему с такими отраслями психологии как психология руководства, акмеология и др.
Проблема совершенствования профессионализма руководящих кадров многоаспектна. Один из этих аспектов заключается в том, что профессионал самосовершенствуется сам, с активной помощью наиболее компетентных специалистов - экспертов. И этот резерв совершенствования профессионализма руководящих кадров должен быть осмыслен с научно-психологической точки зрения, в рамках акмеологии.
Проблема активного использования экспертных оценок в интересах принятия управленческих решений, в интересах роста профессионализма руководящих кадров это не только научная, но и социальная проблема, связанная с максимально продуктивным использованием профессионального потенциала общества. Профессионализм в условиях современного общества носит не только, а порой и не столько индивидуальный характер. Научно обоснованное использование мнения экспертов повышает профессиональный потенциал общества, способствует актуализации социального, человеческого фактора в интересах общественного прогресса.
Таким образом, тема исследования актуальна как в практическом, социальном, так и в теоретическом аспектах.
Основные понятия.
Экспертиза ( от франц. expertise, от лат. expertus - опытный) - это исследование специалистами (экспертами) каких-либо вопросов, решение которых требует специальных познаний (см.: Советский энциклопедический словарь. М. : 1989, с. 1559).
Экспертная оценка - количественные и (или) порядковые оценки процессов и явлений, которые не поддаются непосредственному измерению.
Научно-организационная и методическая система экспертных оценок какого-либо явления, процесса выступает как научная экспертиза.
В настоящее время говорят о различных разновидностях экспертиз (военно-врачебная, врачебно-трудовая, криминалистическая, судебная, судебно-психиатрическая и т.д.). В настоящее время развитие акмеологии подошло к такому уровню, что можно говорить и об акмеологической экспертизе.
Акмеологическая экспертиза - комплексная оценка учреждения, его работников с целью оценки уровня их профессионального совершенства и поиска резервов для совершенствования профессиональной деятельности, достижения "акме" как его отдельными сотрудниками, так и учреждением в целом.
Решение проблемы акмеологической экспертизы имеет многие составляющие. Одна из них - использование психологических резервов в проведении экспертных оценок акмеологами.
Состояние изученности проблемы.
Проблема метода экспертных оценок достаточно глубоко исследована в современной науке. И в настоящее время существует не только обширная литература по методам экспертных оценок, но и литература, в которой делается обзор сделанного в этой области. Такой обзор представлен в трудах Г.Г.Азгальдова (Аз-гальдов Г.Г. Теория и практика оценки качества товаров (основы квалиметрии). М.: 1982), Э.П.Райхмана (Азгальдов Г.Г., Райхман Э.П. О квалиметрии. - М.: 1973), Д.С.Шмерлинга и др. (Шмерлинг Д.С. и др. Экспертные оценки. Методы и применение (обзор) // Статистические методы анализа экспертных оценок. - М.: 1977.), В.В.Черепанова (Черепанов B.C. Экспертные оценки в педагогических исследованиях. - М.: Педагогика, 1989) и др.
Можно констатировать, что в настоящее время достаточно подробно обоснованы статистико-математические основы этого метода (см.: Бешелев С.Д., ГурвичФ.Г. Математико-статистические методы экспертных оценок. - М.: 1980 и др.), его роль и место в педагогической экспертизе (Люблинская А.А., 1934; Малькова 3. А., 1962 и др.; Киселев И.Я.,1968; Н.Н.Китаева 1975; Евланов Л.Г., Кутузов В.А., 1978) и др. Фундаментальное исследование в этой области провел B.C. Черепанов (см. Черепанов B.C. Экспертные оценки в педагогических исследованиях. - М.: Педагогика, 1989 и др. ).
Метод экспертных оценок достаточно неплохо разработан применительно к его использованию и в других видах экспертизы - экономической (Азгальдов Г. Г., Райхман Э.П., 1973); - управленческой (Евланов Л.Г., Кутузов В.А., 1978); - технической (Экспертные оценки и их применение в энергетике/ Под ред. Р.М.Хвастунова. - М.: 1981); - производственной (Френкель А. А. , 1977) и др.
Однако данных о роли и месте психологического фактора в процессе экспертных оценок, его роль в процессе формирования профессионализма руководящих кадров весьма немного, чаще они присутствуют в зарубежных исследованиях. На общем фоне проблематики методов экспертной оценки они не так основательны. Это обусловлено в значительной степени тем, что метод экспертных оценок более разрабатывался на примере оценки товаров, машин и других неодушевленных явлений. При этом исследователи метода отмечали, что цикл экспертных оценок при привлечении экспертов должен производиться без контакта последних между собой, без обмена мнениями по поводу той или иной оценки. Что уводило исследователей от социально-психологической проблематики, от проблемы использования экспертных оценок в интересах формирования профессионализма руководителя. Ведь если руководитель не знает мнение экспертов (почему они дали такое, а не иное заключение), то бессмысленно ставить вопрос, что мнение экспертов повлияло на его профессиональные знания.
Это с одной стороны.
С другой стороны, логика развития методов исследования такова, что психологические эффекты начинают изучаться после исследования и внедрения технологических основ того или иного метода, после проявления на практике в результате многолетних исследований психологических эффектов. Эта логика была характерна для анализа эксперимента как метода психологического исследования. На настоящем этапе развития знаний о методе экспертных исследований наступил период осознания проявления в процессе реализации этого метода психологических, социально-психологических факторов, явлений.
Хотя в зарубежной психологи период исследований психологических явлений, эффектов при реализации метода экспертных оценок, их использование в интересах повышения точности, взвешенности управленческих решений, профессионализма руководителей уже наступил. Кроме того, за рубежом наметилась тенденция в настоящее время больше исследовать не метод экспертов сам по себе, а экспертные системы, представляющие собой разновидность искусственного интеллекта.
В связи с этим фундаментальным является исследование Р.Бенфера, Е.Брента, Л.Фурби (R.A.Benfer, Е.Е. Brent, L.Furbee, 1991). В своей книге они представили подробную модель разработки экспертных систем. Данная модель предполагает приобретение, хранение, представление знаний, а также предположение об ограниченности этих знаний при диагностике, прогнозировании человеческого поведения. Авторы предлагают и анализируют различные компьютерные программы, которые помогают производить экспертные оценки в тех или иных областях человеческих знаний. Авторы считают, что процедуры валидализации, известные в социальных науках, в психологии, могут улучшить и методическую систему экспертных оценок. Интересным является анализ авторами индуктивного и дедуктивного подхода при создании базы знаний и правил их обработки, использования, стратегии мыслительной деятельности экспертов и др.
Г. Струбе, Д.Джанецкий, М.Кнауфф (G.Strube, D.Janetzko, M.Knauff, 1996) исследовали структуру обобщенного экспертного знания. В этом исследовании также наметился переход от анализа знаний отдельных экспертов к анализу их обобщенного мнения, которое пронизано психологическими закономерностями, эффектами. И хотя эти эффекты исследуются на примере разработки системы в области художественного оформления, тем не менее предложенные ими методы сбора и отладки многоуровневого знания экспертов поучительны. Эксперты могут работать в различных сферах своей компетентности, в целом покрывая необходимое для практики поле проблем. При этом создается многоуровневая экспертная система. Авторами предложена техника сбора знаний экспертов.
В исследуемой проблеме немало сделали Хейес-Рот, Уотермана и Лената (R.F.Heyes, D.Waterman and D.Lenat, Eds. Building expert systems. Reading, MA: Addlson-Wesley, 1983); Д.Мемми, A. Нгуен-Хуаном (D.Memmi, X.A. Nguyen, 1988); Ван Дам К. (К.Van
Dam, 1991); Дж.Норкини, Дж. Сии, Л.Кроссо (J.Norcini, J, Shea, L.Grosso, 1991); Д.Шварц Дж. Гудман (D.J.Schwartz, J.Goodman,
1992); А.Сароуэйн (A.Saroyan, 1993); М.Коппен (М.Корреп,
1993); Тер Лаак (Тег Laak J. 1994); С.Чао, Г.Сальвенди (C.J.Chao, G.Salvendy, 1995); В.Моустакис, М. Лето, Г. Сальвенди (V.Moustakis; M.Lehto; G.Salvendy, 1996).
Таким образом, психологические аспекты метода экспертных оценок более исследованы в зарубежной психологии, однако эти исследования сложно "прямо", непосредственно применить, переломить под углом потребностей совершенствования профессионализма, здесь нужны свои исследования.
Цель исследования - выявить психологические резервы совершенствования экспертных оценок при проведении акмеологичес-ких экспертиз.
Объект исследования - системы экспертных оценок.
Предмет исследования - процесс совершенствования экспертных оценок в системе акмеологической экспертизы.
Границы исследования.
Понятие "экспертные оценки" несколько шире понятия "метод экспертных оценок". Метод экспертных оценок, как и все его разновидности, предполагает относительно однородную и относительно завершенную систему приемов, способов осуществления оценок определенного типа.
Экспертные же оценки могут применяться и эпизодически, без системы относительно однородных способов, приемов их осуществления. Экспертные оценки могут даваться и в рамках других методов исследования - анализа результатов деятельности, психобиографического метода, наблюдения, тестирования и др.
Однако в основе исследования лежал анализ все-таки методов экспертных оценок, и речь идет не только об индивидуальной экспертизе, но и о коллективной.
Использование руководителем экспертных оценок методом "черного ящика", как это порой делается в традиционно применяемых в настоящее время методах экспертной оценки, может быть плодотворным и продуктивным для принятия управленческих решений. Однако возможности такого способа экспертных оценок ограниченно с точки зрения роста профессионализма как руководителя, так, порой, и самих экспертов: общение их между собой нередко блокировано.
В данном исследовании речь более идет о коллективной экспертизе, в результате которой возможен рост профессионализма как руководителя, так и самих экспертов.
При проведении коллективной экспертизы можно выделить следующих участников: организаторы экспертизы, эксперты, технический персонал. Организатором коллективной экспертизы чаще выступают руководитель, экспертами - высококвалифицированные специалисты в своей области, нередко с выраженным "акме". Во всяком случае любой руководитель должен стремиться, чтобы привлекаемые им эксперты обладали таким "акме".
В результате экспертных оценок может получаться как точечный итог - основание для определенного решения, так и система (порой весьма противоречивая) данных, служащая основанием для нелинейного, многоуровневого решения. Из этой системы знаний со временем может вырасти экспертная система.
В предмет исследования не входит анализ психологических особенностей, закономерностей создания экспертных систем. Он ограничивается анализом психологических аспектов совершенствования экспертных оценок в интересах принятия руководителем продуктивных управленческих решений и совершенствования профессионализма. При этом речь идет как об индивидуальном, так и о коллективном профессионализме. Этот процесс весьма психологичен.
Поэтому анализ психологических резервов для совершенствования работы экспертов представляется важным и актуальным. В диссертации исследовались психологические явления, возникающие при организации работы и при работе экспертов и соответствующие резервы их совершенствования, под углом роста профессионализма как руководителя, так и самих экспертов.
В процессе исследования в меньшей степени внимание уделялось предмету экспертных оценок в процессе проведения акмеологической экспертизы - структуре и сущности акмеологических явлений, профессионализму личности и коллективу, специфике "акме" и др. Это обусловлено тем, что исследование проведено в русле достижений акмеологии, в рамках которой уже определены структура и сущность профессионализма, акмеологических явлений, которые оцениваются экспертами при проведении акмеологических экспертиз (А.А.Деркач, В.Г.Зазыкин, А. К. Маркова и др.).
Гипотеза исследования.
Если эксперты являются личностями, которые обладают лич-ностно-профессиональными, психологическими особенностями, в том числе и теми (социально-психологическими, когнитивными, мотивационными и др.), которые влияют на точность экспертных оценок, и если взаимоотношения в группе экспертов и между экспертами и руководителем представляют собой сложную систему, которая в своем развитии должна подчиняться уже известным в науке особенностям, закономерностям развития группы, коллектива, то можно предположить, что такая организация экспертных оценок и деятельности экспертов, когда они связаны между собой общей деятельностью, когда актуализируются социально-психологических факторы в их деятельности, будет способствовать более успешной их работе, более активному их профессиональному самосовершенствованию.
Кроме данной, основной гипотезы были сформулированы и субгипотезы.
Если социально-психологические, психологические особенности экспертов влияют на экспертные оценки, то характерологические различия экспертов должны оказывать влияние на стиль, стратегии экспертных оценок, на особенности их профессионального самосовершенствования.
Если в деятельности экспертов есть много моментов аналогичных экспериментальной деятельности, то психологические явления, возникающие в эксперименте, могут иметь много аналогичного с психологическими явлениями, возникающими в процессе экспертных оценок. Это можно использовать в интересах повышения продуктивности экспертных оценок.
Если группа экспертов в своем развитии подчиняется закономерностям, особенностям развития и функционирования любой группы людей, то психологические эффекты, вскрытые на других группах, могут иметь место и при организации деятельности экспертов в период их использования для обоснования того или иного управленческого решения. Их можно подтвердить в процессе экспериментальных исследований.
Данные гипотезы подтверждены полученными данными.
Задачи исследования:
1. Классифицировать методы экспертных оценок и обосновать специфику их применения при: принятии управленческих решений руководителем; использовании в интересах профессионального роста коллектива.
2. Экспериментально-психодиагностически исследовать психологические явления, возникающие при проведении экспертных оценок.
3. Обосновать основные пути использования психологических резервов совершенствования деятельности экспертов в интересах акмеологической экспертизы, принятия того или иного управленческого решения, роста профессионализма кадров.
Методологические и теоретические основы исследования.
Методологическую основу исследования составила теория познания, в особенности теория о методах, принципах научного исследования. Именно данная теория, классифицируя все методы на методы эмпирического и теоретического исследования, дает возможность выделять в методе экспертных оценок как эмпирическую основу, так и его теоретические компоненты: анализ, синтез, дедукция, индукция, сравнения, аналогии широко используются при реализации данного метода. Кроме того, когда собраны эмпирические данные и они обработаны, то теоретические выводы из этих данных также делают в конечном счете эксперты. Экспертные оценки могут касаться как эмпирического уровня познания, так и теоретического.
Современная теория личности, стратометрическая теория (А.В.Петровского), социально-психологическая теория непосредственно предопределяли направление данного исследования.
Анализ деятельности экспертов проведен с позиции теории совместной деятельности (Абульханова-Славская К.А., Аллахвер-дова 0. В., Бобнева М.И., Жизневский Б. П., Журавлев A.J1., Журв-лев Е.В., Захаров В.П., Иванов М.А., Калин В.К., Кашницкий В.И., Коломинский Я.Л., Сапоровский В.С., Сушков И.Р., Танаев В.П., Терехин В.А., Ханин Ю.Л., Хщенко В.А., Чернышев А.С., Шихирев П.Н., Шорохова Е.В., Ярошевский М.Г. и др.). В данной теории совместная деятельность рассматривается как объект социально-психологического исследования. В ней выделяются признаки совместной деятельности; ее структура; роль взаимодействия, в частности взаимодействия экспертов, при совместной деятельности; динамические особенности совместной деятельности и его коллективного субъекта, в данном случае - бригады экспертов. В теории совместной деятельности рассматривается становление социально-психологической структуры деятельности; распределение функций совместной деятельности; психотехнический и системный подходы; модели процессов распределения функций у людей и организаций; факторы, которые препятствуют, или способствуют эффективности совместной деятельности. Данная теория выделяет и предполагает отдельный анализ субъекта коллективной деятельности; мотивационные компоненты совместной деятельности; роль личности руководителя в организации совместной деятельности; механизмы саморегуляции и регуляции этой деятельности; пути и условия ее интенсификации. Теория совместной деятельности, разработанная отечественными учеными легла в основу проведенного исследования.
Методологические функции в данном исследовании и выполняла теория экспертных систем. Теория экспертных систем является развитием искусственного интеллекта. Экспертные системы, которые в настоящее время создаются в науке, уже обладают признаками искусственного интеллекта. Данная теория описывает как выявлять знания у экспертов, как создавать базы знаний и правил их использования и др. По сути дела данная теория предопределяет идеал к которому должны стремиться исследователи и пользователи метода экспертных оценок.
Объединяющей, интегрирующей теорией в данном исследовании выступала акмеология - наука о вершинах профессионального мастерства. Эксперты в большинстве своем являются или должны являться специалистами высочайшего уровня, обладающими высоким уровнем развития профессионализма в своей области - "акме". Используя особенности формирования продуктивных экспертных оценок, руководитель постепенно совершенствует с их помощью свой профессионализм, также двигается в сторону овладения "акме". При этом проявляются все известные акмеологические закономерности, особенности. Поэтому опора на работы К.А.Абульхановой, С. А. Анисимова, 0. С. Анисимова, В.Г.Асеева, О.И.Жданова, А. А. Бодалева, А.А.Деркача, В. Г. Зазыкина, Е.А.Климова, Р.Л.Кри-чевского, Н.В.Кузьминой, Л.Г.Лаптева, А.К.Марковой, В.Г.Михайловского, Э.А.Манушина, В.В.Петрусинского, В.А.Пономаренко, И.Н.Семенова, А.П.Ситникова, Е.А.Яблоковой и др. носила методологический характер.
Особую значимость в исследовании играли работы А.А.Дерка-ча и В.Г.Зазыкина (1998 и др.). В их исследованиях по сути дела приводятся технологии акмеологических экспертиз, хотя сам термин "акмеологическая экспертиза" не используется.
Акмеологичность данного исследования многоаспектна.
Во-первых, для экспертных оценок наиболее часто используются профессионалы высокого уровня, с выраженным "акме". Поэтому это исследование касается особенностей деятельности лиц с высоко выраженным профессионализмом.
Во-вторых, это исследование носит комплексно-акмеологи-ческий характер, так как проводится на границе различных научных дисциплин, отраслей современной психологии (акмеологии, социальной психологии, психологии личности, дифференциальной психологии, психологии управления и др.). Акмеология выступила в данном исследовании той вершиной, в которой как бы аккумулируются возможности этих отраслей психологии.
В-третьих, данное исследование нацелено на формирование профессионализма как руководителей, так и самих экспертов-профессионалов высокого уровня. Профессиональное саморазвитие протекает в процессе общения специалистов, их совместной работы, но этот процесс может быть значительно активизирован, если использовать в его интересах выявленные в исследовании психологические резервы.
В-четвертых, в исследовании вводится понятие "акмеологическая экспертиза". Акмеологическая экспертиза является практической технологией активизации резервов профессионального роста учреждения, организации и личностно-профессионального потенциала каждой личности. Экспертные оценки в исследовании рассматриваются более в рамках акмеологического подхода.
Методика исследования.
Методика исследования включала в себя как методы эмпирического, так и теоретического анализа. Среди эмпирических методов широко использовались метод экспертных оценок (экспертов оценивали эксперты), тестирование (применены тест MMPI, Кэт-телла, интеллектуальный тест Амтхауэра, семантический дифференциал и др.), применялось наблюдение, естественный эксперимент, личностно-ситуационный анализ, беседа, анализ результатов деятельности, анализ документов и др.
На этапе теоретического анализа использовались математические модели, отражающие процесс группового взаимодействия, а также такие методы теоретического исследования как анализ, синтез, аналогия и др.
Основные научные результаты, полученные лично соискателем, и их научная новизна:
1. В результате проведенной многокритериальной классификации экспертных оценок выделены: методы групповых и индивидуальных экспертных оценок; методы экспертной оценки педагогических, психологических, социальных, экономических и др. явлений; методы экспертной оценки личности, группы людей, организаций, технологических процессов, предметов, явлений и др.; морфологический экспертный метод, метод рейтинга, проективного оценивания, парного сравнения, ролевого списка и др.; методы экспертной оценки качественно разнородных явлений и качественно однородных явлений; экспертные оценки, даваемые по заданному алгоритму, по заданной методике с использованием репродуктивных знаний, умений и экспертные оценки творческого типа и
ДР
Обоснована роль и значимость метода экспертных оценок в подготовке, проведении и использовании результатов тестирования.
Обоснована концепция многослойности экспертных оценок. Суть этой концепции заключается в выделении промежуточных и конечных экспертных оценок при принятии управленческих решений.
Промежуточная оценка выражается в определении состояния оцениваемого объекта по промежуточным критериям, которые могут находиться не в линейной зависимости с основным. При этом одни эксперты разрабатывают и предлагают критерии для оценок, а другие по этим критериям оценивают акмеологические явления. Первый и второй слой экспертов чаще всего разделены временем и местом оценивания.
2. В результате проведенного экспериментально-психодиагностического анализа личности и деятельности экспертов выявлено, что эксперты в зависимости от своих личностных и иных особенностей придерживаются относительно противоположных стилей деятельности: ориентации на мнение других и ориентации на соответствие оцениваемого явления выдвинутым критериям. Установлено, что черты личности экспертов, диагностированные с помощью тестовых методик, влияют на характер деятельности эксперта и его оценки.
Выявлено, что ситуация экспертных оценок оказывает большее влияние на мнение, оценки эмоционализированных экспертов, которые близки к художественному, эмоциональному типу личности. У экспертов с художественным, эмоциональным типом личности оценка больше зависит от ситуации, контекста оценивания, она более подвижна, изменчива. На данный тип экспертов оказывает существенное влияние окружение, работники управленческих структур, эмоциональная, социально-психологическая атмосфера при проведении экспертизы.
Выявлены психологические признаки латентной конфликтности экспертов. Выявлен эффект чрезмерной технологической сработанности экспертов и его психологические признаки. Суть этого эффекта заключается в том, что технология проведения экспертных оценок становится настолько отработанной, ясной, что многие ее моменты, компоненты делаются как бы автоматически, без всестороннего анализа условий, особенностей данной конкретной ситуации.
3. Обоснованы пути использования психологических резервов обеспечения точности экспертных оценок, а также методы решения этих проблем (использование методики семантического дифференциала, методической системы взаимных оценок и др.).
Выявлен эффект сокращения конфликтных ситуаций между экспертами на почве психологической несовместимости и роста обоснованности, аргументированности экспертных оценок при введении методики взаимных оценок.
Практическая значимость исследования. Результаты исследования дают возможность:
1. Повысить эффективность управленческих решений при подготовке и проведении акмеологических экспертиз.
2. Повысить результативность психологических исследований с применением методов тестирования.
3. Повысить точность маркетинговых и иных прикладных исследований, связанных с использованием экспертов.
Апробация и внедрение результатов исследования.
Основные результаты исследования внедрены в практической работе автора в составе группы специалистов Акмеологического института, привлекаемых для проведения акмеологических экспертиз как в государственных, так и в коммерческих учреждениях.
Надежность и достоверность исследования обеспечивалась проверенными методологическими, теоретическими позициями, использованием методов психодиагностики, естественного эксперимента, наблюдения, экспертных оценок и других методов, дающих возможность комплексного исследования проблемы. Надежность исследования обеспечивалась и личным опытом работы автора при проведении экспертных оценок, наличием профессиональных контактов с руководителями различных уровней, которые также использовали метод экспертных оценок в интересах своего профессионального совершенствования.
Всего протестировано 94 эксперта из 24 экспертных группы. 17 экспертных групп протестировано полностью, 7 - частично. Кроме этого 120 экспертов протестировано, изучено за рамками акмеологических экспертиз, в которых участвовала автор.
Проанализированы 23 случая психологической несовместимости или неполной психологической совместимости между экспертами.
Проведено 12 естественных экспериментов, 7 из которых приводятся в диссертации.
Положения, выносимые на защиту:
1. Экспертные оценки весьма разнообразны и разнокачест-венны. Они применяются как на эмпирическом этапе исследования, так и при теоретических обобщениях. Они могут быть как относительно однородны и выделяться в особый, экспертный, метод исследования, так и вплетаться в другие методы исследования, завершать их, как например при интерпретации результатов тестирования. Метод экспертных оценок является ведущим при принятии сложных, комплексных решений в проблемных ситуациях развития. Он достаточно продуктивен на всех этапах управленческой работы и развития профессионализма руководителя.
2. Выявленный эффект двухполюсной ориентацией экспертов при оценивании. Один полюс этой ориентации направлен на суть изучаемой проблемы, степень соответствия изучаемого явления выдвинутым критериям; иной полюс - это мнение других экспертов. Эксперты бессознательно придерживаются или стратегии поиска истины, или стратегии поиска консенсуса с другими лицами. В связи с этим можно выделить три группы экспертов: - с ведущей ориентирующей на поиск истины, - с ведущей ориентацией на сохранение своего статуса, на достижение единства во взглядах, консенсуса с другими, - промежуточная группа, которая стремится придерживаться и той и иной стратегии в зависимости от ситуации.
Эти группы экспертов отличаются своими личностными особенностями.
Первая группа экспертов характеризуется достаточно высоким уровнем предметных знаний, высоким значением IQ, наличием самостоятельных научных работ, публикаций, отсутствием продолжительного опыта руководством крупными коллективами.
Вторая группа экспертов характеризуется достаточно высоким уровнем общительности, наличием опыта руководства людьми, несколько сниженными по отношению к представителям первой группы интеллектуальными способностями, нередко приподнятыми значениями по шкале истероидности (Ну), психастении (Pt), фе-минизированности (Fe) теста MMPI, что может быть проинтерпре-тированно как наличие некоторых акцентуаций в личности. По-видимому, наличие этих акцентуаций предопределяет то, что данные лица статистически чаще используют защитные реакции, которые порой "уводят" группу экспертов от поиска истины, но позволяют сохранить достаточно высокий личностный статус в этой группе лиц, в системе взаимоотношений с другими.
Третья группа экспертов характеризуется достаточно сбалансированным типом личности, наличием в ней относительно противоположных черт. Для таких лиц характерны в среднем промежуточные значения между первой и второй группой по интеллектуальным тестам. Нередко у них наблюдаются сочетание таких качеств, которые как бы взаимно уравновешивают друг друга. Так, относительно высокие значения по шкале паранойяльности у них сочетаются с наличием приподнятых значений по шкале Fe и Ну методики MMPI. Для данной группы экспертов чаще свойственен опыт руководства коллективами, нередко немалыми.
3. Основными путями использования психологических резервов совершенствования деятельности экспертов при подготовке управленческих решений руководителем, при профессиональном самосовершенствовании являются: оптимальный подбор и обучение экспертов; определение индивидуальных путей, способов, методов повышения эффективности экспертных оценок в конкретных ситуациях, условиях; оптимизация профессионального общения экспертов и их взаимооценок; организационное обеспечение решения социально-психологических проблем повышения действенности работы экспертов; совершенствование процессе интерпретации экспертных оценок с учетом влияния психологического фактора; обоснованное и своевременное обновление состава экспертов; совершенствование руководства экспертами; создание экспертных систем для проведения экспертных оценок акмеологического типа.
Похожие диссертационные работы по специальности «Психология развития, акмеология», 19.00.13 шифр ВАК
Акмеологическая концепция продуктивности принятия и реализации управленческих решений2004 год, доктор психологических наук Михайлов, Геннадий Степанович
Акмеологическая оценка как средство оптимизации профессиональной деятельности кадров государственной службы2009 год, кандидат психологических наук Галантэ, Максим Вячеславович
Психолого-правовые особенности экспертной деятельности в системе государственной службы2011 год, кандидат психологических наук Василенко, Владимир Владимирович
Акмеологическая система развития инновационной деятельности кадров управления2011 год, кандидат психологических наук Лобзин, Роман Валентинович
Психолого-педагогическая экспертиза в образовании: Теория и практика2002 год, доктор психологических наук Мкртычян, Герасим Амирович
Заключение диссертации по теме «Психология развития, акмеология», Енакаева, Регина Рустемовна
ЗАКЛЮЧЕНИЕ:
1. Экспертные оценки весьма распространены в методических системах современной психологии. Если экспертная оценка проводится с помощью совокупности относительно однородных приемов, операций практического или теоретического освоения действительности с помощью специалистов достаточно высокого уровня квалификации, подчинены цели экспертизы, то это представляет собой одну из разновидностей экспертного метода.
Однако экспертные оценки могут входить и входят как прием, операция в иную систему практического или теоретического освоения действительности, в частности психологического - в наблюдение, анализ результатов деятельности, тестирование, психобиографический анализ и т. д. В этом случае экспертные оценки не получают статус экспертного метода, но их оптимизация связана и с использованием выводов, полученных при исследовании метода экспертных оценок.
Комплексная оценка учреждения, его работников с целью поиска резервов для совершенствования профессиональной деятельности, достижения "акме" как его отдельными сотрудниками, так и учреждением в целом может быть названа акмеологической экспертизой. В процессе ее проведения важна ориентация экспертов на формирование "акме", профессионализма как индивидуального, так и коллективного, важно не просто зафиксировать имеющий место быть факт, а выявить резервы для повышения личност-но-профессионального потенциала учреждения, конкретной личности.
Экспертные оценки основываются на количественно-качественных отражениях тех или иных областей действительности. При проведении акмеологической экспертизы это касается как оценки личностно-профессионального потенциала работников, так и учреждения в целом.
2. Несмотря на длительное изучение метода экспертных оценок, на наличие достаточно хорошо отработанных процедур, приемов, способов, все же психологические аспекты совершенствования экспертных оценок оказались недостаточно изученными. Существенное влияние на это оказало хорошо обоснованное и известное требование автономии экспертов при проведении экспертных оценок. Однако это требование оправдано более к ситуациям определенного оценочного цикла. Реально же в жизни процесс аттестации протекает в процессе реального или условного общения экспертов как между собой, так и с руководителями экспертизы, с лицами, заинтересованными в той или иной оценке. Учет социально-психологического фактора в процессе проведения экспертных оценок выступает одним из основных условий их совершенствования. При этом важно соблюсти меру индивидуальности, независимости экспертных оценок и коллегиальности, меру автономности и социально-психологической компетентности.
Отношения между экспертами, между экспертами и руководителями экспертизы, между экспертами и лицами, которых оценивают, представляют собой живое общение, которое подчиняется социально-психологическим закономерностям. Их учет - важный резерв совершенствования метода экспертных оценок.
3. Социально-психологические явления могут как активизировать, улучшать, так и ухудшать продуктивность деятельности экспертов, точность их оценок.
В процессе исследования выявлены эффекты снижения качества деятельности экспертов, нарастания внутрених проблем в силу активизации тех или иных психологических факторов. Так, наблюдается эффект нарастания психологических признаков латентных конфликтов по мере неравномерного научно-методического роста самих экспертов; эффект снижения качества, точности, скрупулезности экспертных оценок в силу чрезмерной технологической сработанности и др.
Наряду с этим правильно организованные взаимные оценки экспертами друг друга, обеспечение их психологической совместимости и др. повышают результативность экспертных оценок.
Осознание социально-психологических резервов улучшения работы экспертов и управление этим процессом выступает важным фактором обеспечения точности экспертных оценок.
4. Анализ личностных, профессиональных особенностей работников неотделим от экспертных оценок даже при проведении достаточно обоснованного тестирования. При этом эксперт определяет насколько точно арсенал примененных тестов "взял" конкретную личность. В случае, если методики "прошли мимо" лич-ностно-профессионального потенциала личности, ее основных акцентуаций, доминант, особенностей, то эксперт делает заключение о необходимости применения дополнительных методов для ее изучения. Однако даже в случае если тесты "взяли" основные профессиональные, личностные особенности человека, доминанты, черты личности, то эксперт делает заключение о том насколько эти доминанты, черты личности могут влиять на индивидуальный, профессиональный стиль деятельности, насколько они компенсируются или не компенсируются другими качествами личности. Тестирование немыслимо, а порой просто бессмысленно, без экспертных оценок. Экспертные оценки сопровождают процесс тестирования, в том числе и проводимого в интересах акмеологической экспертизы.
Результаты тестирования важны не сам по себе, а в соотнесении с профессиограммой, психограммой, критериями для оценки личности, ее отдельных видов деятельности и др. Ив силу этого оценка результатов тестирования в своем большинстве носит экспертный характер.
5. Чем сложнее объект, предмет, процесс оценивания, тем большая доля успеха в этом принадлежит экспертам, методам их работы. При всей важности строго алгоритмизированных, количественных процедур оценивания, они не в состоянии обеспечить необходимую точность в акмеологической экспертизе. Это обусловлено рядом причин. Во-первых, при оценке сложных и сверхсложных систем, таких как личность, коллектив, организация и т.д., совершенной модели таких систем нет. Наука только идет по этому пути. А раз так, то и качественные, строго алгоритмизированные методы оценки этих систем пока не могут глубоко войти в область высокой точности. Во-вторых, любая информация перерабатывается людьми. В конечном счете все решения принимет человек, даже такое как - использовать или не использовать полученные результаты работы экспертной системы.
Это обусловливает необходимость широкого использования мнения экспертов на всех этапах оценивания.
Результаты экспертных оценок личности могут быть как промежуточные, так и конечными.
Конечная оценка может выражаться в определенном решении на основе совокупности критериев.
Промежуточная оценка выражается в определении состояния оцениваемого объекта по промежуточным критериям, которые могут находиться не в линейной зависимости с основным. Выделение промежуточных критериев для оценки весьма сложный исследовательский труд, весьма сложный вид экспертных оценок.
Экспертные оценки многослойны и многокачественны. Так, в процессе проведения акмеологической экспертизы эксперты выделяют критерии профессионализма, показатели по которым проводится оценка. Этой системой могут пользоваться эксперты, которые проводят оценивание. Результаты оценивания использует группа экспертов, формулируя конечную экспертную оценку. Конечная экспертная оценка зависит от точности экспертных оценок на начальном и промежуточных этапах оценивания.
6. Проведение внешних экспертиз качества работы подразделений организации, фирмы имеет как ряд непосредственных, так и отдаленных положительных эффектов.
К непосредственных положительным эффектам экспертизы относятся:
- повышение эффективности работы всех оцениваемых подразделений, работников;
- меньшая активность по формированию мнения начальства с целью создания выгодного для себя мнения руководителя; появление больших усилий непосредственно на дело, а не на преподнесение результатов работы, не на самопрезентацию.
К отдаленным положительным эффектам, последствиям работы экспертов относятся:
- более интенсивное развитие профессионализма как руководителей фирмы, ее отдельных структурных подразделений, так и сотрудников фирмы;
- улучшение морально-психологического климата на фирме, в учреждении, в которых регулярно проводятся акмеологическая экспертиза;
- повышение эффективности деятельности фирмы, учреждения в целом, уменьшение открытых и скрытых конфликтов с руководством фирмы.
7. В своей совокупности резервы актуализации психологических факторов в процессе экспертных оценок сводятся к следующим пунктам: Комплектование группы экспертов, взаимоотношения между которыми носили бы максимально деловой характер, профилактика возможных конфликтных отношений между экспертами, положительных и (или) негативных установок их друг на друга.
Отбор, привлечение экспертов у которых по отношению к руководителям оцениваемого учреждения, к оцениваемым личностям не было бы предвзятых установок.
Обеспечение оптимального общения экспертов с сотрудниками учреждения, организации, где проводится акмеологическая экспертиза.
Обеспечение оптимальной мотивации на качественное выполнение экспертами своих обязанностей.
Учет психологических эффектов, особенностей восприятия и переработки экспертами информации, их оценочной деятельности.
Деятельность экспертов, даже при индивидуально формулируемых оценках, такова, что она подчиняется не только закономерностям индивидуальной, но и совместной деятельности, социально-психологическим закономерностям.
К экспертам различные виды оценочной деятельности предъявляют различные требования. При акмеологической экспертизе такими требованиями заключаются в том, что эксперты должны быть пофессионалами высокого уровня; обладать знаниями, информацией об особенностях, специфике функционирования "акме" данного типа; иметь личностные качества, которые позволяют объективно оценить личностно-профессиональный потенциал работников, оцениваемых учреждения.
8. В современной науке выявлены разнообразные социально-психологические феномены, деформирующие точность экспертных оценок. Они проявляются на всех этапах проведения экспертных оценок.
Личностные особенности экспертов влияют не только на точность оценок через механизм деформации социально-психологическими факторами точности перцепции, но и через механизм различных стилей деятельности. В зависимости от личностных качеств система сравнений варьирует, ориентируясь преимущественно на мнение других или на объективные критерии оценок.
Существенное влияние на деятельность экспертов оказывают акцентуации их личности. Сложности в работе экспертов привносят лица с истероидной, маниакальной, паранойяльной и другими акцентуациями.
Социально-психологические явления, эффекты, возникающие в процессе экспертных оценок, во многом аналогичны социально-психологическим эффектам, возникающим в процессе эксперимента: эффект социальной фасилитации, наличие оптимального уровня требовательности к экспертам, роста влияния окружающих по мере усложнения задачи и др.
В процессе общения экспертов среди них возникают отношения типа сотрудничества, противоборства, уклонения от взаимодействия, однонаправленного содействия, контрастного, компром-миссного взаимодействия.
Отлаженная система оценок деятельности экспертов путем их взаимооценок и оценок деятельности организаторами экспертизы повышает ее продуктивность, актуализирует взаимоотношения типа сотрудничества.
9. Метод экспертных оценок в своем развитии стремится к экспертным системам. Метод экспертных оценок имеет много общего с экспертными системами, но не сводим к ним. Экспертные системы отражают окружающий мир с помощью знаний, правил пользования знаниями, которые заложены экспертами и поддаются алгоритмизации, автоматизации. Эти системы позволяют делать достаточно обоснованные, разумные логические выводы, активно использовать базы знаний, которые представлены в символьной форме и отражают мнение высококвалифицированных специалистов (экспертов).
Именно к этому необходимо стремиться и при создании автоматизированных систем акмеологических экспертиз.
Направления дальнейших исследований:
- Анализ психологических особенностей экспертных оценок профессионализма личности и коллектива профессионалов.
- Дальнейший анализ индивидуально-психологических особенностей экспертов и их влияние на точность экспертных оценок.
- Создание экспертных систем при проведении типичных акмеологических экспертиз.
- Исследование ситуативных факторов, интенсифицирующих психологические резервы повышения точности экспертных оценок и др.
Список литературы диссертационного исследования кандидат психологических наук Енакаева, Регина Рустемовна, 1999 год
1. Абульханова К.А., Енакаева P.P. Российский менталитет -или игра без правил? (российско-французские кросскультурные исследования и диалоги). В кн.: Российский менталитет. М.: 1996, с. 4 - 27.
2. Аванесов B.C. Тесты в социологическом исследовании. Москва, 1982.
3. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. Москва, 1989.
4. Агеев B.C. Исследование межгрупповых отношений в зарубежной социальной психологии. Вопросы психологии. 1980. N4.
5. Агеев B.C. Психология межгрупповых отношений. Москва,1983.
6. Агеев B.C., Андреева Г.М. Специфика подхода к исследованию перцептивных процессов в социальной психологии. Межличностное восприятие в группе. Москва, 1981.
7. Агеев B.C., Базаров Т.Ю., Скворцов В. В. Методика составления социально-психологической характеристики для аттестации кадров. Москва, 1986.
8. Агеев B.C., Солодникова И.В. Эффект внутригруппового фаворитизма в лабораторных и естественных условиях. Вестник Московского Университета. Сер.14, Психология. 1984. N4.
9. Адлер Ю.П. Введение в планирование эксперимента. Москва,1969.
10. Азгальдов Г. Г. Теория и практика оценки качества товаров (основы квалиметрии). Москва, 1982.
11. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. Москва, 1973.
12. Айвазян С.А. Статистическое исследование зависимостей.1. Москва, 1968.
13. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. Москва, 1985. Акмеология, N2, 1996.
14. Алгоритмы многомерного статистического анализа. Москва,1975.
15. Аллаквердян А.Г. К вопросу о генезисе конфликтных ситуаций в научном коллективе. Актуальные проблемы истории и теории психологии. Ереван, 1976.
16. Амосов Н.М. Искусственный разум. Киев, 1969.
17. Ананьев Б.Г. Человек как предмет познания. Ленинград,1977.
18. Ананьев Б.Г. О проблемах современного человекознания. Москва, 1977.
19. Анастази А. Психологическое тестирование. Ч.1-2. Москва,1982.
20. Андерсон Т. Введение в многомерный статистический анализ. Москва, 1976.
21. Андреева Г.М. Социальная психология. Москва, 1980. Андреева Г.М. Место межличностного восприятия в системе перцептивных процессов и особенности его содержания. Межличностное восприятие в группе. Москва, 1981.
22. Анисимов С.А. и др. Методы акмеологических исследований. М.: 1994.
23. Анисимов 0.С. Основы методологии управления. Москва,1993.
24. Анисимов 0.С. Методологическая культура педагогической деятельности и мышления. Москва, 1991.
25. Анисимов О.С., Деркач А.А. Основы общей и управленческой акмеологии. Москва, 1995.
26. Антипина Г.С. Теоретико-методологические проблемы исследования малых социальных групп. Ленинград, 1982.
27. Аргентова Т.Е. Стиль общения как фактор эффективности совместной деятельности. Психологический журнал. 1984. Т.5. N6.
28. Артемьева Е.Ю. Экспериментальная психосемантика. Москва,1979.
29. Асеев В.Г. Мотивация поведения и формирование личности. Москва, 1976.
30. Асмолов А.Г. Деятельность и установка. Москва, 1979.
31. Асмолов А.Г. Личность как предмет психологического исследования. Москва, 1984.
32. Ахлибининский Б.В. Информация и система. Ленинград, 1969.
33. Ашмарин И.П., Васильев Н.Н., Амбросов Н.А. Быстрые методы статистической обработки и планирования эксперимента. Ленинград, 1975.
34. Базаров Т.Ю. Управление персоналом развивающейся организации. Москва, 1996.
35. Базаров Т.Ю. Особенности межличностного восприятия в системе "руководство подчинение" в условиях производственного коллектива. Межличностное восприятие в группе. Москва, 1981.
36. Базаров Т.Ю., Беков Х.А., Аксенова Е.А. Методы оценки персонала государственных и коммерческих структур. Москва, 1995.
37. Барабанщиков А.В., Глоточкин А.Д., Феденко Н.Ф., Шеляг В.В. Психология воинского коллектива. Москва, 1967.
38. Беклемишев Е.П. Оценка деловых качеств руководителей и специалистов. Москва, 1990.
39. Белкин П. Б., Емельянов Е.Н., Иванов М.А. Социальная психология научного коллектива. Москва, 1987.
40. Бешелев С.Д., Гурвич В.Г. Математико-статистические методы экспертных оценок. Москва, 1980.
41. Бизюкова И.В. Кадры: подбор и оценка. Москва, 1984. Битинас Б.П. Многомерный анализ в педагогике и педагогической психологии. Вильнюс, 1971.
42. Блинов Н.М., Съедин С.И. Таможенный менеджмент. Москва,1996.
43. Бобнева М.И. О применении социометрических методов при изучении структур сложных организаций. Москва, 1970. Вып.1.
44. Бодалев А.А. Акмеология как учебная и научная дисциплина. Москва, 1993.
45. Бодалев А.А. Восприятие и понимание человека человеком. Москва, 1982.
46. Бодалев А.А. Личность и общение. Москва, 1983. Бодалев А.А. Вершина в развитии взрослого человека. Характеристики и условия достижения. Москва, 1998.
47. Бодалев А.А. О предмете акмеологии// Психологический журнал. 1993. N5.
48. Бухтиярова И.В., Климин С.В., Красильникова Т.В., Лишин 0.В., Шаталова В.В. Подготовка, проведение и практическое использование результатов лицензирования, аттестации и аккредитации образовательных учреждений. Москва, 1994.
49. Власов Л.В., Сементовская В.К. Деловое общение. Ленинград, 1980.
50. Ворона А. А., Косачев В.Е., Усов В.М. Экспертно-аналити-ческий метод оценки индивидуально-психологических качеств человека-оператора. В кн.: Научные основы прикладной психологии. Тезисы докладов к VII съезду Общества психологов СССР. Москва, 1980.
51. Выготский Л.С. Избранные психологические исследования. Москва, 1956.
52. Гаскаров Д.В., Шаповалов В.И. Малая выборка. Москва,1967.
53. Герасимов В.М., Гусева А. С. Марафон рынка. Москва,1994.
54. Гершунский Б.С. Прогностические методы в педагогике. Киев, 1974.
55. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. Москва, 1976.
56. Гмурман В. Е. Объект, предмет и структура в педагогике. В кн.: Методологические проблемы в педагогике. Москва, 1977.
57. Государственная кадровая политика: концептуальные основы, приоритеты, технологии реализации/ Под ред. Пирогова С.В. -Москва, 1996.
58. Грабарь М.И., Краснянская К.А. Применение математической статистики в педагогических исследованиях. Москва, 1977.
59. Грановская P.M. Элементы практической психологии. Ленинград, 1984.
60. Готтсданкер Р. Основы психологического эксперимента. Москва, 1982.
61. Гуревич К.М. Профессиональная пригодность и основные свойства нервной системы. Москва, 1970.
62. Гуревич К.М. Тесты в психологии и педагогике. Новые исследования в педагогических науках. Москва, 1969.
63. Гуревич К.М., Матвеев В.Ф. О профессиональной пригодности операторов и способах ее определения/ Вопросы профессиональной пригодности оперативного персонала энергосистем. Москва, 1966.
64. Гурова Л.Л. Психологический анализ принятия решения. Воронеж, 1976.
65. Гусева А.С., Деркач А.А. Оптимизация гуманитарно-технологического развития государственных служащих: теория, методология, практика. Москва, 1997.
66. Демаков И.П. и др. Статистический анализ малого числа наблюдений. Ленинград, 1973.
67. Деркач А. А., Зазыкин В.Г. Профессионализм деятельности в особых и экстремальных условиях. (Психолого-акмеологические основы). М.: 1998. - 178 с.
68. Деркач А.А., Зазыкин В.Г. Психологические факторы эффективности профессиональной деятельности кадров госслужбы/ Психология профессиональной деятельности кадров государственной службы. Москва, 1996. с.20-39.
69. Деркач А.А. Реализация концепции "Я" в системе жизненных отношений личности. Москва, 1993.
70. Деркач А.А., Кузьмина Н.В. Акмеология: пути достижения вершин профессионализма. Москва, 1993.
71. Деркач А.А., Ситников А.П. Формирование и развитие профессионального мастерства руководящих кадров: социально-психологический тренинг и прикладные психотехнологии. Москва, 1993.
72. Десев J1. Психология малых групп. Москва, 1979.
73. Дикая Л.Г. Психическое состояние и эффективность деятельности. психологический журнал. 1982. Т.З. N6.
74. Дилигенский Г.Г. Некоторые методологические проблемы исследования психологии больших социальных групп. Методологические проблемы социальной психологии. Москва, 1975.
75. Донцов А.И. Психология коллектива. Москва, 1984.
76. Дружинин Н.К. Выборочный метод и его применение в социально-экономических исследованиях. Москва, 1970.
77. Дружинин Н.К. Выборочное наблюдение и эксперимент. Москва, 1977.
78. Дружинин В.Н. Психология общих способностей. Москва,1995.
79. Дружинин В.Н. Экспериментальная психология. Москва, 1997.
80. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. Москва, 1978. •
81. Емельянов Ю. Н. Учиться мастерству общения. Психология в управлении. Ленинград, 1983.
82. Енакаева P.P. Психологическая сущность и виды экспертных оценок. М. : 1998. - 34 с.
83. Енакаева P.P. Экспертиментально-психологический анализ факторов, влияющих на точность экспертных оценок. М.: 1999. - 36 с.
84. Енакаева P.P. Пути повышения точности экспертных оценок в процессе акмеологических экспертиз. М.: 1999. - 38 с.
85. Енюков И.С. Методы оцифровки неколичественных признаков. В кн.: Алгоритмическое и программное обеспечение прикладного статистического анализа. Москва, 1980.
86. Ерастов Н.П. Психология общения. Ярославль, 1979.
87. Ермаченко Л.И. Формирование профессионализма учителей с истероидными чертами личности. Автореф.канд.дис. Москва, 1997.
88. Журавлев Ю.Л. Об алгебраическом подходе к решению задач распознавания или классификации. Проблемы кибернетики. Москва, 1978. Вып.33.
89. Журавлев Г.Е. Системные проблемы развития математической психологии. Москва, 1983.
90. Зазыкин В.Г., Чернышев А.П. Акмеологические проблемы профессионализма. Москва, 1993. 47с.
91. Зазыкин В.Г. Психолого-акмеологические исследования: основные понятия и категории/ Основы общей и прикладной акмеоло-гии. (под ред. А.А.Деркача). -Москва, 1995.
92. Закс Ш. Теория статистических выводов. Москва, 1975.
93. Закс Л. Статистическое оценивание. Москва, 1976.
94. Захаров В.П. Интеллект руководителя. Психология в управлении. Ленинград, 1983.
95. Захаров В.П. Применение активных социально-психологических методов при проведении совещаний и экспертиз. Методы в деле повышения квалификации: (Материалы научно-практической конференции) . Таллин, 1986, Т. 2.
96. Иванов Ю. М. Проблемы оценки эффективности подготовки и повышения квалификации управленческих кадров// Подготовка кадров управления: Модель обучения. Вып.3. Москва, 1994.
97. Каган М.С. Человеческая деятельность. Москва, 1974.
98. Калин В.К. Оптимизация групповой деятельности. Методы оптимизации систем "человек машина". Москва, 1984.
99. Калинин И.В. Стратегия подбора кадров как стилевая характеристика управленческой деятельности руководителя. Авто-реф. канд. дисс. Мо'сква, 1996.
100. Калинин О.М. и др. Математические методы обработки результатов экспериментального исследования личности. В кн,: Клинико-психологические исследования личности. Ленинград, 1971.
101. Кендалл М., Стьюарт А. Статистические выводы и связи. Москва, 1966.
102. Киселев Н.И. Экспертно-статистический метод определения функции предпочтения по результатам парных сравнений. В кн.: Алгоритмическое и программное обеспечение прикладного статистического анализа. Москва, 1980.
103. Китаева Н.Н. Групповые экспертные оценки. Москва,1975.
104. Климин С.В., Красильникова Т.В. Аттестация школ: первые итоги. Народное образование. 1995, N1.
105. Климов Е.А. Индивидуальный стиль деятельности. Казань,1969.
106. Климов Е.А. Об образах мира у представителей различных профессий// Психологическое обозрение. 1995. N1. с.26-29.
107. Ковалев Г.А. Психология познания людьми друг друга. Вопросы психологии. 1983. N1.
108. Ковалев В.И., ' Дружинин В.Н. Мотивационная сфера личностии ее динамика в процессе профессиональной подготовки// Психологический журнал. 1982. N6.с.35-44.
109. Козелецкий Ю. Психологическая теория решений. Москва, 1979
110. Коломинский Я.Л. Человек: психология. Москва, 1986.
111. Коломинский Я.Л. Психология взаимоотношений в малых группах. Минск, 1976.
112. Конюхов Н.И., Шаккум М.Л. Акмеология и тестология. Москва, 1996.
113. Костинская А.Г. Социально-перцептивные процессы в условиях принятия решения. Вопросы психологии. 1984. N1.
114. Крамер Г. Математические методы статистики. Москва, 1975.
115. Кроник А.А. Межличностное оценивание в малых группах. Киев, 1982.
116. Крылов А.А. Человек в автоматизированных системах управления. Ленинград, 1972.
117. Кузин В.С. Психология. Москва, 1997.
118. Кульбак С. Теория информации и статистика. Москва, 1967
119. Лбов Г. С. Методы обработки разнотипных экспериментальных данных. Новосибирск, 1981.
120. Леман Э. Проверка статистических гипотез. Москва, 1964.
121. Лернер И.Я. Проблемное обучение. Москва, 1974.
122. Леонтьев А.Н. Деятельность. Сознание. Личность. Москва,1975.
123. Ломов Б.Ф. Методологические и теоретические проблемы психологии. Москва, 1984.
124. Ломов В.Ф. Человек в системах управления. Москва, 1967.
125. Ломов Б.Ф. Человек и техника. Москва, 1966. Лунева 0.В., Хорошилова Е.А. Психология делового общения. Москва, 1987.
126. Люблинская А.А. 0 природе действия в концепции формирования умственных действий. Вопросы психологии. 1960, N3.
127. Малькова З.А., Вульфсон Б.Л. Современная школа и педагогика в капиталистических странах. Москва, 1975.
128. Маркова А.К. Психология профессионализма. Москва, 1996.308с.
129. Маркова Е.В., Лисенков А.Н. Планирование эксперимента в условиях неоднородностей. Москва, 1973.
130. Мартынов С.Д. Профессионалы в управлении. Ленинград,1991.
131. Методы акмеологических исследований. Series excellent. Авторский коллектив под руководством С.А.Анисимова, Н.И.Конюхова, А.А.Деркача и др., РАГС при Президенте РФ. Кострома, 1994.
132. Методы педагогических исследований. Под ред.А.И.Пискуно-ва, Г.В.Воробьева. Москва, 1979.
133. Методы системного педагогического исследования. Ленинград, 1980.
134. Методы социальной психологии. Ленинград, 1980.
135. Мир в психологии и психология в мире. 1995, N3, N4. Миркин Б.Г. Анализ качественных признаков. Москва, 1976. Митропольский А.К. Техника статистических вычислений. Москва, 1971.
136. Муздыбаев К. Психология ответственности. Ленинград, 1983. Надария Э.А. Некоторые новые оценки функции распределения. Теория вероятностей и ее применение. 1964, т.9, N3. Налимов В.В. Теория эксперимента. Москва, 1971.
137. Немов Р.С. Социально-психологический анализ эффективной деятельности коллектива. Москва, 1984.
138. Николюкина М.А. Атрибуция ответственности в зависимости от статуса индивида в группе. Автореф.канд.дис. Москва, 1985.
139. Обозов Н.Н. Межличностные отношения. Ленинград, 1979.
140. Основы военной акмеологии. ч.1-2., под ред. П.А.Корчемного, Л.Г.Лаптева, В.Г.Михайловского. Москва, 1996.
141. Основы общей и прикладной акмеологии. (Под ред. Деркача А. А.). Москва, 1995.
142. Оценка учреждений и работников образования: пути ее совершенствования и практические результаты. Москва, 1996.
143. Оценка учреждений и работников образования: пути совершенствования и практическое использование. Научно-методический сборник под ред. С.В.Климина, Т.В.Красильниковой. Москва, 1995.
144. Педагогический вестник. 1994, N1.
145. Петровский А.В. Личность. Деятельность. Коллектив. Москва, 1982.
146. Петровский А.В. О психологии личности. Москва, 1971.
147. Платонов К.К. Структура и развитие личности. Москва,1986.
148. Подготовка, проведение и практическое использование результатов лицензирования, аттестации и аккредитации образовательных учреждений. Информационно-методический сборник под ред. Л. Е.Курнешовой, Т. В.Красильниковой, С.В.Климина. Москва, 1994.
149. Полани Л. Личностные знания. Москва, 1986.
150. Психология межличностного познания. Под ред. А.А.Бодале-ва. Москва, 1981.
151. Психология профессиональной деятельности кадров государственной службы. (Под ред. Деркача А.А.). Москва, 1996.
152. Психологические исследования общения. Москва, 1985. Психологическая теория коллектива. Москва, 1997. Рамуль К.А. Введение в методы экспериментальной психологии. Тарту, 1966.
153. Рао С.Р. Линейные статистические методы и их применение. Москва, 1968.
154. Рубахин В.Ф. некоторые вопросы психологии принятия решения. Вопросы психологии. 1974. т.16, N2.
155. Рубинштейн С.Л. Основы общей психологии. Москва, 1946. Румшинский Л.3. Математическая обработка результатов эксперимента. Москва, '1971.
156. Русина Н.А. Изучение оценочных эталонов и социальных стереотипов с помощью семантических измерений. Вопросы психологии. 1981. N1.
157. Скаткин М.Н. Совершенствование процесса обучения. Москва,1971.
158. Северцев В.А., Чащихин Б.Д. Аккредитация учебных заведений. Опыт США. Москва, 1993.
159. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания. Москва, 1980.
160. Совместная деятельность: методология, теория, практика. Москва, 1988.
161. Соковнин В.Н. О природе человеческого общения. Фрунзе,1974.
162. Столин В.В. Самосознание личности. Москва, 1983. Сухинская Л.А. Возложение ответственности за успехи и неудачи в группах разного уровня развития. Вопросы психологии. 1978. N2.
163. Сушков И.Р. Межгрупповые отношения в производственной организации. Канд.дис. Москва, 1984.
164. Танаев В.П. Методика исследования и оценки эффективностигрупповой работы. Надежность и быстродействие человекомашинных систем. Ростов, 1983.
165. Терехина А.Ю. Анализ данных методом многомерного шкалирования. Москва, 1986.
166. Теплов Б.М. Об объективном методе в психологии. Москва, 1953.
167. Теплов Б.М. Проблемы индивидуальных различий. Москва,1961.
168. Учительская газета. 1995, май, N19-20.
169. Федоров В.В. Теория оптимального эксперимента. Москва,1971.
170. Флоренская Т.А. Диалог в практической психологии. Москва, 1991.
171. Френкель А.А. Анализ факторов роста производительности труда с помощью экспертных оценок. Статистические методы анализа экспертных оценок. Москва, 1977.
172. Фресс П., Пиаже Ж. Экспериментальный метод. Экспериментальная психология. Вып.1. Москва, 1966.
173. Ханин Ю.Л. Психология общения в спорте. Москва, 1980. Хекхаузен X. Мотивация и деятельность. В 2-х т. Москва,1986.
174. Черепанов B.C. Экспертные оценки в педагогических исследованиях. Москва, 1989.
175. Чернышев А.С. Социально-психологические основы организованности первичного коллектива. Канд.дис. Москва, 1980.
176. Шадриков В.Д. Проблемы системогенеза профессиональной деятельности. Москва, 1982.
177. Шадриков В.Д. Деятельность и способности. Москва, 1994. Шихирев П.Н. Современная социальная психология США. Москва, 1979.
178. Шмелев А.Г. Введение в экспериментальную психосемантику:теоретико-методологические основания и психодиагностические возможности. Москва, 1979.
179. Шмерлинг Д.С. и др. Экспертные оценки. Методы и применение (обзор). Статистические методы анализа экспертных оценок. Москва, 1977.
180. Шор Я.Б. Статистические методы анализа и контроля качества и надежности. Москва, 1962.
181. ШороховаЕ.В. Психологический аспект проблемы личности. Теоретические проблемы психологии личности. Москва, 1974.
182. Шорохова Е.В. Учение И.П.Павлова о сигнальных системах. В кн.: Учение И.П.Павлова и философские вопросы психологии. Москва, 1952.
183. Шорохова Е.В., Каганов В.М. Философские проблемы психологии. В кн.: Философские вопросы физиологии высшей нервной деятельности и психология. Москва, 1963.
184. Щедрина Е.В. Референтность как характеристика системы межличностных отношений. Психологическая теория коллектива. Москва, 1979.
185. Экспертные оценки и их применение в энергетике. Под ред. Р.М.Хвастунова. Москва, 1977.
186. Эсаулов А.Ф. Проблемы решения задач в науке и технике. Ленинград, 1979.
187. Юдин Э.Г. Системный подход и принцип деятельности. Москва, 1978.
188. Яблонский А.И. Модели и методы математического метода исследования науки. Москва, 1977.
189. Якобсон П.М. Общение людей как социально-психологическая проблема. Москва, 1973.
190. Ярошевский М.Г. История психологии. Москва, 1966.
191. Ярошевский М.Г. Психология в XX столетии. Москва, 1974.
192. Bales R.F. Interaction process analysis. Gambridge: Addison-Wesley, 1951.
193. Bandura A., Walters R.H. Social learning and personality development. N.Y. 1963.
194. Benfer,-Robert-A.; Brent,-Edward-E.-Jr.; Furbee,-Louanna Expert systems. U Missouri, Professor of Anthropology, Columbia, MO, US. 1991.
195. Billig M.G. Social psychology and intergroup relations. L., 1976.
196. Boose J. A framework for transferring human expertise. In G. Salvendy, Ed., Human-computer interaction. New York: Elsevier, .1984.
197. Brewer M.B., Kramer R.M. The psychology of intergroup attitudes and behavior. Ann.Rev. of Psychol. 1985. Vol.36.
198. Coleman J.S. The mathematics of collective action. Chicago: Aldine, 1973.
199. Heyes-Rot F., Waterman D., and Lenat D., Eds. Building expert systems. Reading, MA: Addison-Wesley, 1983. Hogarth R. Judgement and Choice. New York, 1987. Kelly G.A. The psychology of personal construcrs. N.Y.1955.
200. Kogan N., Wal-lach M. A. Risk taking. A study on cognition and personality. N.Y. 1964.1.rsen K.S. Social categorization and attitude change. J. of Soc.Psychol. 1980. Vol.III.
201. Moscovici S. La psychanalyse, son image et son public. P., 1961.
202. Moscovici S. Perspectives davenir en psychologie sociale. P., 1982.
203. Schwartz P.A., Krug R.E. Abiliti Testing in Developing Countries: A Handbook of Principles and Techniques. N.J. 1972. Sherif M. Group conflict and cooperation: their socialpsychology. L. , 1966.
204. Sherlf M. et al. Intergroup conflict and cooperation: the Robers Cave experiment. Oklahoma, 1961.
205. Smith D.N., Inkeles A. The OM scale Sociometry. 1966. Vol. 39.
206. South S.J. et al. Social structure and intergroup interaction: men and women of the federal bureaucracy. Amer.Soci-ol. Rev. 1982. Vol.47.
207. Strube,-Gerhard; Janetzko,-Dietmar; Knauff,-Markus. Cooperative construction of expert knowledge: The case of knowledge engineering. Albert-Ludwigs-U Freiburg, Ctr for Cognitive Science, Freiburg, Germany. 1996.
208. Tajfel H. Individuals and groups in social psychology. Brit. J. of Soc. and Clin.Psychol. 1979. Vol.18.
209. Tajfel H. Human groups and Categoriens: studies in social psychology. Cambridge, 1981.
210. Tajfel H. Psychological conceptions of equity: the present and the future. P.Fraisse (ed). Psychologie de demain. P., 1982.
211. Tajfel H. et al. Social categorization and intergroup behaviour. Europ.J. of Soc.Psychol. 1971. Vol.1.
212. Ter Laak J. Psychodiagnostics: content and method. 1996.
213. Turner J.C. Social categorization and social discrimination in the minimal group paradigm. H.Tajfel (ed.). Differentiation between social groups: studies in the social psychology of intergroup relation. L. 1978.
214. Turner J.C., Giles H. (eds.). Intergroup behaviour. Oxford, 1984.
215. Van Dam K. Fixatie op fouten (Fixation on mistakes). Lis-se: Swets Zeitlinger, 1991.
216. Young L., Pier-son H., Giles H. The effect of language andtacademic specialization on perceived group vitalities. Lingu-istlsche Berichte. 1986. Vol.101.1. РЕЗУЛЬТАТЫ
217. ПРИМЕНЕНИЯ МЕТОДИКИ СЕМАНТИЧЕСКОГО ДИФФЕРЕНЦИАЛА ПРИ ОЦЕНКЕ СИСТЕМЫ ВЗАИМООТНОШЕНИЙ ЭКСПЕРТА С ДРУГИМИ УЧАСТНИКАМИ ЭКСПЕРТИЗЫ (САМООЦЕНКА ЭКСПЕРТА М. )1. Базовые ценности-понятия
218. Введенные ценности-понятия и их условное кодирование
219. Стандартные показатели по Осгу- по методике ду "Профессор"1 А(01) ЖИЗНЬ 76. 75 63. 60
220. В(02) СМЕРТЬ 24. 76 22. 74
221. J С(03) ЛЮБОВЬ 86. 74 69. 67
222. D(04) НЕНАВИСТЬ И. 76 25. 25
223. Е (05) ИСТИНА 89. 00 70. 38
224. F (06) НЕИСТИНА 12. 72 24. 59
225. G (07) КРАСИНОВ А.В. 75. 51 58. 82
226. Н (08) ЧУГУНОВ К. К. 59. 24 61. 96
227. К09) ШВЕКДИН Б. А. 42. 26 35. 04
228. J(10) БИКМАЕВ Э.В. 67. 26 56. 90
229. К(11) ЖЕЛЕЗНЯК А. Д. 78. 50 65. 511(12) ЧЕСТНОСТЬ 63. 51 58. 75
230. М(13) ПРИНЦИПИАЛЬНОСТ 56. 25 53. 45
231. N(14) ЛЕОНТЬЕВ С.Л. 77. 49 64. 150(15) ПРЕЗИДЕНТ 76. 26 65. 05
232. Р (16) РАБОТА 76. 26 62. 950.(17) ДРУЗЬЯ 75. 25 65. 04
233. R (18) Я САМ 72. 24 62. 51
234. S (19) Я В ИДЕАЛЕ 89. 51 68. 65
235. О 13 25 38 50 63 75 88 1001 1 1 1 1 1 I ЛЮБОВЬ:ИСТИНА | 1 1 1 ( 2)|СЕ1 Я В ИД | ( 1) IS
236. ЖЕЛЕЗН:ПРЕЗИД:ДРУЗЬЯ | ( 3)|KOQ
237. ЖИЗНЬ :ЛЕОНТЬ:РАБОТА:Я САМ ( 4)lANPRда Л1 ЧУГУНОВ | ( 1)|Н1. И КРАСИН:ЧЕСТНО | ( 2)|GL3 БИКМАЕ | ( 1) 1 J1. Н 1 1
238. Ь:ПРИНЦИ | ! 1 1 1 1 1 ( DIM i i1. С М Е Р Т38 Ь + h1. ШВЕКДИН | (1)1125 ^:НЕНАВИ + ( 1) №1: НЕИСТИНА I ( 1) IF1. СМЕРТЬ | ( 1)|В1
239. Анализ результатов тестирования показывает, что руководитель акмеологической экспертизы (КРАСИНОВ) не оказывает на мнение М. сколь-нибудь существенное влияние. Но это влияние можно выявить на примере тестирования других экспертов.
240. Изменим базовые ценности "жизнь" и "смерть" на "истина" и "не истина". Вввиду того, что эти ценности-понятия для данного эксперта практически совпадают, то отличия здесь не большие. Однако в других случаях отличия бывают весьма существенные.
241. Базовые ценности- Введенные ценности- Стандартные показатели понятия понятия и их услов- по Осгу- по методикеное кодирование ду "Профессор"1 А(01) ЖИЗНЬ 76 75 70. 061. В(02) СМЕРТЬ 24 76 19 29
242. J С(03) ЛЮБОВЬ 86. 74 81. 81
243. D (04) НЕНАВИСТЬ И. 76 13. 94
244. Е (05) ИСТИНА 89. 00 83. 39
245. F (06) НЕИСТИНА 12. 72 И. 51
246. G (07) КРАСИНОВ 75. 51 68. 53
247. Н(08) ЧУГУНОВ 59. 24 65. 33
248. К09) ШВЕКДИН 42. 26 32. 88
249. J(10) БИКМАЕВ Э.В. 67. 26 63. 65
250. К(11) ЖЕЛЕЗНЯК А. Д. 78. 50 75. 341.(12) ЧЕСТНОСТЬ 63. 51 61. 88
251. М(13) ПРИНЦИПИАЛЬНОСТ 56. 25 55. 22
252. N(14) ЛЕОНТЬЕВ С. Л. 77. 49 70. 430(15) ПРЕЗИДЕНТ ' 76. 26 68. 94
253. Р(16) РАБОТА 76. 26 70. 28а'(17) ДРУЗЬЯ 75. 25 73. 41
254. R (18) Я САМ 72. 24 69. 71
255. S (19) Я В ИДЕАЛЕ 89. 51 82. 0775 ^13
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.