Комплексная оценка внешней эффективности библиотечно-информационных систем тема диссертации и автореферата по ВАК РФ 05.25.03, кандидат педагогических наук Смольков, Владимир Николаевич

  • Смольков, Владимир Николаевич
  • кандидат педагогических науккандидат педагогических наук
  • 2004, Краснодар
  • Специальность ВАК РФ05.25.03
  • Количество страниц 127
Смольков, Владимир Николаевич. Комплексная оценка внешней эффективности библиотечно-информационных систем: дис. кандидат педагогических наук: 05.25.03 - Библиотековедение, библиографоведение и книговедение. Краснодар. 2004. 127 с.

Оглавление диссертации кандидат педагогических наук Смольков, Владимир Николаевич

ВВЕДЕНИЕ

ГЛАВА I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ КОМПЛЕКСНОЙ ^ ОЦЕНКИ ВНЕШНЕЙ ЭФФЕКТИВНОСТИ

БИБЛИОТЕЧНО-ИНФОРМАЦИОННЫХ СИСТЕМ.

§1.1 СОВРЕМЕННОЕ СОСТОЯНИЕ КОМПЛЕКСНОЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БИБЛИОТЕЧНО-ИНФОРМАЦИОННЫХ ПРОЦЕССОВ И

СИСТЕМ.

§ 1.2 АНАЛИЗ УСЛОВИЙ СУЩЕСТВОВАНИЯ И

ПРИМЕНЕНИЯ КРИТЕРИЕВ И ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ В БИБЛИОТЕЧНО-ИНФОРМАЦИОННЫХ СИСТЕМАХ.

ГЛАВА II ПРАГМАТИЧЕСКИЕ АСПЕКТЫ КОМПЛЕКСНОЙ ОЦЕНКИ ВНЕШНЕЙ ЭФФЕКТИВНОСТИ

БИБЛИОТЕЧНО-ИНФОРМАЦИОННЫХ СИСТЕМ.

§2.1 ВЫБОР И АНАЛИЗ СИСТЕМЫ ПОКАЗАТЕЛЕЙ

ЭФФЕКТИВНОСТИ.

§ 2.2 ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ ПОЛУЧЕННОЙ

СИСТЕМЫ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ.

Рекомендованный список диссертаций по специальности «Библиотековедение, библиографоведение и книговедение», 05.25.03 шифр ВАК

Введение диссертации (часть автореферата) на тему «Комплексная оценка внешней эффективности библиотечно-информационных систем»

Актуальность темы исследования. Среди проблем, которые возникают при гносеологическом и прагматическом осмыслении информации, одно из важных мест занимают вопросы о ценности информации, эффективности библиотеч-но-информационных процессов, эффективности библиотечно-информационных систем, в том числе о количественных значениях внешних характеристик этих объектов. В диссертационном исследовании применяется термин «библиотечно-информационные системы» ввиду того, что появление компьютерных технологий, использование локальных и мировых сетевых ресурсов придают традиционным библиотекам новые качества и возможности, существенно изменяя их внутренние и внешние характеристики. В то же время, сохраняя традиционные функции социальных и культурных центров, библиотеки во многом отличаются от информационных центров и систем, работающих только с применением электронных технологий.

Эти различия осложняют или делают невозможным применение в библиотеках сложившихся в компьютерных системах способов оценки эффективности процессов и систем в целом, требуя особого подхода ввиду множественности факторов, обычно игнорируемых при оценке работы электронных информационных систем. Внешняя эффективность библиотек во многом определяется особенностями информационных потребностей, формирующихся в различных географических, социально-культурных, национальных, экономических условиях. В конечном счете, именно эти факторы определяют взаимодействие библиотечно-информационных систем с культурной средой, в которой они работают, т.к. воздействие библиотеки на общество сопровождается обратной связью — воздействием общества на библиотеку.

Если есть возможность количественной оценки ценности и эффективности, статистической обработки результатов измерений, то можно оценивать «производство» - библиотечно-информационные системы и произведенную ими «продукцию» — информацию, говорить об эффективности применяемой в них технике и технологии, принимать обоснованные управленческие решения. Таким образом, библиотечно-информационные системы, приобретая все черты современного производства, с его многоуровневой структурой, сложными связями и возможностью целенаправленного совершенствования, настоятельно нуждаются в системе функциональных критериев и показателей, позволяющих объективно оценивать их работу и осуществлять эффективное управление текущей деятельностью и развитием. Значимость роли библиотечно-информационных систем в социальных процессах предопределяет актуальность рассматриваемых в данной работе вопросов.

Несовершенство или отсутствие способов и систем прямых измерений информационных процессов в библиотеках, которые в большой степени уже исt пользуются в автоматизированных системах научно-технической информации (НТИ), ставит проблему разработки и применения систем функциональных критериев и базирующихся на них показателей, специфичных для библиотечно-информационных систем. Научная разработка таких систем критериев связана с результатами исследований информационных процессов в библиотеках. Решение проблемы невозможно без рассмотрения предварительных вопросов: формулировки общего определения информационного процесса, создания классификации информационных процессов в библиотечно-информационных системах по функциональным признакам, разработки методики критериальной оценки эффективности информационных процессов в библиотечно-информационных системах.

Степень разработанности. Исследования эффективности библиотечно-информационной деятельности и «относительного веса» различных категорий в ней начались не так давно. Исторические наблюдения в этой области почти полностью отсутствуют, и поэтому в сфере культуры очень трудно выявить, хотя бы приблизительно, наиболее важные, с точки зрения будущего, изменения и тенденции развития различных отраслей, в том числе и библиотечно-информационных систем.

После длительной паузы в конце семидесятых годов прошлого века наблюдался рост интереса к вопросу оценки эффективности. Теоретические исследования качественных аспектов библиотечно-информационных систем затруднялись отсутствием однозначного подхода, что отмечали Т.Кроув и Д.Эйвисон, А.Д. Урсул, К.Дж.Хамелинк и ряд исследователей. Делались попытки поиска методик на базе статистического подхода (Ю.Н.Столяров, В.М.Мотылев, И.А.Дынин, БЛ.Курицкий, Б.А.Лейкин, Л.Л.Терехов и др.), нетрадиционных комбинированных критериев (В.В.Дружинин, Д.Е.Конторов).

Значительное место занимали работы, в основе которых лежали попытки установления элементарного перечня критериев, позволявших оценивать содержательный уровень информационного сообщения в библиотечных технологиях (Е.Г.Астапович, В.В.Бондарь, Д.М. Дайитбегов, О.В. Калмыкова, Е.П. Миллер, X. Фитце, А.И.Черепанов и др.).

Делались попытки на основе установления связи между различными произвольными критериями создавать системы оценки библиотечно-информационной деятельности (Т.И.Ключенко, И.Д.Коровякова, С.В.Лавров). Своеобразный подход к проблеме предлагался А.Аврамеску, использовавшим соответствие между термодинамическими явлениями и потенциалом интереса новых авторов к появившимся ранее научным статьям. Документальные потоки описывались как аналогии физических процессов в газах (М.Моралес).

Заметное место в развитии исследований информационных процессов и библиотечно-информационных систем занимали работы И.Н.Басамыгиной, Р.С.Гиляревского, А.Е.Едемского, Н.С.Карташова, В.З.Когана, В.В.Скворцова, Ю.Н.Столярова, К.В.Тараканова, В.М.Тютюнника, И.М.Фрумина, К.Дж. Хаме-линка и др.

Вместе с тем, формировалось понимание того, что статистический подход к явлениям культуры не в состоянии определить те культурные реальности, которые находятся вне пределов экономических показателей. Последние также не всегда являются определяющими, например, при оценке взаимовлияния между обществом и библиотекой, изменений в свете этого взаимовлияния социальноэтических, эстетических и моральных норм. Поэтому до сих пор трудно оценивать хотя бы основные компоненты культуры, реализуемые при посредстве библиотек — образование, коммуникации, информацию, творчество, культурное наследие и т.п. Если верно то, что культура может разрешить некоторые глобальные проблемы, с которыми мы все чаще сталкиваемся, то «культурным параметрам следует придать более важное значение в исследованиях будущих путей развития общества».

Таким образом, анализ разработанности исследуемой проблемы показывает, что вопросы измерения внешней эффективности библиотечно-информационных систем еще не нашли окончательного решения. Это и послужило еще одним основанием к проведению данного исследования.

Рабочая гипотеза. Попытки разрешить проблему оценки эффективности библиотечно-информационных процессов и систем путем механического переноса приемов компьютерных и сетевых технологий не дают результата.

До сих пор нет единой точки зрения не только на способ получения критериев и показателей оценки, но и на их содержание. В результате, в практической деятельности библиотек для анализа и контроля библиотечно-информационных процессов и систем применяются формальные критерии библиотечной статистики, слабо учитывающие специфику этих систем и повторяющие устаревшие валовые формы учёта и отчётности промышленных предприятий.

Применяя общеизвестные методы научного исследования, и, в первую очередь, методы системного анализа и физических аналогий, есть возможность выйти из тупика традиционно установившихся представлений о способах оценки как самих библиотечно-информационных систем, так и происходящих в них процессов. Один из подходов к решению этой проблемы может быть реализован в рамках следующей гипотезы.

Библиотечно-информационные системы являются одним из основных элементов социального механизма. Исследовать эту роль информационных систем, избегая погрешностей абстрагирования, всегда приводивших к искажению места и значения информации, позволит многоуровневый системный анализ открытых систем (к которым относятся все информационные системы, в том числе библиотеки). Уточнив иерархию библиотечно-информационных систем и их место в социуме, можно получить общие признаки систем разного уровня, а следовательно, сформулировать требования, на основе которых разработать новую систему критериев и показателей функциональной эффективности библио-течно-информационных процессов в библиотечных системах.

Общее решение этого вопроса предполагает уточнение определения понятия «библиотечно-информационный процесс», т.к., не имея обобщённого определения, невозможно осуществить мотивированный подход к отбору методик измерения критериев и получения смысловых показателей.

Целью исследования является разработка показателей внешней эффективности библиотечно-информационных процессов и библиотечно-информационных систем на основе системного подхода.

Задачи исследования:

- на основе анализа отечественной и зарубежной литературы за последние 25 лет оценить современные подходы и способы расчета внешней эффективности библиотечно-информационных процессов и систем;

- используя метод системного анализа, выявить сущность и место понятия «информационный процесс» в структуре библиотечно-информационных систем;

- исследовать иерархическую структуру библиотечно-информационных систем, провести их сопоставительный структурный и классификационный анализ с целью определения области существования показателей эффективности и использования их для эффективного управления;

- провести отбор и минимизацию количества критериев внешней эффективности библиотечно-информационных систем, используя результаты системного анализа;

- разработать и практически опробовать формализованный способ отбора показателей эффективности по смысловому признаку на основе матричного представления всего перечня исследуемых параметров и критериев.

Объектом исследования являются библиотечно-информационные системы в условиях глобальной информатизации.

Предмет исследования — критерии и комплексные показатели внешней эффективности библиотечно-информационных систем.

Теоретическая значимость исследования состоит в том, что разработанные в нем теоретические положения дают основания для осмысления комплексной системы показателей внешней эффективности библиотечно-информационных систем как необходимого компонента дальнейшего совершенствования систем библиотечной отчетности, а следовательно, повышения эффективности управления, решения задач модернизации, успешного внедрения новых библиотечных технологий.

Теоретически обоснована необходимость и возможность формирования и использования показателей внешней эффективности библиотечно-информационных систем в библиотечной практике. Разработаны общие методические подходы к созданию систем показателей эффективности библиотек различной специализации и вновь создаваемых библиотечно-информационных систем.

Научная новизна. Впервые изложен новый подход к понятию «информационный процесс» как к необратимому событию в открытой нелинейной информационной системе и сформулировано определение библиотечно-информацион-ного процесса с точки зрения системного подхода к нему на базе также впервые вводимого признака библиотечно-информационного процесса - явления переноса, т.е. смены носителя информации в пределах одного и того же иерархического уровня.

Осмыслено использование концепции физических аналогий для анализа библиотечно-информационных процессов. Показана необходимость разделения библиотечно-информационных систем и их элементов по иерархическим уровням при исследовании библиотечно-информационных процессов.

Сформулировано представление об иерархии критериев оценки эффективности библиотечно-информационных процессов в библиотечно-информационных системах.

Предложен подход к решению проблемы формирования перечня параметров и показателей внешней эффективности на основе минимизированного набора критериев и формирования на его основе комплексной системы показателей для библиотечно-информационных систем.

Методологической основой диссертации служат работы отечественных и зарубежных ученых в различных областях науки (философия, экономика, теория систем, библиография, наукометрия, библиометрия), начиная с работ Н.Винера, К.Шеннона, В.М.Мотылева, А.Д.Урсула, И.М.Фрумина, Ю.Н.Столярова и др.

Теоретические положения основываются на существующей в настоящее время информационно-законодательной базе, регламентирующей деятельность библиотечно-информационных систем, интерпретируемой в контексте системного подхода к проблемам оценки эффективности информационной деятельности.

Информационную базу исследования составили работы, проводимые авторитетными учеными и ведущими научными учреждениями Российской Федерации в области теории информационных процессов и измерений в библиотеках, нормативные документы, монографии, сборники статей, материалы научно-практических, научно-теоретических конференций, труды специалистов в области библиотечной, информационно-библиографической деятельности.

Цели и задачи исследования обусловили выбор следующих методов: анализа библиотечной статистики, изучения библиографических источников, системного анализа и физических аналогий, сравнительного анализа опыта применения существующих систем статистической оценки библиотечно-информационной деятельности, моделирования.

Практическая значимость. Базой для проведения эмпирической части исследования послужили ГПНТБ, Тамбовское областное управление статистики, научно-технические библиотеки различных предприятий и учебных заведений. Разработанные в диссертации внешние критерии и показатели были апробированы на базе библиотеки Первомайского промышленно-экономического техникума, Нобелевской научной библиотеки Международного Информационного Нобелевского Центра (МИНЦ), а также технической библиотеки Учебно-производственного центра ООО «Мострансгаз».

Полученные экспериментальные результаты показали правомерность применения введенного перечня параметров и показателей функциональной эффективности библиотечно-информационных систем и процессов.

Таким образом, практическая значимость работы заключается в повышении эффективности контроля и управления библиотечно-информационными процессами и системами, их соответствия решению проблем развития общества. Реализация положений, рассматриваемых в работе, даёт возможность усилить координацию и связи между библиотечными и другими информационными системами, объединенными общей задачей — наиболее полным удовлетворением информационных потребностей общества.

Апробация работы. Основное содержание работы изложено в 12 публикациях.

Основные результаты работы докладывались на II областной научной конференции «Информатика и науковедение» (Тамбов, 1986); First IASC World Conference on Computational Statistics and Data Analysis (Shizuoka Japan 1987); I Всесоюзной научной конференции «Информатика и науковедение» (Тамбов, 1988); II Всесоюзной научной конференции «Информатика и науковедение» (Тамбов, 1991); IV Всероссийской межвузовской научной конференции «Формирование специалиста в условиях региона» (Тамбов, 2004); V Всероссийской очно-заочной научно-практической конференции «Интеграция методической (научно-методической) работы и системы повышения квалификации кадров» (Челябинск, 2004).

Положения, выносимые на защиту:

1. Необходимым условием дальнейшего улучшения оценки библиотеч-но-информационной деятельности является разработка и внедрение комплексных показателей внешней эффективности библиотечно-информационных систем на базе следующих критериев: количество работников; суммарное время ожидания; количество удовлетворённых запросов; балл релевантности ответа; количество запросов; релевантный объём фонда; объём фонда.

2. Условия, которым должны отвечать показатели внешней эффективности, входящие в систему отчетности библиотечно-информационных систем заключаются в следующем: система состоит не более чем из пяти — семи показателей; показатели максимально просты по технологии расчета; система показателей обеспечивает максимальную информативность, наглядность, понятность для персонала библиотек.

3. Система показателей внешней эффективности библиотечно-информационных процессов может быть создана с использованием формального приёма — таблицы соотношений (матрицы) выбранных критериев.

4. Библиотечная отчетность организуется в виде системы комплексных показателей внешней эффективности библиотечно-информационной деятельности, включающей:

- эффективность труда работника (отношение количества работников к количеству удовлетворенных запросов);

- удельное время ожидания релевантного ответа (отношение времени ожидания к баллу релевантного ответа);

- частоту удовлетворённых запросов (отношение количества удовлетворенных запросов к количеству запросов);

- релевантность запроса (отношение балла релевантности ответа к количеству запросов);

- удельную релевантность запроса (отношение количества запросов к релевантному объему фонда);

- вес запроса (отношение количества запросов к объему фонда);

- релевантность фонда (отношение релевантного объема фонда к объему фонда).

Структура диссертации определена логикой исследования и последовательностью изложения его результатов. Она состоит из введения, двух глав,

Похожие диссертационные работы по специальности «Библиотековедение, библиографоведение и книговедение», 05.25.03 шифр ВАК

Заключение диссертации по теме «Библиотековедение, библиографоведение и книговедение», Смольков, Владимир Николаевич

ВЫВОДЫ И ПРЕДЛОЖЕНИЯ

Очевидно, что полученные в ходе апробации показатели хорошо соответствуют особенностям библиотек, характеристикам их фонда, читательского контингента и другим факторам^

Результаты обработки данных апробации демонстрируют способность предложенных показателей отображать информационную потребность в виде динамических рядов, корректируя деятельность библиотек в соответствии с цикличностью запросов в течение года. Это позволит планировать экономические и эргономические составляющие библиотечной технологии — от формирования графика работы до кадровых решений и штатного расписания.

Особый интерес представляют отношения значений показателей, так или иначе связанных с критерием «балл релевантности ответа». Общие предварительные выводы, которые можно сделать по итогам апробации, например, для библиотеки УПЦ, довольно однозначны:

- общий фонд библиотеки мал. При самой низкой эффективности труда работника здесь чрезвычайно высокое значение релевантности фонда по отношению к двум другим библиотекам. Такой вывод подтверждается и самой низкой, по сравнению с остальными, частотой удовлетворенных запросов;

- функция поиска (даже при самом маленьком фонде) — слабое место этой библиотеки. На показатель «удельное время ожидания релевантного ответа» влияет несколько факторов, в т.ч. низкая квалификация работника, принятого в штат всего за месяц до проведения апробации, отсутствие доступного каталога и т.п.;

- совершенно ясно, что библиотека УПЦ нуждается в компьютеризации и внедрении web-технологии, потому что наращивание фонда в несколько раз при сохраняющемся низком числе обращений нерационально.

В отличие от остальных, библиотека МИНЦ имеет читальный зал. Работа с читателями в нем значительно повлияла на значения показателей «удельное время ожидания релевантного ответа», «вес запроса». Технология читального зала отличается от технологии абонемента. Возможно, критерии работы читального зала следует регистрировать отдельно и по несколько другой методике. Такой вывод также следует считать результатом апробации.

Библиотека Первомайского промышленно-экономического техникума по своим физическим, экономическим и эргономическим показателям занимает между двумя другими библиотеками промежуточное положение. Показатели, полученные для нее в ходе апробации полностью отражают ее положение, подчеркивая характерные отличия: показатели «удельная релевантность запроса» и «вес запроса» для нее максимальны, т.к. размеры фонда не так велики, как в библиотеке МИНЦ, но количество обращений значительно выше, чем в библиотеке УПЦ. Это означает, что система показателей действительно адекватно описывает индивидуальные особенности каждой из библиотек, а, следовательно, могут служить объективным мерилом, как для сравнения различных библиотек, так и для анализа временных изменений в каждой из них.

Эти предварительные выводы базируются на соотношении показателей для библиотек, участвовавших в апробации. Однако, совершенно очевидно, что наибольшую полезную информацию несут числовые значения показателей, которые заговорят в полный голос после установления нормативных значений, относительно которых и следует их рассматривать. Сами же объективные нормативные значения, как ориентиры для любого типа библиотек, можно установить после исследований и замеров в лучших библиотеках соответствующей направленности и специализации. Для этого потребуется проведение измерений в течение значительного времени (для учебных библиотек — не менее года, когда учебное заведение полностью завершает цикл, определяя завершение цикла читательского спроса).

Углубленный анализ даст возможность сформулировать предложения для всех участников эксперимента. Ясно, что предложенная система показателей работает и может служить новым источником информации для оценки эффективности и принятия технологических и административных решений. Очевидно, что полученные или модифицированные в результате более масштабного эксперимента показатели вполне можно использовать в практической деятельности биб-лиотечно-информационных систем.

ЗАКЛЮЧЕНИЕ

В ходе настоящего исследования установлено, что отсутствие современной системы объективных показателей внешней эффективности библиотечно-информационных систем, отвечающей требованиям настоящего времени, снижает действенность управленческих решений, организационные и информационные аспекты работы библиотек. Такое положение вещей напрямую влияет на развитие отраслей культуры и искусства, поскольку библиотечно-информа-ционные системы являются существенной частью общественных культурных проявлений.

Создание системы показателей на основе критериев, основанных на той или иной идеологии, является трудной задачей. Нет окончательного решения вопроса о сущности информации — главного продукта информационной системы, следовательно, нет и однозначного подхода к методу и содержанию измерений в информационных системах. Статистический, экономический, эргономический и другие унитарные подходы не в состоянии объективно оценивать реалии, в которых библиотечно-информационные системы решают широкий спектр социальных и социокультурных задач, означая гораздо большее, чем хранилища книг.

Существуют простые частные типы систем показателей, до сих пор используемых в силу устоявшихся традиций. Но даже этот минимальный поток информации о состоянии библиотек в настоящее время не востребован. Это означает только одно: роль библиотек недооценивается структурами управления. Ситуация должна измениться по мере стабилизации общества и к этому моменту необходимо подойти с осознанием значимости библиотечно-информационных систем.

Исследование источников, посвященных проблеме эффективности информационных систем, показало, что ее состояние находится в прямой зависимости от степени разработанности критериев оценки информационных процессов и, более того, определения категории ценности информации.

Существующие информационные системы, в том числе и библиотечно-информационные, возникли на базе традиционных библиотек, развивавшихся в соответствии с общественными потребностями, а, следовательно, с учетом косвенных оценок эффективности и точности, например, с учетом экономических оценок.

Критерии и показатели, описывающие работу библиотечно-информационных систем, не могут быть оптимальными, если они не учитывают особенности процессов в информационных системах. Установить такую взаимозависимость можно только на основе системного подхода с учетом факторов, действующих на систему извне. Системное исследование предполагает осмысление проблемы в широком спектре точек зрения. Кроме учета социальных (в том числе и экономических) закономерностей, неизбежно приходится мыслить физическими,категориями, поскольку информационные процессы, происходящие в различных системах, в том числе и тех, составной частью которых являются сами библиотеки, являются физическими процессами особого вида и неотрывны от общей физической картины мира.

Информационные потоки неразделимы с материальными или энергетическими носителями. При некоторых ограничениях утверждается, что необходимым признаком информационного процесса является «перенос информации», т.е. подпроцесс, заключающийся в снятии информации с одного носителя и последующее закрепление ее на новом носителе. Все изменения, происходящие с информацией происходят в отрыве от носителей и могут быть определены как разница между массивом, снимаемым с носителя и массивом, закрепляемым на новом носителе. Наличие переноса позволяет, с одной стороны, заявлять о возможности проведения функциональных измерений, с другой стороны, его отсутствие есть признак отсутствия информационного процесса. Следовательно, можно судить о принадлежности ИП к рассматриваемой информационной системе после идентификации носителя информации, а это дает возможность классифицировать и саму систему. Наличие переноса говорит о необратимости информационных процессов, что позволяет идентифицировать сами информационные процессы по их месту в информационной технологии.

Признание этих особенностей позволяет иначе взглянуть на диссипатив-ные и флуктуирующие информационные системы и их составляющие. Следствием является формирование понимания взаимосвязи места исследуемой информационной системы в информационном механизме общества. Разные уровни иерархии информационного пространства — разные технологии, разные процессы, разные способы их оценки. Поэтому возможно и необходимо говорить об иерархии критериев и показателей.

В работе показано, что эффективная система показателей должна учитывать иерархический уровень объекта, его системный характер, особенности процессов, в нем происходящих.

Важным результатом анализа служит вывод о том, что функциональную эффективность нельзя рассматривать в отрыве от параметров информационного запроса, но при этом необходимо правильно интерпретировать иерархический уровень измеряемых объекта и субъекта информационного взаимодействия.

В ходе исследования показано, что совершенно необходимо совокупно оценивать внутренние и внешние показатели библиотек. В диссертационном исследовании проведен обзор и сравнительный анализ методик, лучше всего отвечающих потребности осуществления наиболее полной объективной оценки эффективности.

Результатом выстроенных теоретических предпосылок, среди которых присутствует попытка определения области существования критериев и показателей эффективности относительно иерархии ИС, является методический прием формирования совокупности показателей, базирующихся на анализе выявленных особенностей информационных систем.

Формализация приема построения системы показателей облегчает полноту перебора возможных сочетаний, анализа их применимости и отбор наиболее эффективных.

Проведенная апробация полученных результатов показала возможную практическую применимость метода. Совокупность значений полученных показателей внешней эффективности отображает особенности участвовавших в эксперименте библиотек, следовательно, они пригодны для оценки и анализа деятельности, принятия технологических и управленческих решений. Более того, предлагаемый метод формирования показателей с помощью матрицы критериев универсален и пригоден для работы с библиотечно-информационными системами различных типов.

Список литературы диссертационного исследования кандидат педагогических наук Смольков, Владимир Николаевич, 2004 год

1. Аврамеску А. Новое термодинамическое определение информационной энтропии // МДФ 568: Международная федерация по документации. — М., 1979. — С.56—67.

2. Агеев Л.А. Статистический метод оценки эффективности информационных служб // НТИ. Сер. 1.— 1979.—№ 9.—С.9—10.

3. Афанасьев Э. В. О направлениях в оценке экономической эффективности информационного обслуживания // НТИ. Сер. 1. — 1976 — № 4 — С. 27— 28.

4. Айламазян А.К. Информация и информационные системы. — М.: Радио и связь, 1982. — 160 с.

5. Айламазян А.К. Информатика и теория развития. / А.К. Айламазян, Е.В Стась.- М.: Наука, 1989, С. 66 - 87.

6. Артамонов Г.Т. Центры анализа информации / Г.Т. Артамонов, В.М. Чистяков // Итоги науки и техники ВИНИТИ СССР: Информатика. — 1981. — №6. —С. 5—159.

7. Афанасьев Э.В. О направлениях в оценке экономической эффективности информационного обслуживания // НТИ. Сер. 1. — 1976 — № 4 — С. 27— 28.

8. Афанасьев Э.В. Подход к оценке экономической эффективности информационного обеспечения разработок и внедрения новой техники // НТИ. Сер. 1. 1980. - № 6. — С. 4—8.

9. Баев Г.Х. Об оценке экономической эффективности автоматизированных систем информационных органов // НТИ Сер. 1. — 1985 — № 3 — С. 8— 14.

10. Баев Г.Х. Оценка уровня научно-информационной деятельности АСНТИ и его влияние на полноту и комплексность информации // НТИ. Сер. 2. —1984. — № 2. — С. 15-20.

11. Белан Г. Метод экспресс оценки качества разрабатываемых АСОУ / Г. Белан, М. Бабич // Интенсификация создания интегрированных автоматизированных систем управления в республике: Тез. докл. республ. межотрасл. конф.

12. Вильнюс: ЛитНИИНТИ, 1986. — С.6—8.

13. Бернштейн Э. С. О месте метода пробельного анализа в логическом строе познания // НТИ. Сер. 2. — 1985. — № 6. — С. 1—14.

14. Беруль Ф. Б. Информационное обеспечение управления созданием новой техники // НТИ. — Сер. 1. — 1984. — № 7. — С.10—14.

15. Бестужев-Лада И. В. Критерии и показатели культурного прогресса. Проблемы прогнозирования // Культурный прогресс. Философские проблемы.

16. М.: Наука, 1984. — С. 49, 64,65.

17. Блауберг И.В. Филосовский принцип системности и системный подход / И.В. Блауберг, В.Н. Садовский, Б.Г. Юдин // Вопр. философии.- 1978.-№8.- С.39-52.

18. Блек А.В. Определение эффективности систем информационного обслуживания // Проблемы деятельности ученого и научных коллективов. — М.-Л., 1979. — Вып. 7. — С.234—238.

19. Брюшинина И.Ф. Оценка эффективности автоматизированной информационной системы выборочным методом / И.Ф. Брюшинина, Б.П. Николаев, Е.А. Степанов // НТП. Сер. 2. — 1984. — № 3. — С. 12—13.

20. Бурый-Шмарьян О.Е. Проблема «непотребления» информации: как ее решать (по материалам исследования) // НТИ. Сер.1. 1984. - №10. - С. 13-21.

21. Воверене О.И. Выбор и экспериментальная проверка критерия оценки эффективности системы информационного обеспечения // НТИ. Сер. 1. — 1975, —№4. —С. 9—16.

22. Воверене О.И. Информационное обеспечение исследований и разработок на хозрасчетных началах (из опыта ПКБ «Союзбытхимия») // НТИ. Сер. 1. 1980. — № 8. — С. 12—16.

23. Воверене О.И. Об оценке эффективности информационной деятельности научно-технических библиотек // НТБ СССР. — 1977. — № 6. — С, 11— 12.

24. Воверене О.И. Оценка экономической эффективности информационного обеспечения НИР и ОКР // НТИ. Сер. 1,. — 1979. — № 7. — С. 9—13.

25. Воройский Ф.С. Информатика. Новый систематизированный толковый словарь справочник (Вводный курс по информатике и вычислительной технике в терминах). — 2-е изд., перераб. и доп. - М.: «Издательство Либерея», 2001,-С. 29-37.

26. Воройский Ф.С. Основы проектирования автоматизированных библиотечно-информационных систем: Монография. -М.: Физматлит, 2002,-384 с.

27. Гиляревский Р.С. Информатика и библиотековедение: Общие тенденции в развитии и преподавании. — М.: Наука, 1974. — 175 с.

28. Гиляревский Р.С. Современная информатика: наука, технология, деятельность / Р.С. Гиляревский, Г.З. Залаев, И.И. Родионов и др. / Под ред. Ар-ского Ю.М. М.: ВИНИТИ, 1998. - С. 190 - 202.

29. Григорьев В.А. Экспертное тестирование и оценка качества работы системы Michel // НТИ Сер. 2. — 1997 — № 7 — С. 12—18.

30. Грязнов Н.И. Особенности информационного обеспечения НИОКР на уровне низовой информационной службы НИИ и КБ / Н.И. Грязнов, Т. Б. Сап-лина // НТИ. — Сер. 1. — 1977. — № 6. — С. 1—5.

31. Дайитбегов Д. М. Программное обеспечение статистической обработки данных. / Д.М. Дайитбегов, О.В. Калмыкова, А.И. Черепанов — М.: Финансы и статистика, 1984. — 139 с.

32. Дайитбегов Д.М. Программное обеспечение статистической обработки данных / Д.М. Дайитбегов, О.В. Калмыкова, А.И. Черепанов — М.: Финансы и статистика, 1984. — 180 с.

33. Денисова О.М. Системы массового обслуживания с ограниченным ожиданием. — М.: Радио и связь, 1986. 112 с.

34. Джуджер С. Методика оценки систем НТЭИ // Проблемы создания и развития МСНТИ; Сб. — № 3. — М.: МЦНТИ, 1977. — С. 22—33.

35. Добров Г.М. Прогнозирование науки и техники, — М.: Наука, 1977. — 207 с.

36. Дружинин В.В. Системотехника / В.В. Дружинин, Д.С. Конторов — М.: Радио и связь, 1985. — 200 с.

37. Дынин И.А. Оценка экономической эффективности информационной деятельности / И.А. Дынин, Б.А. Лейкин // НТИ. Сер. 1. — 1981. — № 4. — С. 7—9.

38. Душкова Л.М. Информационные потребности и способы их удовлетворения. № 448—85 Деп. / Л.М. Душкова, В.М. Тютюнник // Науч.-техн. информация: ВИНИТИ. — М., 1985. — 32 с.

39. Душкова Л.М. Сравнительный анализ эффективности некоторых массовых мероприятий в НТБ / Л.М. Душкова, В.М. Тютюнник // Информатика и технические средства- Кр. тез. докл. к обл. науч. конф., 1;—14 мая 1983 г. — Тамбов, 1983. — С. 97—99.

40. Дьячек А.К. Системный подход к определению эффективности АСНТИ ВУЗ / А.К. Дьячек, В.М. Тютюнник // Научные основы создания АСНТИ в высшей школе: Тез. докл. Всесоюз. науч. конф. (Чернигов; 1986 г. окт.). — Чернигов, 1986. — С. 74—77.

41. Едемский А.Е. Разделение и кооперация труда в областных, краевых, республиканских (АССР) библиотеках (1922 1980). - Минкульт РФ, Краснодар. гос. ун-т культуры и искусств. М.: - 1983. - С.125-139.

42. Егерева Т.А. Информационные характеристики технической литературы как индикаторы ценностных свойств // Документальные потоки по естествознанию и технике и проблемы библиографии. — JL, 1983. — С. 123— 139.

43. Ефимов А.Н. Информационный взрыв: проблемы реальные и мнимые. — М.: Наука, 1985. — 159 с.

44. Зиновьева Н.Б. Документоведение. М.: Профиздат, 2001. - С. 64-74.

45. Зиновьева Н.Б. Новый взгляд на природу информации // Информационные системы и процессы: Сб. науч. тр. / Под ред. проф. В.М. Тютюнника.-Тамбов; М.; СПб.; Баку; Вена; Изд-во «Нобелистика», 2003.- Вып.1.- С.3-25.

46. Зобков Б.В. Управление деятельностью информационных органов на основе анализа ежегодных показателей их работы // НТИ. Сер. 1. — 1980.— № 10.-С. 14—16.

47. Иванов Р. Н. Организация и методика информационной работы: Учеб. пособие. — М.: Радио и связь, 1982. — 192 с.

48. Информация и стимулы // НТР: проблемы и решения. 1987. -№3. — С. 3-4.

49. Казанцева К.В. Интенсивный путь развития научно-информационной деятельности / К.В. Казанцева, А.Д. Урсул // НТИ. Сер. 1. — 1983. — №5. — С.

50. Карпенко В.П. Анализ деятельности системы избирательного распространения информации // НТИ. Сер. 1. — 1983. — № 3. — С. 1—4.

51. Карташов Н.С., Скворцов В.В. Общее библиотековедение. Учебник: В 2 ч. — М.: Издательство Московского государственного университета культуры,1996. Ч. 1: В.В. Скворцов. Теоретические основы библиотековедения. С. 7 -8.

52. Карташов Н.С., Скворцов В.В. Общее библиотековедение. Учебник: В 2 ч. — М.: Издательство Московского государственного университета культуры,1997. Ч. 2: Н.С. Карташов. Общая теория библиотечного дела. — С. 3 — 4.

53. Киященко И. Эстетика перестройки и перестройка эстетики // Совет. культура. — 1987. — 28 апреля.

54. Коган В. 3. Маршрут в страну информологию. — М.:- Наука, 1985. —120 с.

55. Коган В. 3. Человек в потоке информации. — Новосибирск: Наука, 1981.—175 с.

56. Кон И. Без страха перед «острым сюжетом» // Совет, культура. —1987. — 25 апреля.

57. Коровякова И.Д. К проблеме оценки эффективности автоматизированных систем информационного обслуживания // Автоматизация и механизация библиотечных процессов: Межвуз. сб. науч. трудов / МГИК. — М., 1982. — С. 114—124.

58. Кроув Т., Эйвисон Д. Базы данных в административных информационных системах: Пер. с англ. — М.: Финансы и статистика, 1983. — 168 с.

59. Курицкий Б. Я. Оптимальное решение? — Это очень важно! — JL: Машиностроение, 1984, — 126 с.

60. Лавров С. Творчество и алгоритмы // Наука и жизнь — 1985. — № 3. — С. 40—48.

61. Ловцов Д.А. Информационные аспекты комплексного подхода к исследованию систем управления // НТИ Сер. 2 — 1997 — № 5 — С. 10—17.

62. Ловцов Д.А. Модели измерения информационного ресурса автоматизированной системы управления // Автоматика и телемеханика.- 1996.- №9.- С. 3-17.

63. Максимович Г.Ю. Информационные системы: Учебное пособие / Г.Ю. Максимович, А.Г. Романенко, О.Ф. Самойлюк; Под общей редакцией К.И. Курбакова. М.: Изд-во Рос. экон. акад., 1999. С. 21-86.

64. Максимович Г.Ю. Информационные системы: Учебное пособие / Г.Ю. Максимович, А.Г. Романенко, О.Ф. Самойлюк; Под общей редакцией К.И. Курбакова. М.: Изд-во Рос. экон. акад., 1999. С. 15-18.

65. Мамиконов А.Г. Принятие решений и информация. — М.: Наука, 1983. —184 с.

66. Махкамов Ш.Г., Муминов М.М. Новый метод оценки эффективности информационной деятельности // НТИ. Сер. 1. — 1980. №11. — С. 14—17.

67. Мельников В.А. «Звезды» вычислительной техники // Знание—сила.— 1987. — № 1. с. 1—3, 78—80.

68. Меняев М.Ф. Информационные технологии управления: Учебное пособие. В 3 кн.: Книга 2: Информационные ресурсы.- М.: Омега-JI, 2003.-C.3 7.

69. Мерсон Ф.Л. Категория «качество» в организации науки / Ф.Л. Мер-сон, Л.Ю. Макова // Науковедение и информатика. — 1984. — Вып. 25. — С. 55—59.

70. Микоян Э.М. Некоторые методы оценки деятельности органов НТИ.- М.: ВИНИТИ, 1979. — С. 51—62.

71. Минкина В.А. Изучение документальных потоков для определения ценностных свойств технической литературы // Документальные потоки по естествознанию и технике и проблемы библиографии: Сб. науч. тр. — Л., 1983.1. С. 111—122.

72. Митин М.Б. В.И.Ленин и актуальные проблемы философии. — М.: Мысль, 1971. —260 с.

73. Михайлов Ю. О книжной диете, старом календаре и свежем ветре // Советская культура. — 1987. — 7 апр.

74. Моралес М. Информетрия и ее значение // Международный форум по информации и документации. — 1985. — Т. 10. — № 2. — С. 16—22.

75. Мотылев В.М. Основы количественных исследований в библиотечной теории и практике. Л.: Наука, 1988. - 198 с. - С.40-47.

76. Немировская B.C. Комплексный анализ и оценка уровня информационно-библиотечного обслуживания / B.C. Немировская, Л.А. Минина, М.В. Никитина // НТБ СССР. — 1979. — № 4. — С. 3—12.

77. Никитина Т. В. Система показателей оценки работы научно-технических библиотек // НТБ СССР. — 1980. — № 8. — С. 16—20.

78. Об эффективности НТИ // Наука. Информация. Производство. — М„ 1977.- С. 16-30.

79. Оперативная публикация: клубок проблем // Химия и жизнь. — 1989. — №5.-С. 65-69.

80. Пачевский Т. М. Научная библиотека и информация. — Новосибирск. -Наука, 1973. —123 с.

81. Пенькова О.В. Науковедение, наукометрия и их производные: Методы количественной оценки научной деятельности: Моногр. / О.В. Пенькова, В.М. Тютюнник. Тамбов: Изд-во МИНЦ, 2002.- 176 с.

82. Попов И.И. Автоматизированные информационные системы (по областям применения): / Под общей редакцией К.И. Курбакова. М.: Изд-во Рос. экон. акад., 1998. С. 85-97.

83. Раев А.Г. Критерии оценки качества библиотечных процессов // НТБ СССР. — 1985. — № 5. — С.З—10.

84. Раев А.Г. Подход к оценке качества обслуживания читателей // НТБ СССР, — 1981. — № 8. — С.20—25.

85. Разлогов К. Контуры культуры будущего // Советская культура. — 1987. 25 апр.

86. Растригин Л. А. По воле случая. — М.: Мол. гвардия, 1986. — 189 с.

87. Розенберг В. Я. О построении «по точкам» зависимости количества семантической информации от объема тезауруса приемника // НТИ. Сер. 2.— 1984.-№4. —С. 25—28.

88. Романченко С.Н. К проблеме иерархии уровней в структуре менталь-ности // Культура и образование в информационном обществе: Материалы ме-ждунар. науч. конф. 16 — 18 сентября 2003 г. - Краснодар. - 2003 г. - С. 20 - 22.

89. Скрипкин К. Экономическая эффективность информационных систем.- М.: ДМК Пресс. 2002.

90. Скурко Е.В. Эффективность информатизации правовой системы России: метод оценки // НТИ. Сер. 1. — 2002. — № 10. — С. 1—4.

91. Скурко Е.В. Эффективность информационного обеспечения законодательной деятельности: метод оценки // НТИ. — Сер. 1. — 2001. — № 3. — С. 33—37.

92. Собрание законодательства РФ.- 1995.- №8.- С. 609.

93. Смольков В.Н. О замкнутости герменевтического круга // Формирование специалиста в условиях региона: новые подходы: Крат. тез. докл. к IV Всеросс. Межвуз. науч. конф, 12-13 апреля 2004 г.-Тамбов, 2004.- С.

94. Смольков В.Н. К определению понятия «информационный процесс» // Информатика и науковедение: Крат. тез. докл. к II Всесоюзной науч. конф, 10—15 сентября 1991 г. — Тамбов, 1991. — С. 46—47.

95. Смольков В.Н. Область существования критериев эффективности информационных процессов» / В.Н. Смольков, В.М. Тютюнник // Информатика и науковедение: Крат. тез. докл. к I Всесоюзной науч. конф., 1—4 июня 1988 г. — Тамбов, 1988. —С. 296—297.

96. Смольков В.Н. Обобщенная модель системы критериев эффективности научно-информационной деятельности / В.Н. Смольков, В.М. Тютюнник //

97. Информатика и науковедение: Крат. тез. докл. к II обл. науч. конф., 27—29 мая 1986 г. — Тамбов, 1986. — С. 109—112.

98. Смольков В.Н. О возможности оценки эффективности информации /

99. B.Н. Смольков, С.Е. Паченский, В.М. Тютюнник // Информатика и науковедение: Крат. тез. докл. к II обл. науч. конф, 27 29 мая 1986 г.— Тамбов, 1986 —1. C. 133—134.

100. Смольков В.Н. Системный подход к эффективности реальных информационных систем / В.Н. Смольков, В.М. Тютюнник // НТИ. Сер. 1.— 1990. -№2. —С. 13—14.

101. Смольков В.Н. Поиск и минимизация совокупности показателей /

102. B.Н. Смольков, В.М. Тютюнник // Формирование специалиста в условиях региона: новые подходы: Крат. тез. докл. к IV Всеросс. Межвуз. науч. конф, 12-13 апр. 2004 г. Тамбов, 2004.- С.109-111.

103. Смольков В.Н. Современное состояние комплексной оценки эффективности информационных процессов / В.Н. Смольков, В.М. Тютюнник // Информация и научные исследования культуры: Сб. науч. тр. / НИИ Культуры. -М., 1988.- С.66-83.

104. Соломин В.М. О показателях эффективности деятельности информационных органов // НТИ. Сер. 1. — 1974. — № 5. — С. 3—7.

105. Столяров Ю.Н. Библиотековедение в опасности // Вестник МГУКИ -2003-№4.- С. 124-128.

106. Столяров Ю.Н. Полнота обслуживания читателей — общий критерий эффективности работы, научных библиотек // НТБ СССР — 1973 — № 1.1. C. 3- 8.

107. Сумароков JI.H. Информатика и проблемы энергетики / JI.H. Сумароков, Ю.М. Карпов // Энергия. — 1984. — №3. — С. 11—13.

108. Сюряева JI. А. Оперативный анализ — инструмент повышения эффективности работы по удовлетворению информационных запросов ученых и специалистов. — Новосибирск, 1976. С. 30—40.

109. Тараканов К.В., Коровякова И.Д., Цуркан В.В. Информатика. — М.: Книга, 1986. —304 с.

110. Тараканов К.В. Предисловие // Автоматизация и механизация библиотечных процессов: Межвуз. сб. науч. трудов / М.: 1982. — С. 3-8.

111. Тараканов К.В. Системный анализ деятельности библиотек и библиотечных сетей как объектов автоматизации // Автоматизация и механизация библиотечных процессов: Межвуз. сб. науч. трудов / М.: 1982. — С. 54.

112. Тараканов К.В. Системный анализ библиотечных процессов: Учеб. пособие / МГИК. — М.: 1982. — 80 с.

113. Татаркевич Я.В. Методика статистического изучения использования фирменном литературы на промышленном предприятии // НТИ. Сер. 1. — 1975. —№ 11. —С. 11—14.

114. Терехов JI.JI. Кибернетика для экономистов. — М.: Финансы и статистика, 1983. — 191 с.

115. Тоффлер О. Прогнозы и предпосылки // Социологические исследования. 1987. - №5. - С. 118 - 131.

116. Тютюнник В.М. Взаимосвязи информатики и науковедения: Анализ данных и модели. Тамбов, 1989, - С. 29 - 35.

117. Тютюнник В.М. От концепции информации к пониманию информатики / В.М. Тютюнник, В.А. Доронкин, А.К. Дьячек и др. // Информатика и науковедение: Крат. тез. докл. к II обл. научн. конф., 27—29 мая 1986 г. — Тамбов, 1986. — С. 2—5.

118. Тютюнник В.М. О новом взгляде на природу информации в социальной коммуникации // Информационные системы и процессы: Сб. науч. тр. / Тамбов; М.; СПб.; Баку; Вена; Изд-во «Нобелистика», 2003.- Вып.1.- С.25-30.

119. Урсул А. Д. Информация: методологические аспекты. — М.: Наука, 1971.—268 с.

120. Фабрицио К. Перспективное исследование в области развития культуры // Культура — диалог народов мира. — 1985. — № 4 — С. 32.

121. Фабрицио К. Перспективное исследование в области развития культуры // Культура — диалог народов мира. — 1985. — № А— С. 35,37, 40.

122. Флорес И. Структуры и управление данными. Пер. с англ. — М.: Финансы и статистика, 1982. — 319 с.

123. Фрумин И.М. Библиотечное дело. Организация и управление // Учебн. пособие, «Книга», М.: 1980. С. 125

124. Хамелинк К. Дж. Культура в век электронных средств коммуникации // Культура — диалог народов мира. — 1985. — № 4. — С. 28.

125. Хюхэнжимее Н. К вопросу оценки эффективности информационной системы // НТИ. Сер. 1. — 1982. —№ 4. — С.12—15.

126. Чурсин Н.Н. Популярная информатика. — Киев: Техника, 1982. —158 с.

127. Шапиро Э.Л. Сигнал, знание, информация; эволюционный аспект // НТИ. Сер. 2. — 1985. — № 2. — С. 5—7.

128. Шачина Л.И. Количественная оценка эффективности информационного обеспечения НИР / Л.И. Шачина, Г.В. Беликов // НТИ. Сер. 1. — 1974 — № 8. — С. 8—9.

129. Шехурин Д.Е. Эффективность и качество информационного обеспечения по критериям творчества // НТИ. Сер. 1. — 1976. — № 6. — С. 3—10.

130. Шилейко А.В., Кочнев В.Ф., Химушин Ф.Ф. Введение в информационную теорию систем.- М.: Радио и связь, 1985.- 280 с.

131. Шрайберг Я.Л. Библиотека как объект автоматизации: схема формального описания, структуризация и моделирование на этапе предпроектного исследования // Препринт. — М.: Изд-во ГПНТБ России, 1998. - С. 7-17.

132. Шубкина И. П. Моделирование механизма принятия решений. — М.: Наука, 1976. — 103 с.

133. Яновский А. М. Информационное обеспечение внедрения научно-технических достижений / A.M. Яновский, И.Г. Калашников // НТИ. Сер. 1. — 1984. —№ 12. —С. 17—19.

134. Battere J.P.H., Vorst J.I. The economics of information: a macroapproach // Proc. Arner. Soc. Inform. Sci. — Washington—Westport, 1973. — Vol. 10. — P. 9—10.

135. Blagden I. Communication: a key library management problem. — Aslib. Pro;, 1975. — 27.№8. —P.319—326.

136. Makulova S. Psichologicke a technicke problemy kommunikacie cloveka s pocitacom // Informatika: Zb. Filosof. Fakult. Univ. Komenskeho. Rocmk IX.-Bratislava, 1985, S 49-59

137. Miller E.P. An effectiveness measure for information center operations.

138. Proc. Ai-ner. Soc. Inform. Sci. — Washington — Westporit, 1973. — Vol. 10.1. P. 151—152.

139. Ladendorf I. Information service evaluation: The gap between the ideal and the possible // Spec. Libr. — 1973.—64. — № 7. — P. 273—279.

140. Price D.J.De Solla. A General Theory of Bibliometric and Other Cumulative Advantage Processes // Jour. Inform. Sci.- 1976.- V.27, N 5.- P.292-306.

141. Pritchard A. Statistical Bibliography or Bibliometrics? // Jour. Document.-1969.- V.25, N 4.- P.348-349.

142. The Director-General of UNESCO. Presentation of the Draft Medium-Term Plan for 1984—1989 // Executive Board, 115th session. — P. 10 (115 EX/INF 4. prov.).

143. Vavrek B. Reference evaluation—what the «Guide—lines» don't indicate. — R, Q. — 1979.— 18.—№ 4. — P. 335—340.

Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.