Методы построения рейтингов для анализа потребителей, дистрибьюторов и поставщиков тема диссертации и автореферата по ВАК РФ 08.00.13, кандидат экономических наук Беляев, Михаил Сергеевич

• Беляев, Михаил Сергеевич
• кандидат экономических наук
• 2007

Оглавление диссертации кандидат экономических наук Беляев, Михаил Сергеевич

ВВЕДЕНИЕ.

ГЛАВА1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ РЕЙТИНГОВОГО ОЦЕНИВАНИЯ ПОТРЕБИТЕЛЕЙ ДИСТРИБЬЮТОРОВ И ПОСТАВЩИКОВ.

§1. Терминология.

§ 2. Система критериев при оценивании потребителей, дистрибьюторов и поставщиков.

§ 2.1. Система критериев при оценивании поставщиков.

§ 2.2. Системы критериев при оценивании дистрибьюторов и потребителей.

§ 3. Основные подходы к формированию рейтинга: классификация.

§ 4. Методы с единовременным участием экспертов: теория.

§4.1. Линейная свертка значений критериев с весами, задаваемыми экспертным путем.

§ 4.2. Выработка правил принятия решения о присвоении рейтинга.

§ 4.3. Деревья классификации.

§ 4.4. Процедура конжойнт-анализа.

§ 5. Методы, не предусматривающие участия экспертов: теория.

§ 5.1. Факторный анализ (подбор коэффициентов в линейной свертке).

§ 5.2. Сравнение с «идеалом».

§ 5.3. Интерпретивно-структурное моделирование.

§ 5.4. Кластерный анализ.

§ 5.4. Ранжирование потребителей, дистрибьюторов и поставщиков на основе оценки выгоды от сотрудничества.

§ 6. Методы с постоянным участием экспертов: теория.

§6.1. Анализ иерархий.

§ 6.2. Процедура Дельфи.

§ 6.3. Анализ соответствий.

§ 6. Критерии качества построения рейтинговых оценок: теория.

ГЛАВА2. ПРАКТИЧЕСКИЕ ПРИМЕРЫ ПРИМЕНЕНИЯ МЕТОДОВ РЕЙТИНГОВОГО ОЦЕНИВАНИЯ ПОТРЕБИТЕЛЕЙ ДИСТРИБЬЮТОРОВ И ПОСТАВЩИКОВ.

§ 1. Методы с единовременным участием экспертов: практика.

§1.1. Линейная свертка значений критериев с весами, задаваемыми экспертным путем.

§ 1.2. Деревья классификации.

§ 1.3. Процедура конжойнт-анализа.

§ 2. Методы, не предусматривающие участия экспертов: практика.

§ 2.1. Факторный анализ и кластерный анализ.

§ 2.2. Ранжирование поставщиков на основе оценки выгоды от сотрудничества (ABC).

§ 3. Методы с постоянным участием экспертов: практика.

§ 3.1. Интерпретивно-структурное моделирование.

§ 3.2. Анализ иерархий.

§ 3.3. Анализ соответствий.

ГЛАВА 3. СПЕЦИАЛЬНЫЕ РАЗРАБОТКИ И ПРЕДЛОЖЕНИЯ ПО РЕШЕНИЮ ЗАДАЧИ ПОСТРОЕНИЯ РЕЙТИНГОВЫХ ОЦЕНОК ПОТРЕБИТЕЛЕЙ, ДИСТРИБЬЮТОРОВ И ПОСТАВЩИКОВ.

§1. Сведение задачи построения рейтинга к задаче о назначениях.

§2. Свертка показателей на основе минимизации взвешенного показателя МАРЕ.

§3. Назначение рейтингов потребителям, дистрибьюторам и поставщикам на основе анализа упущенной торговой наценки.

§3.1. Мотивация.

§3.2. Основные понятия.

§3.3. Допущения.

§3.4. Расчет страхового запаса.

§3.5. ABC-FMR анализ для анализа рейтинга поставщика.

§3.6. Анализ устойчивости полученных рейтингов поставщиков.

§3.7. Универсальность предлагаемого метода.

§3.8. Результаты внедрения.

Введение диссертации (часть автореферата) на тему «Методы построения рейтингов для анализа потребителей, дистрибьюторов и поставщиков»

Актуальность темы исследования

Задача построения рейтинга для анализа потребителей, дистрибьюторов и поставщиков является жизненно важной для компаний, у которых хотя бы одна из указанных групп контрагентов является многочисленной. Именно в силу «жизненной важности» в большинстве компаний крупного и среднего бизнеса она уже имеет в некотором смысле «решение»:

• разделение клиентов на VEP и прочих; более сложные системы с рейтингами А, В, С (ABC анализ);

• выделение дистрибьюторов со статусами «реселлер», «партнер», «генеральный партнер» и т.п.;

• ранжирование поставщиков при выборе основного и резервного источника поставок, ранжирование банков при выборе поставщика финансовых услуг (кредитный рейтинг банка).

Выше приведены лишь немногие примеры решений, указанной задачи назначения рейтингов соответствующих объектов. Однако применяющиеся решения не всегда являются оптимальными в смысле стоящей перед ними дели. Особенно важен системный подход в данной области для представителей среднего и крупного бизнеса, поскольку выгода, полученная от внедрения результатов анализа, с избытком покрывает стоимость привлечения соответствующего специалиста. Полагаясь на систему рейтингов, компании принимают решения о перераспределении колоссальных ресурсов. К примеру, в 2002 году, компания Крайслер, на основе введенной системы рейтингового оценивания контрагентов приняла решение о перераспределении заказов на сумму 5 млрд. USD [27, с.23], от поставщиков с низкими показателями рейтинга, к поставщикам, чьи рейтинги были высокими.

Таким образом, построение рейтинга позволяет формализовать процесс выбора, сделать его более объективным и сократить время принятия решения. Следует обратить внимание на то, что методы, применяемые для построения рейтингов формально различных объектов, часто не имеют значимых отличий. Отличается лишь система критериев, на основе которых принимается соответствующее решение. Это в полной мере справедливо и для тройки потребители», дистрибьюторы» и «поставщики». В дальнейшем будут приведены характерные системы критериев для каждой из трех групп. Иллюстрация примеров в силу в силу слабой дифференцированости задач рейтингового оценивания объектов указанных типов будет проводиться только на одном из них - на группе «поставщики». Причина выбора именно этой группы контрагентов заключается в том, что, как правило, число поставщиков существенно ниже числа покупателей и дистрибьюторов продукции, а, следовательно, на анализ каждого отдельно взятого контрагента первой группы можно использовать больший ресурс времени, чем в остальных случаях. Учитывая относительную трудоемкость процедур построения рейтинговых оценок, это свидетельствует в пользу того, что соответствующие методы чаще будут использоваться именно для анализа поставщиков.

Таким образом, иллюстрация методов построения рейтинговых оценок потребителей, дистрибьюторов и поставщиков будет сделана на примере анализа последней группы, однако это оставит справедливыми все полученные результаты и для потребителей, и для дистрибьюторов, при условии учета изменившейся системы критериев.

В настоящее время в связи с бурным развитием российской экономики и развитием информационных технологий математические методы построения рейтинговых оценок потребителей, дистрибьюторов и поставщиков приобретают особую актуальность, а научные исследования в данной области являются важным и перспективным направлением экономической науки.

Рост компании, как правило, сопровождается ростом клиентской базы, количества поставщиков и дистрибьюторов продукции (если таковые имеются). Рейтинговое оценивание соответствующих групп контрагентов позволяет в указанных выше условиях сохранять эффективность взаимодействия и качество принимаемых решений.

Постоянное изменение внешних условий, в которых осуществляет свою деятельность любой современный экономический субъект, требует соответствующей реакции - глубокого анализа отношений с основными контрагентами с последующей обратной связью. Изменение рыночных условий требует разработки новых инструментальных методов, позволяющих оперативно решать возникающие проблемы. Именно поэтому, реализация поставленных целей невозможна как без привлечения современного экономикоматематического аппарата, так и без формирования системы обратной связи по результатам его применения. Одним из наиболее эффективных инструментов решения соответствующей задачи является построение рейтинговых оценок.

В настоящей работе выделены основные критерии, на основе которых производится оценивание соответствующих объектов, систематизированы методы построения рейтинговых оценок потребителей, дистрибьюторов и поставщиков, проведен их критический анализ. Важной частью настоящей диссертации является разработанный автором метод построения рейтинга указанных объектов, доказавший свою эффективность в процессе более чем 8 месячного использования в крупнейшем российском дистрибьюторе электротехнической продукции.

Современное состояние изученности проблемы

Хорошо известно, что анализ потребителей, дистрибьюторов или поставщиков является многокритериальной задачей. Так, в 1966 году Диксон [25] опросил 273 менеджеров по закупкам, и определил 23 критерия, по которым выбирается поставщик. В 1991 году Вебер в своем обзоре [34, с.2-18], 74 статей в академических журналах, посвященных методам выбора поставщика, обнаружил, что 22 из этих 23 критериев упоминались, по крайней мере, один раз, а 47 журналов предлагает использовать решать многомерные задачи. Именно исходя из этих соображений здесь и далее мы будем рассматривать задачу построения рейтинга как частный случай многокритериальной проблемы.

1 2

Пионерские исследования в области построения рейтинговых оценок относятся к началу 70-х годов прошлого века. В русскоязычной литературе для обозначения соответствующих методов, как правило, используются термины «многомерные методы принятия решений», «методы анализа многокритериальных решений», в англоязычной - аббревиатура МСОМ , что в переводе примерно соответствует отечественной терминологии. Первая классификация этих подходов принадлежит МакКриммону [28, с.18-44]. Во многом, соответствующие разработки опирались на результаты исследований в области многомерного оценивания, начало которых, как правило относят к последней четверти 19 века. 2 Здесь и далее, когда речь идет о рейтинговых оценках, подразумевается, что в качестве исходной информации используется многомерная характеристика. В ситуации, когда оценивание ведется по единственному параметру, как правило, не возникает проблемы при принятии решения.

Исследования 70-х годов фокусировались на теоретической базе для разработки процедур и алгоритмов решения многокритериальных задач. В 80-х годах акцент смещается на разработку систем поддержки принятия решений, в которые, в свою очередь и интегрировались упомянутые выше наработки в области MCDM. Рост производительности компьютеров в начале 90-х годов привел к резкому всплеску интереса к методам решения многокритериальных задач. На этом этапе СППР вплотную подходят к решению таких задач как принятие динамических решений, анализ чувствительности, интерактивное взаимодействие с ЛПР в процессе принятия решения о выставлении рейтинга и т.д.

Наибольший вклад в общую теорию рейтингового оценивания среди отечественных и зарубежных специалистов внесли Саати (Saaty, Т. L), Кини P.JI и Райфа Х.М., Ларичев О.И, Подиновский В.В. и Озерной В.М, развивавшие общую теорию построения рейтингов, а также Вебер (Weber С.А) и Тиммерман (Timmerman Е), развивавшие применение методов рейтингового оценивания к анализу потребителей, дистрибьюторов и поставщиков.

3 Multipy criteria decision methods

Эволюция подходов к рейтинговому оцениванию потребителей дистрибьюторов и поставщиков

Одним из наиболее ранних подходов к оцениванию упомянутых выше экономических агентов является «категориальный метод». Он предполагает отнесение объекта оценивания к одному из заранее определенных классов (отличный, хороший, приемлемый, плохой). Данный метод удобен в интерпретации результатов, но его слабым местом является правило, по которому назначается сам рейтинг. Несколько позже появились работы, в которых предлагалось использовать линейную свертку количественных характеристик объекта с экспертно определяемыми весами. В частности, эти идеи, можно встретить в работах Тиммермана, (см., например, [33, с.2-8]). Более продвинутой версией линейной свертки стал предложенный Саати в 1980-м году [32, с.841-855] АНР (Analytic Hierarchy Process), позволяющий последовательно использовать информацию, получаемую на основе парных сравнений. Очевидным недостатком такого подхода является отказ от учета качественных факторов при назначении рейтинга. Эта проблема решается при помощи привлечения процедуры DEA (data envelopment analysis). И, наконец, одним из последних подходов к решению задачи рейтингового оценивания потребителей, дистрибьюторов и поставщиков является так называемый Activity Based Costing (ABC), который, к примеру, применительно к анализу поставщиков (см., например, [17]), предполагает пересчет всех характеристик поставщика в денежное выражение и сравнение поставщиков на основе условного финансового результата сотрудничества с ними.

Давая общую характеристику подходам к решению задачи оценивания указанных объектов, следует обратить внимание на следующий результат, полученный Вебером [34, с.2-18] и опубликованный в 1991 году:

Проведя анализ 74 публикаций, посвященных вопросам рейтингового оценивания поставщиков, он пришел к выводу, что более 90% предлагаемых подходов основываются именно на линейной свертке количественных характеристик. При анализе потребителей и дистрибьюторов имеет место схожая ситуация.

Следует также отметить, что большинство авторов занимают единую позицию, говоря о наличии «лучшего метода построения рейтинга»: его не существует, каждый метод хорош в конкретной ситуации. Так, к примеру,

Озерной [31, с. 160] пишет «Уже давно показано, что выбор МСЭМ метода сам по себе представляет собой МСЭМ задачу. Эти методы сложно сравнивать, классифицировать и оценивать, поскольку они основываются на множестве предположений о предпочтениях ЛПР и используют различную информацию. Какой бы ни был набор предпосылок «идеального метода», всегда найдется ЛПР, который просто не будет располагать необходимой информацией».

Также, так или иначе, многие исследователи приходят к выводу о том, что невозможно полностью исключить участие эксперта при назначении рейтинга. Так, к примеру, Эйнхом пишет «ни одна многокритериальная модель не способна адекватно воспроизвести процесс выбора экспертом альтернативы. На практике этот результат был подтвержден исследованиями Абельсона и Леви.

Цель и содержание исследования

Цель работы заключается в критическом анализе существующих на сегодняшний день методов построения рейтинговых оценок потребителей, дистрибьюторов и поставщиков, ядро которых составляют собственно, математические методы. В соответствии с целью диссертационного исследования были поставлены и решены следующие задачи:

1. Выявлены системы критериев, на основе которых строятся рейтинговые оценки потребителей, дистрибьюторов и поставщиков.

2. Проведен критический анализ и предложена классификация существующих на сегодняшний день методов построения соответствующих оценок.

3. Определена и формализована математическая модель, предназначенная для автоматизации процесса рейтингового оценивания.

4. Исследована возможность моделирования практических ситуаций с использованием построенной модели на примере рейтингового оценивания поставщиков.

Предмет и объект исследования

Предметом исследования является оценка существующих методов получения рейтингов и их применение для анализа потенциально допустимых потребителей, поставщиков и дистрибьюторов. Объектом диссертационного исследования являются существующие методы получения рейтинговых оценок экономических объектов и их применение для анализа хозяйственной деятельности финансовых, промышленных и торговых организаций.

Методологические основы исследования

Теоретической и методологической основой диссертационной работы послужили труды отечественных и зарубежных ученых, источники энциклопедического характера по вопросам экономики, периодическая литература, ресурсы глобальной информационной системы Интернет.

Научная новизна

Научная новизна диссертационного исследования состоит в разработке новых и совершенствовании существующих экономико-математических и экономико-статистических методов построения рейтинговых оценок потребителей, дистрибьюторов и поставщиков. В основу были положены теоретический анализ механизма рейтингового оценивания, существующих подходов к оценке его эффективности, а также обобщение практического опыта назначения рейтингов.

К наиболее важным результатам, характеризующим научную новизну и практическую значимость исследования, относятся следующие:

1. Выявлены исторические тенденции и особенности развития подходов к формированию рейтингов.

2. Проведена систематизация подходов различных ученых и специалистов к категории «рейтинг».

3. Предложена классификация подходов к назначению рейтинга.

4. Определены принципы построения рейтингов.

5. Выявлены преимущества и недостатки существующих подходов к назначению рейтингов.

6. Предложена оригинальная экономико-математическая модель назначения рейтинговых оценок потребителям, дистрибьюторам и поставщикам, предусматривающая получение в некотором смысле оптимальной системы оценок на основе решения задачи о назначениях.

7. Предложена оригинальная экономико-математическая модель назначения рейтинга потребителям, дистрибьюторам и поставщикам, учитывающая при построении рейтинга недополученную в результате взаимодействия прибыль. Проведена апробация указанного подхода на примере анализа поставщиков крупного мультибрендового дистрибьютора.

8. Выделены, систематизированы и оценены внешние факторы, оказывающие влияние на принятие решения о назначении рейтинга потребителям, дистрибьюторам и поставщикам.

9. Предложены изменения в существующих методиках оценивания потребителей, дистрибьюторов и поставщиков.

Практическая значимость

Выбор поставщика существенным образом отражается на конкурентоспособности компании. Он особенно важен в ситуации, когда значительную часть себестоимости конечного продукта составляют комплектующие, и когда заключаемые с поставщиками контакты носят долгосрочный характер. С одной стороны процесс выбора поставщика осложняется количеством претендентов и неоднородностью их характеристик. С другой стороны, рост конкуренции требует повышения эффективности, и соответственно выбора оптимальных, или «хороших» поставщиков. В ближайшем будущем эта проблема не станет менее острой, скорее - наоборот. Если традиционный подход предполагает выбор самого дешевого поставщика [24], то современные системы типа JIT и TQM расставляют другие приоритеты: качество, надежность поставки, возможность электронного обмена данными, географическое расположение, производственные мощности и т.д.

Рейтинговое оценивание клиентов и дистрибьюторов позволяет более эффективно контролировать и организовывать взаимодействие с ними, лучше осваивать потенциал, справедливей распределять бонусы, быстрее и качественнее обрабатывать информацию для принятия управленческих решений и т.д.

Полученные же в диссертации результаты, такие как новый подход к рейтинговому оцениванию потребителей, дистрибьюторов и поставщиков, классификация существующих подходов с выделением их слабых и сильных сторон, модернизация уже существующих подходов к оцениванию, позволит ЛПР быстрее и эффективнее решать эти задачи.

Апробация результатов исследования

Результаты, полученные в настоящем диссертационном исследовании были применены для решения задачи выбора поставщиков в компании ЭТМ -одном из крупнейших российских дистрибьюторов электротехнической продукции. Эффективность предлагаемых в диссертации новых методов построения рейтинговых оценок подтверждена более чем 8 месячным опытом практического применения соответствующих технологий.

Объем и структура исследования

Диссертационное исследование состоит из введения, трех глав, заключительной части и приложений. Введение содержит общую характеристику целей и задач, поставленных перед данной диссертацией. Первая глава охватывает теоретические аспекты изучаемой проблемы, устанавливает терминологию, содержит классификацию и подробную характеристику сложившихся подходов к решению задачи рейтингового оценивания потребителей, дистрибьюторов и поставщиков. Вторая глава иллюстрирует на примерах большинство методов построения рейтинговых оценок, приведенных в первой главе. Третья глава включает в себя результаты, полученные автором диссертации, как то собственные разработки в области построения рейтинговых оценок, а также иллюстрацию их применения на данных ЗАО ЭТМ. В заключительной части подведены итоги исследования, сформулированы основные выводы, предложения и перспективы развития по методам решения задач рейтингового оценивания потребителей, дистрибьюторов и поставщиков. В приложениях содержатся данные, на основе которых проводились расчеты в главе 3 и примеры отчетов, на основе которых проводится анализ рейтингов поставщиков в ЗАО ЭТМ.

Заключение диссертации по теме «Математические и инструментальные методы экономики», Беляев, Михаил Сергеевич

Заключение

В соответствии с поставленными в задачами, основными результатами диссертационного исследования, выносящимися на защиту, являются классификация и критический обзор существующих методов построения рейтингов потребителей, дистрибьюторов и поставщиков, метод сведения задачи рейтингового оценивания к задаче о назначениях, а также оригинальная модель анализа упомянутых выше объектов, основанная на исследовании упущенной торговой наценки. Предложенная в главе 1 классификация охватывает основные методы, использующиеся для построения рейтингов потребителей, дистрибьюторов и поставщиков. Критический анализ соответствующих методов, проведенный в главе 1, позволяет выявить их сильные и слабые стороны, и определить, в каких условиях их применение эффективно. Рекомендации, приводимые в главе 2 при исследовании практических аспектов реализации методов, изложенных в главе 1, позволяют оценить эффективность указанных методов для решения практических задач построения рейтингов. Предложенный в 3 главе диссертации метод рейтингового оценивания в ходе продолжительной практики решения задач анализа поставщиков в крупной торговой компании зарекомендовал себя как надежный и эффективный инструмент рейтингового оценивания. Упомянутый выше метод является универсальным - он применим в том числе и для анализа потребителей и дистрибьюторов. Высокая актуальность задач рейтингового оценивания потребителей, дистрибьюторов и поставщиков позволяет говорить о том, что полученные в диссертационном исследовании результаты будут востребованы практикующими специалистами в соответствующих областях.

Методы рейтингового оценивания, их дальнейшая разработка и соответствующие модификации - проблема сложная и многогранная. Она требует дальнейших научных исследований и не может ограничиться результатами настоящей диссертации. Следует отметить следующие направления самостоятельных целевых исследований, каждое из которых, вероятно, является темой соответствующей диссертационной работы:

Многоуровневый характер определения рейтинга объекта требует не ограничиваться лишь только его числовыми характеристиками. Необходим подход, позволяющий одновременно учитывать числовые и нечисловые характеристики.

В настоящее время использование методов исследования операций для решения задач рейтингового оценивания потребителей, дистрибьюторов и поставщиков крайне

114 ограничено. Однако как показано в §1. главы 3, задача рейтингового оценивания может быть решена путем сведения ее к одной из типовых задач исследования операций.

Отдельной областью исследований является поиск решений для типовых прикладных задач, носящих локальный характер. В §3. главы 3 показано, как сужение постановки задачи и, как следствие, снижение количества допущений, положительно сказывается на прикладной значимости соответствующих результатов.

Рейтинг представляет собой случайную величину, меняющуюся в том числе и во времени. Одним из направлений перспективных исследований можно рассматривать изучение рейтинга как временного ряда. В данном контексте особую значимость приобретает анализ устойчивости рейтинга (его оценок).

И, наконец, в качестве одного из наиболее сложных, но, в то же время, наиболее значимых направлений можно выделить выбор проблему обоснования выбора наиболее эффективного метода построения рейтинговой оценки.

Публикации

По теме диссертационного исследования сделаны следующие публикации:

1. Беляев М.С. Методы рейтинговых оценок с постоянным участием экспертов. Закономерности развития региональных агропродовольственных систем в переходной экономике. Материалы Всероссийской школы молодых ученых. ИАгП РАН. Саратов 2005.

2. Беляев М.С. Капустин В.Ф. О возможности оптимального варианта рейтингового оценивания. Экономическая наука в начале третьего тысячелетия: история и перспективы развития. Материалы международной научной конференции, посвященной 65-летию ЭФ СПбГУ. 2005.

3. Беляев М.С. Рейтинг социально-экономических объектов: подходы к построению оценок. Социальные и институциональные факторы экономического развития России. Материалы международной научно-практической конференции. Издание СГСЭУ Саратов 2005.

4. Беляев М.С. Алгоритм сведения задачи построения рейтинга к задаче о назначениях. Вестник Саратовского государственного социально-экономического университета 2007 №15(1). Саратов 2007.

Список литературы диссертационного исследования кандидат экономических наук Беляев, Михаил Сергеевич, 2007 год

1. Барсукова И.И. Рейтинг в учебном процессе вуза. М. 1992;

2. Большой толковый социологический словарь. Том 2. М. 1999;

3. Беляев М.С. Капустин В.Ф. О возможности оптимального варианта рейтингового оценивания. Экономическая наука в начале третьего тысячелетия: история и перспективы развития. Материалы международной научной конференции, посвященной 65-летию ЭФ СПбГУ. 2005;

4. Беляев М.С. Рейтинг социально-экономических объектов: подходы к построению оценок. Социальные и институциональные факторы экономического развития России. Материалы международной научно-практической конференции. Издание СГСЭУ Саратов 2005;

5. Волков Ю. Г., Нечипуренко В. Н. Социология. Курс лекций. Ростов-на-Дону. 1999;

6. Гафт М.Г. Принятие решений при многих критериях. М.: Знание. 1979;

7. Горский П.В. Оценка персонала. Математический инструментарий, www.itmc.ru;

8. Кини Р.Л., Райфа Х.М. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981;

9. Клишина Ю.Н. «Применение анализа соответствий в обработке нечисловой информации» www.ecsocman.edu.ru;

10. Колесов Д.Н., Михайлов М.В., Хованов Н.В. Оценка сложных финансово-экономических объектов с использованием системы поддержки принятия решений АСПИД-ЗШ. СПбГУ. 2004;

11. П.Ларичев О.И. Аналитические средства подготовки и принятия решений. http://www.gorskiy.ru;

12. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М.: Физматлит, 1996;

13. Литвак Б.Г. Разработка управленческого решения. М.: Дело 2004;

14. Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996;

15. Миллер М. Магическое число семь плюс минус два. Инженерная психология. М.: Прогресс. 1964;

16. Министерство Финансов РФ. Методические рекомендации по балльной оценке конкурсных заявок и квалификации поставщиков, участвующих в конкурсах на размещение заказов на поставки товаров для государственных нужд. www.procurement.e-management.ru;

17. Новиков М.В. Маркетингово-экономическая модель аттестации поставщиков. www.cfin.ru;

18. Подииовский В.В. Количественная важность критериев. М.Автоматика и телемеханика, №5, 2000;

19. Рейтинговое агентство "Рейтинг-статистика". О различных методиках рейтинга. www.rating-s.ru;

20. Сидоренков М.А. Банковские рейтинги, www.cfin.ru;

21. Федосимова С. Жаров Д. Комплексный анализ эффективности работы с клиентами. Банковское дело в Москве. 2001;

22. Berens J.S. A decision matrix approach to supplier selection. Journal of Retailing. Vol. 47. 1972;

23. Dalinton H. How to pick the best vendor partners for your business. Supply house times, p 53. February 2004;

24. Degraeve Z, Roodhoft P. A mathematical approach for procurement using activty based costing. Journal of business finance and accounting. Vol. 27. 2000;

25. Dickson G.W. An Analysis of Vendor Selection Systems and Decisions. Journal of Purchasing. Vol. 2 1966;

26. Dyer J.S., Fishburn P.C. Multiply criteria decision making, multiattribute utility theory: the next ten years. Management science. Vol. 38. 1992;

27. Kosdrosky T. Chrysler to use ratings, not cuts, to meet price goals for suppliers. Detroit Business. Vol. 18 Issue 42, p23. 2002;

28. MacCrimmon, K.R. An overview of multiple objective decision making. Columbia, South Carolina: The University of South Carolina Press, p. 18-44. 1973;

29. Mandal. A., Deshmukh S.G. Vendor Selection Using Interpretive Structural Modelling. ПОРМ. Vol. 14. 1973;

30. Michael Moore. Rating versus ranking in the Rokeach Value Survey: An Israeli comparison. European Journal of Social Psyhology. Vol 5. pp. 405-408;

31. Ozernoy V.M. Choosing the best multiply criteria decision making method. School of Business and Economics, California State University: Hayward, Hayward: CA 94542;

32. Saaty, T. L. Axiomatic Foundations of the Analytic Hierarchy Process. Management science. Vol. 32, 841-855. 1986;

33. Timmerman E. An approach to vendor perfomance evaluation. Journal of purchasing and materials management. Vol. 1. p2-8. 1986;

34. Weber C.A., Current J.R, Benton W.C. Vendor Selection Criteria and Methods. European Journal of Operational Research, Vol. 50 p.2-18; 1991;