Моделирование стоимости разработки проектов в ИТ-компаниях тема диссертации и автореферата по ВАК РФ 08.00.13, кандидат экономических наук Глазова, Мария Александровна

• Глазова, Мария Александровна
• кандидат экономических наук
• 2008

Оглавление диссертации кандидат экономических наук Глазова, Мария Александровна

Введение.

Глава 1. Исследование моделирования оценки стоимости программных проектов.

1.1. История развития моделирования оценки стоимости программных проектов.

1.2. Основные направления оценки стоимости.

1.2.1. Модель SLIM.

1.2.2. Модель Checkpoint.

1.2.3. Модель SEER.

1.2.4. Модель СОСОМО.

1.2.5. Методика Госкомтруда.

1.2.5. Модель Delphi.

1.2.6. Оценка по структуре работ.

1.2.7. Case модель.

1.2.8. Нейронные сети.

1.2.9. Динамические модели.

1.2.9. Регрессионные модели.

1.2.10. Композитные техники.

1.3. Сравнительный анализ методов оценки стоимости.

1.4. Программная реализация моделей оценки стоимости.

1.4.1. SLIM Tools.

1.4.2. KnowledgePlan и Charismatek's Function Point WORKBENCH™ (FPW).

1.4.3. Cost XPert.

1.4.4. Borland CaliberRM.

1.4.5. Другие программные продукты оценки стоимости.

1.5. Сравнительный анализ программных продуктов, предназначенных для оценки стоимости программного проекта.

Выводы по главе 1.

Глава 2. Проектирование системы оценки стоимости программного проекта.

2.1. Задачи, решаемые системой оценки стоимости.

2.2. Описание модели СОСОМО П.

2.2.1. Общее описание модели.

2.2.2. Способы оценки размера программного кода.

2.2.2.1. Объектные точки.

2.2.2.2. Строки кода.

2.2.2.3. Функциональные точки.

2.2.3. Факторы влияния на проект в СОСОМО П и уравнение модели на разных этапах.

2.3. Пути улучшения моделей оценки стоимости.

2.3.1. Разработка новой модели.

2.3.2. Добавление новых факторов в модель.

2.3.3. Калибровка модели.

2.4. Проверка и корректировка модели СОСОМО П.

2.5. Исследование структуры и состава информационных потоков.

2.5.1. Информационная модель.

2.6. Программное обеспечение задачи.

2.6.1. Общие положения (дерево функций и сценарий диалога).

2.6.1.1. Функции подсистемы разграничения доступов.

2.6.1.2. Функции подсистемы хранения и анализа.

2.6.1.3. Функции подсистемы справочников.

2.6.1.4. Функции подсистемы настройки.

2.6.1.5. Функции подсистемы оценки стоимости.

2.6.1.6. Функции подсистемы калибровки.

2.6.1.7. Сценарий диалога системы.

2.6.2. Особенности программного продукта.

Выводы по главе 2.

Глава 3. Практическое применение системы оценки стоимости.

3.1. Пример расчета оценки стоимости программного проекта с помощью моделей

СОСОМО П и COCOMO-PJ.

3.2. Расчет оценки стоимости программного проекта с помощью системы оценки стоимости.

3.3. Расчет экономической эффективности и результаты внедрения проекта.

Выводы по главе 3.

Введение диссертации (часть автореферата) на тему «Моделирование стоимости разработки проектов в ИТ-компаниях»

В эпоху быстро развивающихся информационных технологий, растущего числа высоко бюджетных проектов в области разработки программного обеспечения, очень важным становится умение оценить на ранних этапах возможные выгоды и убытки от проекта, проанализировать возможные сценарии развития событий. Ошибка, недооценка сложностей, с которыми предстоит столкнуться в процессе разработки, переоценка сил команды, просто непринятие в расчет тех или иных факторов, часто приводит к многомиллионным потерям, и даже банкротству компаний. По статистике примерно четверть всех начатых проектов завершается своевременно, четверть отменяется, и около половины всех проектов завершается с превышением бюджетных затрат или с опозданием. Согласно ежегодно публикуемому обзору группы The Standish Group в среднем превышение сроков составляет порядка 120%, а затрат — около 100%. Реальная оценка может быть еще менее оптимистичной, так как у части завершенных с превышением сроков и стоимости проектов оказались частично урезаны функции, описанные в первоначальном проекте.

В таблице 1 [22] приведена информация по наиболее серьезным ошибкам оценки, приведшим к закрытию проектов.

Таблица 1

Ошибки в оценках стоимости проектов

Проект Оценка Статус при завершении

Стоимость, млн. S Трудозатраты, мес.

Первая оценка Итоговая оценка Первая оценка Итоговая оценка

PROMS 12 более 21 22 46 Отменен, 28 месяц

Лондонская медицинская система 1,5 более 6 7 более 17 Отменен, 17 месяц

Лондонская биржа 60-75 150 19 70 Отменен, 36 месяц

Confirm (бронирование путешествий) 56 более 160 45 более 60 Отменен, 48 месяц

FAA 3700 более 7000 48 96 Отменен, 70 месяц

Master Net (банковская система) 22 более 80 9 более 48 Отменен, 48 месяц

Основными причинами ошибок оценки являются фактор неопределенности, особенно на ранних стадиях проекта, плохое управление проектом, создающее дополнительную неопределенность, нестабильные требования, не включение в расчет части задач, излишний оптимизм оценки, наличие субъективизма в оценках, 4 непродуманные и необоснованные оценки, незнание предметной области, упрощение оценки при передаче ее на верхние уровни управления, отсутствие единого механизма оценки стоимости. Последнее является важной проблемой, особенно для крупных предприятий, где количество больших проектов может достигать более сотни в год. Для выполнения корректной оценки требуется высококлассный специалист, которого на предприятии может не быть, или же который не в состоянии оценить затраты по всем проектам Необходимо получить такой инструмент, который бы позволял производить точные оценки даже начинающему менеджеру. Причем для предприятия, использующего современные информационные технологии в своей работе, существенно, чтобы инструмент был частично или полностью автоматизирован.

Первоочередную задачу — получение точных оценок путем несложных расчетов, доступных начинающему менеджеру, позволяет решить механизм построения модели оценки стоимости. Модель оценки стоимости — это математический алгоритм, используемый для того, чтобы оценить стоимость продукта или проекта.

Можно выделить следующие случаи, в которых может потребоваться использование модели оценки стоимости [22]:

• требуется определить, делать ли инвестиции, или принять иные финансовые решения, касающиеся разработки программного продукта;

• необходимо осуществлять процесс контроля за бюджетом и расписанием проекта. Например, могут потребоваться такие оценки: сколько людей требуется привлечь к выполнению проекта на той или иной его стадии, а также сколько денежных и трудовых затрат потребуется, чтобы достигнуть главных целей проекта;

• надо принять решение, чем стоит пожертвовать в данной ситуации -денежными затратами, временем, функциональностью, интерфейсом или качеством. Это важно, например, если надо определиться, что будет дешевле и выгоднее — разработать недорогую или же полнофункциональную, отвечающую всем стандартам качества программную систему;

• если принимаются решения относительно рисков, связанных со стоимостью проекта и графиком работ. Например, когда пользователь не до конца уверен, к чему может привести то или иное решение, он может провести моделирование, и посмотреть на последствия тех или иных изменений в проекте;

• необходимо решить, какую часть программного обеспечения следует разработать, какую — повторно использовать, а какую приобрести у внешнего 5 производителя. Хорошая модель оценки стоимости позволит понять, что будет дешевле — разработать компоненту заново, приобрести ее, или же переработать уже существующую;

• требуется определить, какие части программного обеспечения модифицировать в первую очередь, какие убрать, на разработку каких назначить внешних исполнителей в случае разработки новой версии системы;

• ведется процесс разработки стратегии улучшения процессов внутри организации путем повторного использования кода, более совершенного инструментария для разработки, повышения зрелости процессов. Используя модель оценки, пользователь может оценить, какая стратегия будет максимально эффективной, а какая принесет минимум улучшений при большом количестве затрат.

На данный момент времени существует множество различных моделей оценки стоимости. При выборе, какая модель лучше всего подойдет для нужд конкретного предприятия, важной задачей является выработка списка единых критериев, по которым можно оценить эти модели, провести их сравнительный анализ и выбрать ту, которая наиболее полно и правильно описывает процесс разработки, позволяя получить точные результаты.

Следующей задачей, с которой сталкивается менеджер, отвечающий за оценку стоимости программных проектов на предприятии, является анализ существующего рынка программного обеспечения, которое реализует возможность оценки стоимости проекта. У продуктов следует рассмотреть сильные и слабые стороны, выделить те требования, следуя которым стало бы возможным нахождение программного обеспечения по оценке стоимости, которое бы удовлетворяло бы потребностям предприятия. В том случае, если на рынке отсутствует продукт, удовлетворяющий всем необходимым требованиям, то следует разработать такую систему.

Наконец, выбранные модель и программное обеспечение должны быть проверены на реальных проектах с целью выявления расхождений между теми значениями, которые были получены через модель и программное обеспечение, и фактическими значениями по проекту. На основании полученных результатов можно будет сделать вывод о целесообразности использования в качестве оценки модели стоимости. В случае выявления расхождений необходимо найти механизм по их устранению, возможности по улучшению модели, повышению точности ее оценок.

Полученные результаты позволят улучшить качество результатов работы менеджеров проектов предприятия, делая их оценки обоснованными и максимально приближенными к реальным результатам, уменьшат финансовые потери предприятия.

Данное диссертационное исследование посвящено проблемам выбора модели и программного продукта по оценке стоимости. Рассматриваются пути улучшения точности моделей, разработки программного обеспечения по оценке стоимости.

В первой главе описана история направления моделирования оценки стоимости, приводится классификация методов оценки, краткое описание каждого из них. Проводится сравнительный анализ методов оценки, выявляются характерные черты, сильные и слабые стороны каждого метода, на основании которого делается вывод о наиболее предпочтительных для использования на современных ИТ-предприятиях моделях оценки. Рассматриваются существующие программные продукты по оценке стоимости, проводится их сравнительных анализ, выделяются требования, которым должна отвечать полноценная система оценки стоимости. Поскольку на данный момент не существует программного продукта, отвечающего этим требованиям, принимается решение о разработке такого продукта.

Во второй главе приводится подробное описание выбранной модели оценки стоимости, которая стала основой для разрабатываемой системы оценки — СОСОМО П. Описываются возможные способы оценки размера программного кода - показателя, который используется ■ в модели, факторы влияния на проект в модели СОСОМО П. Рассматриваются возможные пути и алгоритмы улучшения моделей стоимости, процесс доработки модели и ее калибровки под предприятие, проводится сравнительный анализ результатов, полученных до и после улучшения модели. Для нового программного продукта по оценке стоимости проводится построение информационной модели, описываются функции, сценарий диалога, приводится краткое описание внутренней структуры.

В третьей главе исследования работы модели СОСОМО П на фактических данных предприятия. Приводится пример расчета оценки стоимости с помощью модели СОСОМО Л и доработанной модели - COCOMO-PJ. Обосновывается экономическая эффективность проекта, проводится расчет основных ее показателей.

Задачей исследования является изучение предметной области мод ел ир ования оценки стоимости программного проекта, моделей и программных продуктов, предназначенных для оценки стоимости, выявление наиболее полной модели, а также программного продукта, выделение их преимуществ и недостатков, оценка возможности их использования в рамках системы управления проектами, нахождение путей по повышению точности оценок. Если продукта, отвечающего всем требованиям, найдено не будет, необходимо спроектировать и реализовать оригинальный программный продукт на основе наиболее полной модели, который будет отвечать всем современным требованиям к продуктам такого рода.

Заключение диссертации по теме «Математические и инструментальные методы экономики», Глазова, Мария Александровна

Выводы по главе 3

1. Практическое применение модели показало, что наибольшая точность оценок достигается при анализе на этапе пост-архитектуры, наименее точными оценки были на этапе проектирования.

2. По результатам расчета экономической эффективности было определено, что при внедрении проекта системы оценки стоимости на предприятии трудовые затраты уменьшатся в 3,95 раза, а стоимостные затраты уменьшатся в 4,17 раза.

3. Программный продукт был внедрен и успешно используется в ЗАО «Системы автоматизированного управления» для моделирования оценки стоимости. По мере увеличения количества проектов в системе модель будет снова калиброваться и усовершенствоваться (программный продукт позволяет выполнить это достаточно просто), что позволит и дальше повышать точность оценок.

Заключение

В процессе исследования возможностей по оценке стоимости программных проектов была решена задача разработки программного обеспечения, отвечающего всем выделенным требованиям к программного продукту по оценке стоимости, а также определены и проверены пути для улучшения модели СОСОМО П.

В I главе диссертационного исследования была рассмотрена история развития направления оценки стоимости программных проектов, начиная с момента появления первых методик оценки, и заканчивая современными разработками. Модели оценки стоимости были разбиты по направлениям, и для каждого направления были описаны основные особенности, указаны представители, наиболее ярко отражающие черты того или иного направления оценки. На основе проведенного анализа были выделены модели, наиболее полно описывающие процесс разработки, позволяющие точно оценивать стоимость проекта. Для каждой из таких моделей были приведены сильные и слабые стороны, проведен сравнительный анализ возможностей моделей. Следующим этапом стало рассмотрение рынка программных продуктов по оценке стоимости, основанных на ранее проанализированных моделях. Для каждого программного продукта были выделены свои особенности, рассмотрены плюсы и минусы. Кроме того, был проведен анализ других, менее крупных программных продуктов по оценке стоимости, но, тем не менее, оказывающих определенное влияние на рынок программного обеспечения по оценке стоимости. Наконец, на основе всех рассмотренных программ были выделены ряд обязательных требований, которым должен отвечать современное программное обеспечение по оценке стоимости. Кроме того, к этим требованиям был добавлен еще ряд свойств, которые должен иметь продукт, чтобы использоваться на крупном предприятии-разработчике программного обеспечения.

Поскольку программного продукта, полностью отвечающего всем требованиям, на рынке программного обеспечения не оказалось, было принято решение по разработке собственной системы оценки стоимости, которая бы покрывала все поставленные требования.

Во П главе диссертационного исследования были выделены экономическая сущность, цели и задачи исследования. В качестве модели, на основе которой производилась бы оценка внутри программы, была выбрана СОСОМО П как наиболее полно описывающая процесс разработки программного обеспечения, имеющая

145 наибольшее количество необходимых свойств, как это было выяснено при проведении сравнительного анализа моделей. Модель СОСОМО П была подробным образом описана. Были приведены различные способы оценки объема программного средства, алгоритм подсчета. Также были рассмотрены факторы влияния, как части формулы, составляющие оценку стоимости на разных этапах жизненного цикла программного продукта. Наконец, были рассмотрены возможные пути по улучшению моделей оценки стоимости с целью их успешного использования на предприятии.

Был проведен анализ результатов, полученных на основании использовании в системе настроек оригинальной модели СОСОМО П и их сравнение с полученными фактическими данными по проектам. Поскольку точность оценок оказалось недостаточной, модель была улучшена путем добавления новых факторов и проведения калибровки. На основании проверки модели на 40 проектах было определено, что точность оценок, полученных в ходе использования улучшенной модели, в значительной степени улучшилась.

В дальнейшем было проведено исследование информационных потоков на предприятии, касающихся оценки стоимости. Была построена инфологическая модель системы, выделены блоки-подсисгемы, описан порядок помещения данных в систему. Был описан сценарий диалога работы с пользователем, особенности разработанной системы в целом.

В главе Ш диссертационного исследования была рассмотрена практическая значимость системы оценки стоимости. Был приведен пример оценки на разных этапах жизненного цикла, анализа «что если». Результаты были сопоставлены с фактическими оценками стоимости и длительности проекта. Наиболее точной получилась оценка на последней этапе - этапе пост-архитектуры. Далее был приведен пример работы непосредственно с системой оценки стоимости. В завершение был проведен анализ экономической эффективности от внедрения системы оценки стоимости на предприятии. Результаты показали, что проект окупится за весьма короткое время, и что он значительным образом позволит уменьшить затраты предприятия в области разработки программных проектов.

Поставленные задачи были успешно реализованы в программном продукте.

В качестве дальнейших путей по исследованию направления оценки стоимости можно выделить следующие:

• углубление изучения разных вариантов калибровки СОСОМО П с целью нахождения наиболее удачного, расширение механизма определения точности оценок путем введения новых показателей;

• проведение калибровки и проверки точности модели COCOMO-PJ для этапа раннего проектирования;

• более подробное исследование модели СОСОМО П, возможностей ее видоизменения, добавления новых факторов, отражающих особенности управления программными проектами в российских компаниях, анализ влияния различных факторов на длительность и стоимость проекта.

В качестве путей дальнейшего развития разработанного программного продукта можно выделить следующие:

• расширение возможностей представления отчетной информации по историческим данным проектов, в различных срезах для анализа тенденций;

• расширение возможности по интеграции с другими программными продуктами оценки стоимости и управления программными проектами;

• расширение возможностей калибровки на основе межотраслевых данных по проектам, а не только на основе данных, хранимых на предприятии;

• создание механизмов для хранения шаблонов анализа с целью ускорения проведения, например анализа «что если», запуска определенного перечня сценариев для оценки возможного развития событий;

• создание веб-интерфейса системы с целью получения возможности удаленного доступа к базе даже в случае низкой скорости обмена данными.

Список литературы диссертационного исследования кандидат экономических наук Глазова, Мария Александровна, 2008 год

1. Бадцин К.В., Воробьев С.Н., Уткин В.Б. Управленческие решения: Учебник. 5-е изд. -М.: Издательско-торговая корпорация «Дашков и К», 2008. —496 с.

2. Благодатских В.А. и др. Стандартизация разработки программных средств: Учеб. пособие /Под ред. О.С. Разумова. М.: Финансы и статистика, 2003. - 288 с.

3. Верзух, Эрик. Управление проектами: ускоренный курс по программе MB А.: Пер. с англ. -М.: ООО «И.Д.Вштьямс», 2007.-480 с.

4. Доугерти К. Введение в эконометрику: Пер. с англ. М.: ИНФРА-М, 1999. - 402 с.

5. Дуброва Т.А., Павлов Д.Э., Ткачев О.В. Корреляционно-регрессионный анализ в системе STATISTICA Учебное пособие/ Московский государственный университет экономики, статистики и информатики. — М., 1999.

6. Магнус Я.Р., Катышев П.К., Пересецкий АА. Эконометрика, Начальный курс: Учеб. 6 изд., перераб. И доп. - М.: Дело, 2004. - 576 с.

7. Макконнелл С. Сколько стоит программный проект. М.: «Русская Редакция», Спб.: Питер, 2007. - 297 с.

8. Математические основы управления проектами: Учебн. Пособие/С.А.Баркалов, В.И. Воропаев, Г.И. Секлетова и др. Под ред. В.Н.Буркова. -М.: Высш. Шк., 2005. 423 с.

9. Минашкин В.Г., Гусынин А.Б., Садовникова Н.А., Шмойлова Р.А. Курс лекций по теории статистики./ Московский государственный университет экономики, статистики и информатики. — М., 2000. — 187 с.

10. Ньюэлл М. Управление программными проектами для профессионалов. Руководство по подготовке к сдаче сертификационного экзамена / Пер. с англ. -М.: КУДИЦ-ОБРАЗ, 2006. 416 с.

11. Орлов С. Технологии разработки программного обеспечения. Учебное пособие. 2-е изд. Спб.: Питер, 2003. -480 с.

12. Просветов Г.И. Прогнозирование и планирование: задачи и решения: Учебно-практическое пособие. 2-е изд., доп. — М.: Издательство «Альфа-Пресс», 2008. -296 с.

13. Руководство к своду данных по управлению проектами. Третье издание (Руководство РМВОК) Project Management Institute, 2004.

14. Смирнова Г.Н. и др. Проектирование экономических информационных систем: Учебник; Под ред. Ю.Ф.Тельнова. -М.: Финансы и статистика, 2001. 512 с.

15. Троцкий М., Б.Груча, К.Огонек. Управление проектами. М.: Финансы и статистика, 2006. — 304 с.

16. Фредерик П. Брукс. Мифический человеко-месяц или как создаются программные системы. — Addison-Wesley publishing company, 1975.

17. Хорин Г. Моя первая книга об управлении проектами / Пер. с англ. М.: Эксмо, 2006. - 304 с.

18. Шафер Д., Фатрелл Р., Шафер JI. Управление программными проектами: достижение оптимального качества при минимуме затрат: Пер. с англ. — М.: Издательский дом «Вильяме», 2003. — 1136 с.

19. Эконометрика: учебник/ И.И. Елисеева, С.В. Курышева, Т.В. Костеева и др.; под ред. Елисеевой. 2-е изд., перераб. и доп. — М.: Финансы и статистика, 2007. — 576 с.

20. Экономика, разработка и использование программного обеспечения ЭВМ: Учебник/ В.А. Благодатских, М.А. Енгибарян, Е.В. Ковалевская, Ю.Н. Патрикеев, Е.В. Селиванова; -М.: Финансы и статистика, 1995.

21. Andrew Stellman, Jennifer Greene. Applied Software Project management. O'Reilly,2005.

22. Barry W. Boehm. Software cost estimation with СОСОМО П. Prentice Hall PTR, 2000.

23. Nelson E.A. Management handbook for the estimation of computer programming costs. System development corporation, California, 1967.

24. Paul Goodman. Software Metrics: Best Practices for Successful IT Management. -Rothstein Associates Inc., Publisher, Brookfield, 2004.

25. Putnam, L., Myers, W. Measures for Excellence, Yourdon Press Computing Series, 1992.

26. Shari Lawrence Pfleeger, Felcia Wu, Rosalind Lewis. Software cost estimation and sizing methods: issues and guidelines. Rand corporation, 2005.

27. Типовые нормы времени на программирование задач для ЭВМ (утв. постановлением Госкомтруда СССР, секретариата ВЦПС от 27.07.1987 №454/2270): по состоянию на 12 октября 2006 г.

28. Колдовский В. Разработка ПО: инструментарий для получения оценок // Компьютерное обозрение, 2006, №20(588).

29. Колдовский В. Разработка ПО: метрики программных проектов // Компьютерное обозрение, 2007, №13(581).

30. Колдовский В. Разработка ПО: оценка результата // Компьютерное обозрение,2006, №12(553).

31. Abdel-Hamid and Stuart Madnick. Software Project Dynamics. Englewood Cliffs, NJ, Prentice Hall, 1991.

32. Albrecht A.J. Measuring application development productivity // ШМ Applications develop. Symp. САД979.

33. Barry W. Boehm, Dr. Ellis Horowits, Dr. Raymond Madachy Chris Abts. Future trends, Implications in cost estimation models // CrossTalk: the journal of Defense Software Engineering, April 2000. http://\vwvv stsc.hill.af.mil

34. Barry W. Boehm, Ricardo Valerdi, Jo Ann Lane, A. Winsor Brown. СОСОМО Suite methodology and evolution // CrossTalk: the journal of Defense Software Engineering, April 2005.

35. Barry W. Boehm, Richard E. Fairley. Software Estimation Perspectives // IEEE SOFTWARE magazine. November/December, 2000.

36. Benyahia, Hadj. Costs and productivity estimation in computer engineering economics // Engineering Economist, The. Spring 1996

37. Capers Jones. Feature Points (Function Point Logic for Real Time and System Software) // IFPUG Fall 1988 Conference. Montreal, QuEbec, 1988.

38. Capers Jones. Software Cost Estimating methods for large projects // CrossTalk: the journal of Defense Software Engineering, April 2005.

39. Chris F. Kemerer. An Empirical Validation of Software Cost Estimation Models // Communications of the ACM magazine //May 1987, Volume 30 Number 5.

40. David Garmus, David Herron. Estimating software earlier and more accurately // CrossTalk: the journal of Defense Software Engineering, June 2002.

41. Donald J.Reifer. Estimating Web Development Costs: there are differences // CrossTalk: the journal of Defense Software Engineering, June 2002.

42. Dr. Richard D. Stutzke. Software Estimation: Challenges and Research // CrossTalk: the journal of Defense Software Engineering, April 2000.

43. Forrester J. W. Industrial Dynamics. Cambridge, MA, MIT Press, 1961.

44. Gray Andrew R., Stephen G. MacDonnell. A Comparison of Techniques for Developing Predictive Models for Software Metrics // Information and Software Technology 39, 1997.

45. Jensen R.W. A Comparison of the Jensen and СОСОМО Schedule and Cost // Proceedings of the International Society of Parametric Analysts, April 1983.

46. Joanne Hale, Allen Parrish, Brandon Dixon, Randy K. Smith. Enhancing the Cocomo Estimation Models // IEEE SOFTWARE, November/December 2000.

47. Joe Schofield. The statistically unreliable nature of lines of code // CrossTalk: the journal of Defense Software Engineering, April 2005.

48. Lawrence H.Putnam, Douglas T.Putnam, Douglas M.Beckett. A method for improving developers' software size estimates // CrossTalk: the journal of Defense Software Engineering, April 2005.

49. Lee Fischman, Karen McRitchie, Daniel D.Galorath. Inside SEER-SEM // CrossTalk: the journal of Defense Software Engineering, April 2005.

50. Park. R The Central Equations of the PRICE Software Cost Model // 4th СОСОМО Users' Group Meeting. 1988.

51. Shepperd M., SchofieId.C. Estimating Software Project Effort Using Analogies // IEEE Transactions on Software Engineering, Vol. 23, No. 11, November 1997.

52. Symons C.R Function Points Analysis: Difficulties and Improvements // IEEE Transactions on Software Engineering, 1988, №1.

53. Tim Menzies, Dan Port, Zhihao Chen, Jairus Hihn, Sherry Stukes. Validation Methods for Calibrating Software Effort Models // Communications of the ACM magazine, 2005.

54. Tim Menzies, Dan Port, Zhihao Chen, Jairus Hihn. Simple Software Cost Analysis: Safe or Unsafe?//Communications of the ACM magazine, 2005. ' ' '

55. Tim Menzies, Zhihao Chen, Jairus Hihn, Karen Lum. Selecting best practices for effort estimation // transactions on software engineering, November 2006.

56. William Roetzheim. Estimating and managing project scope for new development // CrossTalk: the journal of Defense Software Engineering, April 2005.

57. Wolverton RW. The Cost of Developing Large-Scale Software. // IEEE Transactions on Computers, 1974, №6.

58. Зубинский А. На старт! Внимание! И? http://itc.ua/article.plitml?ID=21814&lD\v=33&pid=52

59. Михайловский Н.Э. Сравнение методов оценки стоимости проектов по разработке информационных систем.http./Avvv\v.cfin.ru/management/practice/supremuni2002/15.shtml

60. Серенко М. Оценка длительности разработки программного обеспечения http://dev.net.ua

61. Baldassarre M.T., D.Caviano, G.VIssagio. Software Renewal Projects Estimation Using Dynamic Calibration . Dipartimento di Informatica,Universita di Ban, Italy.

62. Barry W. Boehm, Chris Abts. Cocomo П .Model Definition Manual http.y/siinset.mc.edu/research/COCOMOir

63. Barry W. Boehm, Chris Abts, Sunita Chulani. Software Development Cost Estimation Approaches A Survey. - University of Southern California, IBM Research. http://sunset usc.edu/publications/TECHRPTS/2000/usccse2000-505/usccse2000-505 pdf

64. Barry W. Boehm. USC Cocomo П Reference manual. University of Southern California, 1999.

65. Barry W. Boehm. Safe and Simple Software Cost Analysis. Center for Software Engineering Computer Science Department University of Southern California, 1998. http://sunset.usc edu/research/COCOMOlI

66. Bernstein L. Strategic Evolution of ESE Data Systems (SEEDS) Survey of Cost Estimation Tool, 2001. http://guinness.cs.stcvcns-tcch.edu/~lbernste/papers/CostEstimationToo1s doc

67. Bradford K. Clark. The Effects of software process maturity on software development effort: dissertation. Faculty of the graduate school University of Southern California, i 1997.

68. Capers Jones. How estimation tools work. Software Productivity research LLC, 2005 http//www.compaid.com/caiinternct/ezine/capers-estimation.pdf

69. Capers Jones. Programming languages table, Release 8.2. Software Productivity Research, Inc. 1996.

70. Capers Jones. Software Estimating rules of thumb. — 2007. http^/www.itmpi.org/default.aspx^pageid^ 197

71. Darko Milicic. Applying COCOMO П: A case study. School of Engineering Blekinge Institute of Technology, Sweden. 2004.

72. Elena Paslaru Bontas, Malgorzata Mochol. Ontology Engineering Cost Estimation with ONTOCOM. Technical report. AG Netzbasierte Informationssysteme. March, 2006.

73. Elena Paslaru, Bontas Simperl, Christoph Tempich, York Sure. ONTOCOM: A Cost Estimation Model for Ontology Engineering. Free University of Berlin, Institute AIFB, University of Karlsruhe. 2006.

74. Gina Kingston, Martin Burke. iMAPS: A Review of Software Sizing for cost estimation.- Department of Defense. Defense Science and technology organization, Australia. DSTO Electronics and Surveillance Laboratory, 1996.

75. Kathleen Peters. Software project estimation . Simon Fraser University, Canada, 1998.

76. Kostas Kavoussanakis, Terry Sloan. UKHEC Report on software estimation. The University of Edinburgh. httpV/www.cpcc.cd.ac.uk/

77. Lawrence H.Putnam. A Throughput measurement procedure using SLIM. Quantitive Software management Inc., 1994.

78. Magne J0rgensen, Martin Shepperd. A Systematic Review of Software Development Cost Estimation Studies. Simula Research Laboratory, Brunei University.

79. Martin Shepperd. Software project economics: a roadmap. School of Information Systems, Computing & Maths Brunei UniversityUxbridge, West London.

80. Mauricio А. СОСОМО П Local Calibration Using Function Points. TI Metricas. 2005.

81. Randy K. Smith, Joanne E. Hale, Member, Allen S. Parrish. An Empirical Study Using Task Assignment Patterns to Improve the Accuracy of Software Effort Estimation. -IEEE, 1998.

82. Ricardo Valerdi. Pioneers of Parametrics. МГГ.

83. Richard D. Stutzke. Software Estimating Technology: A Survey. Science Applications International Corp.

84. Roberto Meli. Risks, requirements and estimation of the software project ESCOM-Scope.- 1999. httpy/www.compaid.com/caiinternet/ezine/Meli-estimation.pdf

85. Sunita Chulani, Barry Boehm, Bert Steece, Henry Salvatori. Calibrating Software Cost Models Using Bayesian Analysis. Center for Software Engineering, University of Southern California, 1998.

86. Sunita Chulani, Brad Clark, Barry Boehm. Calibrating the СОСОМО П Post-Architecture Model. Center for Software Engineering, University of Southern California, 1998.

87. Sunita Devnani-Chulani, Brad Clark, Barry Boehm, Bert Steece. Calibration Approach and Results of the СОСОМО П Post-Architecture Model Center for Software Engineering, University of Southern California, 1998.

88. Sunita Devnani-Chulani. Bayesian Analysis of software cost and quality models: dissertation work. Faculty of the graduate school university of southern California, 1999.

89. Sunita Devnani-Chulani. Incorporating Bayesian Analysis to Improve the Accuracy of СОСОМО П and its Quality Model Extension. University of Southern California Center for Software Engineering Computer Science Department, 1998.

90. Symons C.R. Software Sizing and Estimating Mk П Function Point Analysis. John Wiley & Sons, 1991.

91. Tamara Daly, Dunstan Thomas. Consulting Borland Caliber RM now does estimating . nttpV/consultinir.dthomas.co.ui:

92. Tilmann Hampp. A Model of Costs and Benefits of Reviews. Universitat Stuttgart, Institut fur Softwaretechnologi, 2007.

93. Wittig, G. Estimating Software Development Effort with Connectionist Models. -Monash University, 1995.

94. АСЕГГ Overview. Automating the estimating environment. http:/Avww aceit com

95. Arc statistical software. httpV/www.stat.umn.edu/arc/sofrvvare.htmi

96. Borland Caliber RM: QuickStart Service. — Borland, 2005. htto://vvwvv.borland.com

97. Caliber Programmer Guide. Borland, 2005. http-//www.borland.com

98. Caliber RM: Tutorial. Borland, 2005. http://www.borland com

99. IFPUG. Frequently asked questions. http7Avww.ifpug.org/about/faqs htm