Эмпирические исследования включают научное исследование любого инструмента, техники или метода. Это исследование в основном содержит следующие 4 принципа.
- Выбор метода расследования
- Изложение гипотезы
- Поддержание контроля над переменной
- Делать расследование значимым
Выбор методики расследования
Ключевые компоненты эмпирического исследования в разработке программного обеспечения —
- Опрос
- Тематическое исследование
- Формальный эксперимент
Опрос
Опрос — это ретроспективное исследование ситуации для документирования отношений и результатов. Это всегда делается после того, как событие произошло. Например, в разработке программного обеспечения могут проводиться опросы, чтобы определить, как пользователи реагировали на конкретный метод, инструмент или технику для определения тенденций или отношений.
В этом случае мы не можем контролировать ситуацию под рукой. Мы можем записать ситуацию и сравнить ее с аналогичной.
Тематическое исследование
Это метод исследования, в котором вы определяете ключевые факторы, которые могут повлиять на результат действия, а затем документируете действие: его входные данные, ограничения, ресурсы и выходные данные.
Формальный эксперимент
Это строгое контролируемое расследование деятельности, где ключевые факторы выявляются и управляются для документирования их влияния на результат.
Конкретный метод расследования может быть выбран в соответствии со следующими рекомендациями —
-
Если действие уже произошло, мы можем выполнить опрос или тематическое исследование. Если это еще не произошло, можно выбрать тематическое исследование или формальный эксперимент.
-
Если у нас есть высокий уровень контроля над переменными, которые могут повлиять на результат, то мы можем использовать эксперимент. Если у нас нет контроля над переменной, то предпочтительным методом будет тематическое исследование.
-
Если репликация невозможна на более высоких уровнях, то эксперимент невозможен.
-
Если стоимость репликации низкая, то мы можем рассмотреть эксперимент.
Если действие уже произошло, мы можем выполнить опрос или тематическое исследование. Если это еще не произошло, можно выбрать тематическое исследование или формальный эксперимент.
Если у нас есть высокий уровень контроля над переменными, которые могут повлиять на результат, то мы можем использовать эксперимент. Если у нас нет контроля над переменной, то предпочтительным методом будет тематическое исследование.
Если репликация невозможна на более высоких уровнях, то эксперимент невозможен.
Если стоимость репликации низкая, то мы можем рассмотреть эксперимент.
Изложение гипотезы
Чтобы ускорить принятие решения о конкретной методике расследования, цель исследования должна быть выражена в виде гипотезы, которую мы хотим проверить. Гипотеза — это предварительная теория или предположение, что программист думает, объясняет поведение, которое они хотят исследовать.
Поддержание контроля над переменными
После изложения гипотезы, затем мы должны решить различные переменные, которые влияют на ее истинность, а также степень контроля над ней. Это важно, потому что ключевым различием между экспериментом и тематическими исследованиями является степень контроля над переменной, которая влияет на поведение.
Переменная состояния, которая является фактором, который может характеризовать проект, а также может влиять на результаты оценки, используется для отличия контрольной ситуации от экспериментальной в формальном эксперименте. Если мы не можем отличить контроль от эксперимента, метод изучения конкретного случая будет предпочтительным.
Например, если мы хотим определить, может ли изменение языка программирования повлиять на производительность проекта, тогда этот язык будет переменной состояния. Предположим, что в настоящее время мы используем FORTRAN, который мы хотим заменить на Ada. Тогда FORTRAN будет контрольным языком, а Ada — экспериментальным.
Делать расследование значимым
Результаты эксперимента обычно более обобщаемы, чем тематическое исследование или опрос. Результаты тематического исследования или опроса обычно могут быть применимы только к конкретной организации. Следующие пункты доказывают эффективность этих методов, чтобы ответить на множество вопросов.
Соответствующие теории и общепринятая мудрость
Тематические исследования или опросы могут использоваться для подтверждения эффективности и полезности общепринятых мнений и многих других стандартов, методов или инструментов в одной организации. Тем не менее, формальный эксперимент может исследовать ситуации, в которых претензии в целом верны.
Изучение отношений
Взаимосвязь между различными атрибутами ресурсов и программных продуктов может быть предложена в тематическом исследовании или опросе.
Например, опрос завершенных проектов может выявить, что программное обеспечение, написанное на определенном языке, имеет меньше ошибок, чем программное обеспечение, написанное на других языках.
Понимание и проверка этих отношений имеет важное значение для успеха любых будущих проектов. Каждое из этих отношений может быть выражено в виде гипотезы, и может быть разработан формальный эксперимент для проверки степени их соответствия. Обычно значение одного конкретного атрибута отслеживается путем сохранения или контроля других атрибутов.
Оценка точности моделей
Модели обычно используются для прогнозирования результата деятельности или для руководства использованием метода или инструмента. Это представляет особенно сложную проблему при разработке эксперимента или тематического исследования, потому что их прогнозы часто влияют на результат. Руководители проектов часто превращают прогнозы в цели для завершения. Этот эффект распространен, когда используются модели стоимости и графика.
Некоторые модели, такие как модели надежности, не влияют на результат, так как надежность, измеренная как среднее время до отказа, не может быть оценена, пока программное обеспечение не будет готово для использования в полевых условиях.
Валидационные меры
Существует множество программных мер для захвата значения атрибута. Следовательно, необходимо провести исследование, чтобы проверить, отражает ли данная мера изменения в атрибуте, который она должна фиксировать. Проверка выполняется путем соотнесения одной меры с другой. Вторая мера, которая также является прямой и действительной мерой влияющего фактора, должна использоваться для проверки. Такие меры не всегда доступны или их легко измерить. Кроме того, используемые меры должны соответствовать человеческим представлениям об измеряемом факторе.