[an error occurred while processing the directive]
[an error occurred while processing the directive]

10.2.1 Сбор метрик с применением опросов

(10.2.1.P1)

Одним из эффективных способов получения количественных метрик является проведение опросов удовлетворенности клиента. К примеру, вместо попыток вычисления среднего времени отклика системы Вы можете просто опросить пользователей, насколько они удовлетворены скоростью реакции системы. Такой подход применим и к большинству других "пользовательских" параметров продуктов и результатов проекта любого рода.

Аналогичным образом дело обстоит и с сервисами. Давайте предположим, что Вам необходимо собрать метрики, характеризующие скорость разрешения проблем у клиентов. Для этого Вам могло бы потребоваться фиксировать отметки времени, когда поступил начальный запрос, когда клиент получил первую реакцию, и когда проблема была закрыта. Вместо всего этого, в большинстве случаев, Вам всего лишь достаточно было бы разослать анкеты, в которых спросить Ваших клиентов, насколько те удовлетворены скоростью разрешения проблем.

Опросы, по своей природе, имеют качественный характер, поскольку они отражают чье-то субъективное мнение. В ряде случаев, они не могут заменить точные количественные оценки успеха вашего проекта. В некоторых случаях, также, результат оценки в количественном измерении бывает более просто получить. Например, Вам незачем анкетировать финансовый департамент, чтобы узнать, уложился ли Ваш проект в отведенный бюджет. Вам достаточно узнать одну цифру. В то же время, для многих других типов измерений опрос на основе качественных оценок может стать очень эффективным заменителем точных количественных метрик.

Анкета или опросный лист может состоять из ряда вопросов и пространства для ответов. Они могут сочетать в себе вопросы с "вариантным" выбором ответа, вопросы с численным или балльным ответом и вопросы, предполагающие текстуальный ответ. Если первые два типа вопросов направлены на получение метрик, то текстуальные ответы предоставляют дополнительную информацию для истолкования получаемых численных статистик.

Тщательно сформулированный опрос имеет множество достоинств. Например:

  • Если вы пытаетесь определить, как процесс или организация взаимодействуют с людьми, вероятно, самым лучшим выходом будет опросить самих людей. Получение устных отзывов полезно, но они не предоставят Вам численной информации. Анкетирование предоставит Вам гибкость в оценивании: Вы можете получать и словесные, и численные оценки.
  • Анкетирование - относительно недорогой способ получить обратную связь от множества заинтересованных сторон. К примеру, поставщик может быстро и несложно собрать отзывы от сотен или тысяч заказчиков. Опрос может стать эффективным способом сбора и обобщения идей большого количества людей
  • Оценка по шкале в баллах легко и точно интерпретируется математически. Одним из больших достоинств такого оценивания является возможность легко обобщать множество оценок и получать из них разнообразные статистические данные с помощью простейших вычислений.
  • Рейтинговые оценки позволяют различить "оттенки серого". С помощью опроса Вы можете получить метрики как из набора фиксированных значений, так и по непрерывной шкале.

Конечно же, опрос в качестве метода измерений имеет и ряд слабых сторон. К ним могут относиться следующие:

  • За исключением тех редких случаев, когда Вы можете повлиять на опрашиваемых, Вам, скорее всего, не удастся охватить всю целевую аудиторию, поскольку далеко не все розданные Вами анкеты вернутся заполненными. Чаще всего, результат в 50% заполненных анкет можно считать отличным, хотя и 25% могут предоставить Вам объективную картину. Если Вы соберете слишком мало заполненных анкет, то полученный Вами результат может оказаться неточным и не будет отражать мнение всей опрашиваемой аудитории.
  • Многие, если не большинство анкет бывают некачественными, либо их данные могут оказаться спорными. Связанные с этим проблемы могут быть вызваны:
    • Трудностью изложения ответов на вопросы, возможно из-за оставления недостаточного места в анкетах.
    • Нелогичностью или непоследовательностью шкал оценивания
    • Постановкой тенденциозных вопросов, склоняющих к ответам определенного направления.
    • Предложением выбрать ответ из набора, не охватывающего все возможные варианты.
    • Предложением ответить однозначно на вопрос, за которым содержится два и более ответа (например: удовлетворены ли Вы содержанием, периодичностью и форматом отчета?).

Типичным вопросом, возникающим при планировании опроса является: должны ли опрашиваемые идентифицировать себя или нет. Запрос идентификации, с одной стороны, может облегчить последующее уточнение полученных ответов, чтобы максимально прояснить результат опроса. С другой стороны, это может осложнить обратную связь с респондентами и может выразиться в том, что некоторые из них вообще откажутся отвечать.

Будьте осторожны, предлагая ответить "Да" или "Нет"

(10.2.1.P2)

Некоторые неопытные разработчики опросов полагают, что следует задавать вопросы, требующие ответа "Да" или "Нет". Такие ответы четки, однозначны и легко интерпретируются. Результаты опроса при этом просто обработать, чтобы определить наиболее общие предпочтения.

Проблема столь категоричного выбора ответа состоит в том, что анкетируемый вынужден оценивать все как "белое" или "черное", не оставляя места никаким оттенкам "серого". А в большинстве случаев респонденты имеют мнение гораздо более сложное, чем "Да" или "Нет". Их могут вполне устаривать одни аспекты объекта исследования и не совсем устраивать другие. В такой ситуации бывает трудно решиться выбрать вариант ответа из всего двух предложенных.

Гораздо более правильный подход - задавать вопросы, оставляя возможность ответить на них не столь однозначно. Например, если вы запросите клиента, насколько тот удовлетворен общим прогрессом проекта, то предложите ему выразить ответ по шкале от 0 до 5 (или до 10, если так окажется удобнее). При этом ответ будет более адекватным, поскольку клиент имеет некоторую свободу в отражении степени своей удовлетворенности. В то же время, подобный "балльный" ответ так же легко интерпретируется, обрабатывается и осредняется, чтобы определить общий уровень удовлетворенности.

Планируйте опросы достаточно рано и часто, чтобы успеть реагировать

(10.2.1.P3)

Опрос клиента можно провести и в самом конце проекта: большого, среднего или малого. Такого рода опрос констатирует факт о том, насколько клиент удовлетворен результатами проекта, и насколько они соответствуют его ожиданиям. Изменить что-либо по результатам такого опроса у команды проекта уже не будет возможности. Поэтому для достаточно больших проектов рекомендуется опрашивать клиента настолько часто, чтобы можно было использовать полученную информацию для улучшений работы. По аналогичным соображениям, опрос клиента стоит планировать достаточно заблаговременно.

Наиболее естественным подходом является планировать опрос клиента по достижении основных контрольных точек проекта. Чаще это делать не стоит, поскольку для клиента, как правило, ситуация в проекте между контрольными событиями мало меняется. Он может устать от Ваших опросов и начать отделываться отписками. Поэтому, планируя опросы, ориентируйтесь на здравый смысл и главное назначение сбора метрик - улучшение рабочих процессов.

[Пред. страница - Управляй метриками / Приемы]   [След. страница - Управляй метриками / Краткая справка]