Вообще-то, я не очень хороший кандидат на роль участника тестирования - несмотря на все странности нашего блога (например, наполовину английский интерфейс), большинство стандартных действий я выполняю "на автомате", и чтобы столкнуться с какой-то проблемой, достойной анализа, приходится придумывать себе неочевидные задачи. "Участник, наверное, не должен быть знаком с продуктом для получения адекватных результатов?" - уточняю я. Татьяна отвечает, что все зависит от задачи: если нужно узнать, как будут реагировать новые пользователи, то и участники подбираются неопытные; а если, скажем, выпускается новая версия популярной программы или сравнивается два дизайна интерфейса, результаты тестирования опытных пользователей покажут, насколько болезненными (или, наоборот, приятными) для них окажутся изменения.
Впрочем, в моем случае за проблемой слишком далеко ходить не пришлось - пытаясь авторизоваться с помощью OpenID через LiveJournal, я достаточно быстро получаю сообщение об ошибке, которое заставляет меня задуматься на несколько секунд. "Что произошло, Илья?" - спрашивает Татьяна, постоянно поддерживающая со мной разговор в процессе тестирования с тем, чтобы я комментировал действия, а не замыкался в себе. (Этот прием называется "проговариванием" и часто используется в подобных тестах.) Возвращаясь на страничку назад (и проклиная разработчиков MSIE, в котором, судя по всему, до сих пор не сохраняются данные, введенные в веб-форму при возврате на страницу), я понимаю, что вместо своего логина в ЖЖ ввел полный путь к журналу. В другой ситуации я бы сказал, что это была моя ошибка (не заметил, что был выбран тип OpenID "LiveJournal account"), но "ошибок пользователя" здесь не бывает.
Справившись с OpenID, я, довольный, добавляю комментарий к собственной записи. Первая задача тестирования решена.
Ряд стульев предназначен для представителей заказчика; обычный телевизор, на который транслируется картинка с видеокамеры - для них же. "Очень хорошо, когда заказчик участвует в процессе тестирования. Часто это производит очень сильное впечатление - говорит Татьяна. - Одно дело - когда в ходе экспертной оценки сообщается о каких-то недостатках в интерфейсе, и совсем другое - когда можно увидеть, какие затруднения испытывают реальные живые люди при работе с программой". По ее словам, однажды после подобного "сеанса" заказчик буквально убежал переделывать интерфейс со словами "Ну, отчет вы, конечно, тоже пришлите, но мы уже свои ошибки и так поняли".
Вмешательство фасилитатора в процесс тестирования должно быть очень аккуратным. С одной стороны, зачастую требуется направить действия пользователя в нужное русло, чтобы получить необходимую информацию (например, если тестируется какой-то конкретный диалог, а пользователь норовит придумать решение поставленной перед ним задачи без использования
этого диалога), с другой, участник тестирования должен обладать достаточной свободой в своих действиях, чтобы ситуация была реалистичной - поэтому явных указаний о том, что делать, не выдается.
После завершения праведных трудов пользователя остается подробная запись всех его действий, уже снабженная пометками и готовая для анализа - она пересматривается, определенные моменты снабжаются дополнительными комментариями и т.д. На "выходе" работы аналитика получается толстый письменный отчет, который можно снабдить видеоприложением - например, вырезав выражение лиц участников, когда те сталкивались с трудностями при совершении какого-то действия - дабы заказчик в буквальном смысле слова посмотрел своим проблемам в лицо. (Пример такого отчета мы надеемся выложить на том же многострадальном inside.computerra.ru.)
"По окончании тестирования участники обычно бывают довольны, - рассказывает Татьяна. - Им приятно чувствовать себе экспертами; обычно люди просят, чтобы мы приглашали их и в следующий раз".
Юрий Романов и Михаил Ваннах не раз писали на страницах "КТ" о квантовых свойствах человеческого сознания: в результате измерения его состояние может измениться. Кажется, юзабилити-специалисты об этом прекрасно осведомлены
ГОЛУБЯТНЯ: Поход в горы
Автор: Сергей ГолубицкийОтправляем в турсун-заде железные мотивы и сосредотачиваемся на мягком материале, ибо скопилось его непристойное множество. Дабы не мусолить разношерстые софтины по отдельности, решил объединить сегодня несколько программ тематически - разыграем сценку "Поход в горы". Вернее, тут и разыгрывать нечего: всю прошлую неделю ежедневно оказывался в ситуации, когда приходилось быстро решать хоть и основополагающие, но элементарные задачи - дефрагментировать диск перед созданием имиджа, получить дистанционный доступ к компьютерам родственников, протестировать стремную программу в виртуальной машине
О программах, способных выполнять с той или иной долей блеска описанные ситуации, я рассказывал в "Голубятнях" тыщу раз, выделяя то одно, то другое достоинство фаворита дня. Оказалось, однако, что в "фаворитизме дня" кроется жуткая трагедия, способная в критичный момент довести до отчаяния. Поясню ситуацию: одно дело - вальяжно и расслабленно тестировать на досуге ту или иную программулину, совсем другое - в авральном порядке быстро и четко выбрать оптимальный вариант, способный эффективно решить проблему. И здесь оказывается, что все эти "фавориты дня" в экстренной ситуации - тот самый "поход в горы" - начинают трещать по швам: либо не справляются с поставленной конкретной задачей, либо неподъемной своей учебной курвой загоняют в тупик, доводя до сенильного не по годам тремора.