Система тестирования: как понять, чего не знают ваши сотрудники?
Система тестирования: как понять, чего не знают ваши сотрудники?
На стол руководителю
Елена Гореткина
октябрь 2013 г.
Руководителям, заинтересованным в высокой эффективности инвестиций в повышение квалификации персонала будет интересно узнать о том, как потратить деньги только на то обучение, которое действительно нужно компании. Или по-другому - кого и чему учить?
НСР: Обучение сотрудников – задача, с которой сталкивается большинство крупных и быстро растущих компаний. Ее решение давно найдено, описано и снабжено методическими рекомендациями (достаточно упомянуть международный стандарт качества ISO 10015:1999 «Управление качеством. Руководящие указания по обучению»). Тем не менее, руководителям, заинтересованным в высокой эффективности инвестиций в повышение квалификации персонала будет интересно узнать о том, как потратить деньги только на то обучение, которое действительно нужно компании, или по-другому - кого и чему учить?
ЮШ: Для этого, нужно, прежде всего, знать какими компетенциями должны обладать сотрудники, и какими они обладают на самом деле. Сравнивая одно с другим можно выявить пробелы, которые требуется заполнить, в том числе, и с помощью обучения. Кстати, аналогичный подход специалисты могут использовать самостоятельно, чтобы оценить собственные знания и, если необходимо, потратить деньги и время на изучение только необходимых тем.
Для оценки фактического положения дел для каждой организации (специалиста) даже с уникальным набором целевых компетенций можно (и даже нужно!) использовать типовые, проверенные многолетней практикой способы оценки, например, тестирование.
НСР: Возможно, некоторые скептически усмехнулись, но давайте попытаемся разобраться, почему эта форма оценки так часто встречает негативное отношение.
ЮШ: Ответ, который вы, скорее всего, услышите: «Результаты тестов не соответствуют реальным знаниям, оценка необъективна!» К сожалению, часто это утверждение справедливо. Однако задумайтесь – зарубежные системы сертификации основаны именно на этом способе оценки, а сертификатам ИТ-вендоров у нас принято доверять.
Значит, тестирование все-таки позволяет оценивать реальные знания с высокой долей объективности? Да. А репутацию такой проверки дискредитировали некачественные тесты, которых сегодня, к сожалению, слишком много.
НСР: Но если ИТ-вендоры умеют создавать «правильные» тесты, почему другие разработчики этого не делают – неужели это так сложно?
ЮШ: Казалось бы, написать вопросы для оценки, к примеру, умения работать в текстовом редакторе или настраивать протокол TCP/IP – простая задача для ИТ-специалиста. Но если копнуть глубже, всплывают проблемы совсем иного – методологического характера. Как составить вопрос, чтобы избежать неоднозначности трактовки? Как сформулировать варианты ответов, чтобы правильные ответы нельзя было угадать?
Или, обобщая, – как составить тест, который будет максимально объективно оценивать реальные знания сотрудника? Это на самом деле непросто. Приведем пример – намеренно абстрактный, чтобы проиллюстрировать суть, не отвлекаясь на предметную область.
Пусть разработчик составил следующий вопрос, требующий выбора только одного правильного ответа:
В выражении «Сяпала калуша по напушке» объект «калуша» не является:
- Объектом женского пола
- Объектом мужского пола
- Сферической кобылой в вакууме
- Все ответы правильные
- Все ответы неправильные
НСР: Чем плох такой вопрос и такие ответы? Всем.
ЮШ: Этот тест не требует от человека представления о том, что такое или кто такая «калуша», является ли она «кобылой» или нет (в нашем примере является). Он не проверяет реальные знания в исследуемой области – только внимательность и умение рассуждать логически. Разберемся, почему.
Во время экзамена человек чаще всего нервничает и торопится. Поэтому значительная часть тестируемых НЕ заметит частицу «не» и начнет отвечать на прямо противоположный вопрос. В итоге – ошибка на ровном месте, результат непоказателен.
Более внимательные присмотрятся к вариантам ответов. Очевидно, что раз «калуша» «сяпала», то по нормам русского языка она является объектом женского пола и не может одновременно быть объектом мужского пола. Значит, варианты «Все ответы правильные» и «Все ответы неправильные» отметаются сразу. А раз правильный ответ уже нашелся – второй, – и он для данного вопроса требуется один, то вариант «Сферическая кобыла в вакууме» можно на правильность не анализировать. К тому же, в формулировках неявно заложена подсказка – слово «объект» используется как в вопросе, так и в двух вариантах ответов, а значит, правильным, скорее всего, является один из них.
НСР: Результат – данный тест оценивает совсем не то, что нужно. Как, увы, и многие другие. То есть плоха не сама идея, а ее практическая реализация.
ЮШ: Рассуждая описанным выше образом, можно весьма успешно сдавать тесты, разработчики которых не задумывались о подобных вещах. В «Сетевой Академии» методисты уже давно составили список из полутора десятков требований, соблюдение которых позволяет создавать корректные тесты, с высокой степенью объективности – их невозможно успешно сдать только путем угадывания. В частности, приведенный выше пример не удовлетворяет минимум трем пунктам из этого списка, а значит, в наш реальный тест не попадет.
Корректный пример с учетом всех требований методики нашего учебного центра:
Чем является объект «калуша» в выражении «Сяпала калуша по напушке»?
- Сферической кобылой в вакууме
- Цилиндрической кобылой в вакууме
- Эллипсоидной кобылой в вакууме
- Тороидной кобылой в вакууме
Здесь без знаний о том, в каком облике «калуша» может «сяпать по напушке», на вопрос не ответить. Вероятность угадывания составляет 25%, чего недостаточно для успешной сдачи теста, для которой нужно показать результат обычно не ниже 70%. Ну и сам вопрос теперь сформулирован четко и понятно.
ИТ-вендоры умеют создавать «хорошие» тесты именно потому, что значительное внимание уделяют методике.
НСР: Так что мешает остальным разработчикам делать то же самое?
ЮШ: Варианты ответов (выберите один правильный):
- не владеют методикой разработки тестов или даже не подозревают о ее существовании;
- не желают тратить на это время и деньги («И так сойдет!»);
- считают, что большое количество вопросов статистически компенсирует их низкое качество.
Как вы думаете, этот тест корректен? Он нарушает, как минимум, требование однозначности и непересекаемости ответов.
А теперь серьезно. За последние годы в «Сетевой Академии» по этой методике разработана целая база тестов по разным направлениям ИТ-сферы. Мы используем их для оценки знаний слушателей и при выполнении крупных проектов по разработке систем обучения ИТ-персонала и квалификационных требований. Зачастую к нам с просьбой оценить их знания обращаются и сами специалисты, стремясь как можно быстрее и с меньшими затратами перейти на следующую ступень профессионального развития, стать более востребованным на рынке. А бывает что и в ответ на претензии руководства: «Ты слишком плохо разбираешься в настройке Active Directory, чтобы повышать тебе зарплату!» Но что значит «разбираться хорошо» при этом объясняют далеко не всегда.
Кстати, в последнем примере руководству тоже не помешали бы конкретные аргументы в виде результатов оценки знаний сотрудников. Недальновидным руководителям – чтобы не повышать зарплату, мудрым – чтобы отправить специалистов на действительно важное и реально нужное компании обучение.