Система тестирования: как понять, чего не знают ваши сотрудники?

На стол руководителю

Елена Гореткина
октябрь 2013 г.

Руководителям, заинтересованным в высокой эффективности инвестиций в повышение квалификации персонала будет интересно узнать о том, как потратить деньги только на то обучение, которое действительно нужно компании. Или по-другому - кого и чему учить?

НСР: Обучение сотрудников – задача, с которой сталкивается большинство крупных и быстро растущих компаний. Ее решение давно найдено, описано и снабжено методическими рекомендациями (достаточно упомянуть международный стандарт качества ISO 10015:1999 «Управление качеством. Руководящие указания по обучению»). Тем не менее, руководителям, заинтересованным в высокой эффективности инвестиций в повышение квалификации персонала будет интересно узнать о том, как потратить деньги только на то обучение, которое действительно нужно компании, или по-другому - кого и чему учить?

ЮШ: Для этого, нужно, прежде всего, знать какими компетенциями должны обладать сотрудники, и какими они обладают на самом деле. Сравнивая одно с другим можно выявить пробелы, которые требуется заполнить, в том числе, и с помощью обучения. Кстати, аналогичный подход специалисты могут использовать самостоятельно, чтобы оценить собственные знания и, если необходимо, потратить деньги и время на изучение только необходимых тем.

Для оценки фактического положения дел для каждой организации (специалиста) даже с уникальным набором целевых компетенций можно (и даже нужно!) использовать типовые, проверенные многолетней практикой способы оценки, например, тестирование.

НСР: Возможно, некоторые скептически усмехнулись, но давайте попытаемся разобраться, почему эта форма оценки так часто встречает негативное отношение.

ЮШ: Ответ, который вы, скорее всего, услышите: «Результаты тестов не соответствуют реальным знаниям, оценка необъективна!» К сожалению, часто это утверждение справедливо. Однако задумайтесь – зарубежные системы сертификации основаны именно на этом способе оценки, а сертификатам ИТ-вендоров у нас принято доверять.

Значит, тестирование все-таки позволяет оценивать реальные знания с высокой долей объективности? Да. А репутацию такой проверки дискредитировали некачественные тесты, которых сегодня, к сожалению, слишком много.

НСР: Но если ИТ-вендоры умеют создавать «правильные» тесты, почему другие разработчики этого не делают – неужели это так сложно?

ЮШ: Казалось бы, написать вопросы для оценки, к примеру, умения работать в текстовом редакторе или настраивать протокол TCP/IP – простая задача для ИТ-специалиста. Но если копнуть глубже, всплывают проблемы совсем иного – методологического характера. Как составить вопрос, чтобы избежать неоднозначности трактовки? Как сформулировать варианты ответов, чтобы правильные ответы нельзя было угадать?

Или, обобщая, – как составить тест, который будет максимально объективно оценивать реальные знания сотрудника? Это на самом деле непросто. Приведем пример – намеренно абстрактный, чтобы проиллюстрировать суть, не отвлекаясь на предметную область.

Пусть разработчик составил следующий вопрос, требующий выбора только одного правильного ответа:

В выражении «Сяпала калуша по напушке» объект «калуша» не является:

• Объектом женского пола
• Объектом мужского пола
• Сферической кобылой в вакууме
• Все ответы правильные
• Все ответы неправильные

НСР: Чем плох такой вопрос и такие ответы? Всем.

ЮШ: Этот тест не требует от человека представления о том, что такое или кто такая «калуша», является ли она «кобылой» или нет (в нашем примере является). Он не проверяет реальные знания в исследуемой области  – только внимательность и умение рассуждать логически. Разберемся, почему.

Во время экзамена человек чаще всего нервничает и торопится. Поэтому значительная часть тестируемых НЕ заметит частицу «не» и начнет отвечать на прямо противоположный вопрос. В итоге – ошибка на ровном месте, результат непоказателен.

Более внимательные присмотрятся к вариантам ответов. Очевидно, что раз «калуша» «сяпала», то по нормам русского языка она является объектом женского пола и не может одновременно быть объектом мужского пола. Значит, варианты «Все ответы правильные» и «Все ответы неправильные» отметаются сразу. А раз правильный ответ уже нашелся – второй, – и он для данного вопроса требуется один, то вариант «Сферическая кобыла в вакууме» можно на правильность не анализировать. К тому же, в формулировках неявно заложена подсказка – слово «объект» используется как в вопросе, так и в двух вариантах ответов, а значит, правильным, скорее всего, является один из них.

НСР: Результат – данный тест оценивает совсем не то, что нужно. Как, увы, и многие другие. То есть плоха не сама идея, а ее практическая реализация.

ЮШ: Рассуждая описанным выше образом, можно весьма успешно сдавать тесты, разработчики которых не задумывались о подобных вещах. В «Сетевой Академии» методисты уже давно составили список из полутора десятков требований, соблюдение которых позволяет создавать корректные тесты, с высокой степенью объективности – их невозможно успешно сдать только путем угадывания. В частности, приведенный выше пример не удовлетворяет минимум трем пунктам из этого списка, а значит, в наш реальный тест не попадет.

Корректный пример с учетом всех требований методики нашего учебного центра:

Чем является объект «калуша» в выражении «Сяпала калуша по напушке»?

• Сферической кобылой в вакууме
• Цилиндрической кобылой в вакууме
• Эллипсоидной кобылой в вакууме
• Тороидной кобылой в вакууме

Здесь без знаний о том, в каком облике «калуша» может «сяпать по напушке», на вопрос не ответить. Вероятность угадывания составляет 25%, чего недостаточно для успешной сдачи теста, для которой нужно показать результат обычно не ниже 70%. Ну и сам вопрос теперь сформулирован четко и понятно.

ИТ-вендоры умеют создавать «хорошие» тесты именно потому, что значительное внимание уделяют методике.

НСР: Так что мешает остальным разработчикам делать то же самое?

ЮШ: Варианты ответов (выберите один правильный):

• не владеют методикой разработки тестов или даже не подозревают о ее существовании;
• не желают тратить на это время и деньги («И так сойдет!»);
• считают, что большое количество вопросов статистически компенсирует их низкое качество.

Как вы думаете, этот тест корректен? Он нарушает, как минимум, требование однозначности и непересекаемости ответов.

А теперь серьезно. За последние годы в «Сетевой Академии» по этой методике разработана целая база тестов по разным направлениям ИТ-сферы. Мы используем их для оценки знаний слушателей и при выполнении крупных  проектов по разработке систем обучения ИТ-персонала и квалификационных требований. Зачастую к нам с просьбой оценить их знания обращаются и сами специалисты, стремясь как можно быстрее и с меньшими затратами перейти на следующую ступень профессионального развития, стать более востребованным на рынке. А бывает что и в ответ на претензии руководства: «Ты слишком плохо разбираешься в настройке Active Directory, чтобы повышать тебе зарплату!» Но что значит «разбираться хорошо» при этом объясняют далеко не всегда.

Кстати, в последнем примере руководству тоже не помешали бы конкретные аргументы в виде результатов оценки знаний сотрудников. Недальновидным руководителям – чтобы не повышать зарплату, мудрым – чтобы отправить специалистов на действительно важное и реально нужное компании обучение.

Статья