В этой статье мы подробно разберем один из основных этапов в развитии компетенций — тестирование. Его целью являются: проведение оценки профессиональных компетенций сотрудников, занимающихся закупочной деятельностью, на соответствие целевой модели компетенций; сравнение текущих результатов с предыдущими; подборка оптимальных опций по развитию и разработка индивидуальных программ развивающих действий.
Автор: Максим Ермолаев, главный эксперт направления методологии закупочной деятельности СИБУР
Поготовка к тестированию начинается с матрицы профессиональных компетенций. Матрица разбита на три основных блока: закупки, запасы и общее. Блок по закупкам содержит компетенции по основным процедурам: «Выбор», «Квалификация», «Управление обязательствами» и прочее. Блок по запасам включает компетенции «Управление движением материалов» и «Управление запасами МТР». В блок «Общее» включены вопросы по общим знаниям в области экономики и о компании в целом. Для каждой компетенции подобран набор индикаторов, которому соответствует минимум один вопрос: например, «Выбор» (компетенция) → «Знает способы выбора контрагентов» (индикатор) → «Какие способы выбора существуют в компании?» (вопрос).
По итогам тестирования в соответствии с матрицей закупщикам присваивается уровень по той или иной компетенции. Всего их пять:
Уровень 0 — полное отсутствие знаний закупочных процессов, документов и алгоритма построения процедур. Тестируемый не располагает устойчивыми знаниями в профессиональной области.
Уровень 1 — общее/базовое знание процессов, документов и алгоритма построения процедур. Тестируемый решает типовые практические задачи, применяет ограниченный круг методов работы и затрудняется их варьировать, применяет прикладные профессиональные знания по аналогии с прежним опытом.
Уровень 2а — тестируемый решает широкий спектр освоенных практических задач. Выбирает способ действий с учетом условий конкретной ситуации. Оперирует теоретическими и прикладными знаниями, хорошо владеет процессами, описанными в регламентах только по своей специализации.
Уровень 2b — тестируемый решает широкий спектр освоенных практических задач. Выбирает способ действий с учетом условий конкретной ситуации. Оперирует теоретическими и прикладными знаниями, отлично владеет процессами, описанными в регламентах не только по своей специализации, но и в смежных областях.
Уровень 3 — способен решать нестандартные, не встречавшиеся ранее профессиональные задачи. Располагает системными знаниями в своей профессиональной области, знаком с различными подходами к ее описанию. Получил знания в процессе основного и дополнительного профессионального образования, тренингов, активного общения с лидерами отрасли, самостоятельного изучения лучших практик. Способен передавать свои знания другим.
Уровни присваиваются на основе Болонской системы оценки знаний, применяемой в высших учебных заведениях Европы и России (в нашей стране одними из первых эту систему начали применять в МГИМО(У) МИД РФ). Ее главным принципом является то, что знания оцениваются на основе процентов, которым соответствуют определенные оценки (в нашем случае это уровни). В связи с тем, что тестирование профессиональных компетенций закупщиков — уникальная процедура не только для определенной компании, но и для России в целом, первые два раза (2013 и 2015 годы) было решено немного смягчить условия оценки, и соотношение процентов и уровней выглядит следующим образом (на примере «Стратегическое управление движением МТР»):
Таблица 1. Распределение процентов по уровням
| Уровень | Проценты |
| Уровень 3 | 85% |
| Уровень 2b | 75% |
| Уровень 2а | 50% |
| Уровень 1 | 25% |
| Уровень 0 | 0% |
Важно отметить, что согласно матрице профессиональных компетенций сотруднику не всегда обязательно получать высший уровень. Например, руководителю необязательно знать все тонкости процесса «Квалификация» или «Выбор поставщика», ему достаточно иметь общие знания, необходимые для принятия решений, в то время как исполнитель обязан знать процедуру досконально и правильно ее проводить. И наоборот, если по «определению стратегических приоритетов» в рамках «Управления категориями» руководитель должен получить наивысший балл, то исполнителю достаточно иметь общие знания по этому процессу.
Кроме того, вопросы назначались сотрудникам в соответствии с профилем их деятельности. Разделение блоков проходило в соответствии с матрицей профессиональных компетенций и областью деятельности сотрудника.
Важнейший этап в подготовке тестирования — составление перечня вопросов и кейсов. Самое сложное здесь — это составить вопросы и кейсы таким образом, чтобы их нельзя было трактовать двояко либо оспорить правильность того или иного варианта ответа. Также не рекомендуется использовать вопросы с открытыми вариантами ответов (во-первых, чтобы уменьшить влияние человеческого фактора при оценке, а во-вторых, информационная система, используемая для проведения тестирования, не может прочитать текст).
За ответ на каждый вопрос определяется максимальный балл, который может набрать сотрудник. Баллы присваиваются в зависимости от степени сложности вопроса.
Далее в системе в вопросах проставляются веса по вариантам ответов. Каждому варианту ответа присваивается балл таким образом, чтобы сумма баллов за все варианты ответов равнялась нулю. Неправильным вариантам ответа присваиваются отрицательные значения.
В данном вопросе пять вариантов ответа: два верных и три неверных. Максимум за вопрос — три балла. Максимальный балл делим на количество правильных ответов, получаем вес, присваиваемый верным вариантам ответа: 3/2=1,5. Таким же образом поступаем с расчетом весов для неверных вариантов: 3/3=1=> (–1).
Максимальный балл за каждый тест складывается из суммы максимальных баллов за каждый вопрос в тесте. В зависимости от количества набранных баллов по итогам тестирования определяется фактический уровень знаний тестируемого, который затем сопоставляется с целевым уровнем.
Для проведения тестирования рекомендуется использовать специальные ИТ-платформы (например, WebTutor), что дает ряд преимуществ: минимизацию влияния человеческого фактора при проведении тестирования и оценке результатов, автоматическую обработку ответов, широкие аналитические возможности, возможность проведения одновременного (включая удаленное) тестирования в различных географиях, формализацию самого процесса тестирования — доступ по специальному коду и ограничение тестирования по времени. В среднем на каждый вопрос выделяется 1–3 минуты, на кейс — до 7–10 минут.
Для дополнительного повышения мотивации к развитию в 2015 году было внедрено ранжирование тестируемых в соответствии с индивидуальным рангом (рассчитывается путем присвоения весов компетенциям в зависимости от их значимости и последующего суммирования произведений весов и значений результатов теста). В результате 20% сотрудников, которые достигли максимальных показателей, получили вознаграждения в денежной форме или дополнительные баллы при расчете премии по итогам работы.
Следует еще отметить важность подготовки самого тестирования. Для уменьшения уровня стресса сотрудников от прохождения тестирования заранее (за неделю) всем вовлеченным в процесс необходимо разослать информационное письмо с датами проведения оценки, а также необходимым перечнем материалов для подготовки (например, калькуляторы, блокноты и прочее). При проведении тестирования необходимо обеспечить стабильное подключение к Интернету, доступность технической поддержки, свежий воздух в помещении, желательно чай и кофе. Перед проведением тестирования необходимо разъяснить его цели, принципы и дальнейшее использование его результатов. В нашей практике во всех географиях, помимо представителей HR, присутствовал представитель организаторов из корпоративного центра, который не только осуществлял контроль, но и мог ответить на вопросы, возникающие в ходе тестирования (сложности работы с системой и прочее).
Нельзя забывать о пилотном тестировании на фокус-группе, которое решает следующие задачи:
- Корректировка формулировок вопросов и вариантов ответов;
- Устранение опечаток;
- Устранение недоработок в графическом отображении вопросов;
- Внесение корректировок в целевые уровни (матрица МПК);
- Внесение корректировок в шкалу уровней;
- Корректировка длительности тестов;
- Определение формы отчетности для выгрузки результатов из системы.
В нашем случае «пилот» состоял из двух частей:
- Тестирование;
- Обсуждение замечаний.
В процессе прохождения тестов сотрудники фиксировали свои замечания, которые затем выносились на совместное обсуждение.
Обсуждение замечаний проходило сразу по завершении прохождения тестов всеми участниками в день тестирования. Все замечания консолидировались в Excel-файле с вопросами тестирования.
Впоследствии файл с замечаниями был вынесен на рассмотрение руководителя направления развития и эксперта по закупкам, по итогам которого были утверждены финальные корректировки, затем внесенные в систему Web Tutor.
Результаты тестирования были сведены в презентацию, которая включает аналитику по следующим аспектам:
- Структура проекта
- Вехи проекта
- Тестирование профессиональных компетенций
- Структура теста
- География тестирования
- Анализ результатов тестирования 2015 года
- Соответствие профилю по предприятиям
- Соответствие профилю по всем должностям предприятий
9. Ранжирование индивидуальных результатов сотрудников:
— Сравнение результатов тестирования 2015 года с результатами 2013 года
— Соответствие профилю по всем предприятиям
— Соответствие профилю по должностям всех предприятий
10. Соответствие профилю по компетенциям
11. Дальнейшие шаги
Рис. 1. Пример слайда презентации с аналитикой «Соответствие профилю по должностям всех предприятий»
Рис. 2. Пример слайда презентации с аналитикой «Соответствие профилю по предприятиям»
Следует отметить, что при правильной организации (и соблюдении периодичности оценки: например, каждые 1,5–2 года) тестирование является наиболее объективным инструментом оценки динамики развития профессиональных компетенций для назначения и дальнейшей корректировки непосредственно развивающих действий.
Источник: журнал «Директор по закупкам»
