20.10.10 

СРАБАТЫВАЮТ ЛИ ВАШИ МЕТОДЫ ПОДБОРА ПЕРСОНАЛА? ПРОГНОСТИЧЕСКАЯ ВАЛИДНОСТЬ МЕТОДОВ ПОДБОРА.
Часть 2. Обсуждение результатов исследований

Вадим Субботин, директор компании «Антропос-консалтинг»

Какие методы использовать, чтобы подобрать хорошего сотрудника? Почему по опыту работы и уровню образования трудно сделать точный прогноз эффективности будущего сотрудника? Почему не стоит особенно полагаться на отзывы с предыдущих мест работы? Почему возраст и графология дают нулевую точность прогноза?..

В предыдущей статье я привел результаты аналитического обзора исследований предсказательной способности различных методов подбора персонала (так называемой прогностической валидности).

Факты говорят о том, что методы моделирования деятельности, структурированное интервью, тесты интеллекта, тесты профессиональных знаний и навыков, метод оценки прошлых достижений и оценка по результатам прохождения испытательного срока дают наиболее точный прогноз будущей эффективности кандидата на работу.

В тоже время, тесты на просоциальную направленность, биографические опросники и традиционно применяемое неструктурированное интервью дают весьма посредственные по точности предсказания эффективности.

Еще более настораживают и удивляют данные о том, что отзывы с предыдущих мест работы, опыт работы (количество лет), уровень образования, тесты профессиональных интересов вообще очень слабо связаны с качествами соискателя как будущего работника. А значит, использование их в качестве основных методов нецелесообразно.

И уж совсем не имеет смысла полагаться на графологические тесты и строить прогноз успешности соискателя на основе данных о его возрасте.

Легко видеть, что часть приведенных данных противоречит не только интуитивным представлениям, но и многим аспектам общепринятой практики подбора персонала.

Хочу еще раз подчеркнуть, что данным этого исследования можно и нужно доверять: в ходе его были проанализированы результаты всех работ по проблемам прогностической валидности методов подбора персонала с начала и до конца прошлого века. Опровергнуть эти данные на основе собственного опыта, мнений экспертов, друзей, знакомых и просто на основе того, что они не нравятся, невозможно. Только аналогичное по статистическим масштабам исследование может его опровергнуть. Пока никому этого не удалось.

Следовательно, важно понять, во-первых, какие практические рекомендации следуют из приведенных данных, а во-вторых, попытаться найти объяснение парадоксальным (во всяком случае, на первый взгляд) фактам.

Итак – рекомендации. При подборе персонала имеет смысл использовать, в первую очередь, методы моделирования деятельности, структурированное интервью, тесты интеллекта, тесты профессиональных знаний и методы оценки прошлых достижений. Оценка по результатам прохождения испытательного срока в любом случае используется. Основным недостатком этого метода является то, что выводы на его основе можно сделать не через час и даже не через день. А прием на испытательный срок «неправильного» кандидат может дорого обойтись компании.

Вообще говоря, что чем больше методов вы используете, тем прогноз будет более точным. Каждый дополнительный метод, даже если он имеет среднюю валидность, увеличивает совокупную точность прогноза.

Однако использование большого количества методов значительно повышает стоимость подбора, что при относительно массовом найме персонала экономически нецелесообразно. В таких случаях достаточно 2-3-х наиболее валидных методов.

Например, при подборе кандидатов с опытом работы имеет смысл применять методы моделирования деятельности, структурированное интервью и тесты профессиональных знаний и навыков. Если речь идет о соискателях без опыта (вчерашних выпускниках), то наилучшим вариантом будет набор из структурированного интервью, теста на общий интеллект и метод оценки прошлых достижений. Методы моделирования профессиональной деятельности мало пригодны для тестирования выпускников просто в силу отсутствия у них опыта работы. Да и тестирование профзнаний и навыков у выпускников при существующей у нас системе образования тоже вряд стоит использовать.

Теперь – о возможных объяснениях «странных» фактов. Обескураживают данные о низкой прогностической валидности опыта работы, уровня образования и нулевой валидности возраста. Ирония состоит в том, что в описании подавляющего большинства вакансий российского происхождения в качестве основных требований указываются именно эти критерии, например:«... опыт работы от 7 лет, образование высшее (желательно MBA), возраст 27-40 лет». А факты – нравится нам это или не нравится – говорят о том, что эти критерии имеют весьма невысокую предсказательную силу.

Обсудим эти данные. Для понимание зависимости эффективности работы от опыта работы важно рассмотреть следующую информацию. Как показало исследование (Schmidt, Hunter, and Outerbridge, 1986), если мы сравниваем между собой кандидатов с опытом работы в до 5 лет (скажем, у одного опыт 1 год, у другого - 4), то различие между ними по эффективности гораздо больше, чем между теми, кто имеет опыт работы, например, 7 и 10 лет. Разница в стаже такая же (3 года), а различие по эффективности в первом случае относительно ощутимое, во втором - практически отсутствует.

Иначе говоря, первые 5 лет сотрудники год от года заметно наращивают свою эффективность (по всей видимости, за счет приобретения новых знаний и навыков), а позднее прирост эффективности практически сходит на нет. Соответственно, опыт работы в отношении соискателей со стажем до 5 лет является относительно валидным показателем (коэффициент валидности = 0,33), а в отношении соискателей со стажем более 5 лет валидность этого показателя приближается к 0. В среднем же получается, что валидность равна всего 0,18.

В свете приведенных данных при прочих равных условиях не имеет смысла, выбирая, например, из двух кандидатов основывать свой выбор на том, что у одного опыт 10 лет, а другого только 7. Скорее всего, такое различие в опыте мало что скажет нам о различиях в эффективности сотрудников. Другое дело, если речь идет о специалистах с опытом работы 1 и 4 года. В этом случае разница по эффективности будет все-таки существенной.

Теперь о том, почему количество лет обучения (уровень образования) имеет относительно низкую прогностическую валидность. Означает, ли это, что не имеет значения, кого ставить, например, на должность маркетолога: человека, закончившего только школу, или человека, имеющего высшее образование? Конечно, не означает. Дело в том, что коэффициенты валидности рассчитываются отдельно для каждой специальности. Для получения работы по данной специальности обычно требуется определенный минимум образования. Для маркетолога таким минимумом является высшее образование, т. е. 15 лет обучения (10 лет школы и 5 лет ВУЗа). Данные же о низкой валидности уровня образования говорят лишь о том, что не так важно учился человек в совокупности 15 или 18 лет (например, закончил ли он только один ВУЗ или получил кроме этого второе высшее, закончил MBA или аспирантуру). Прирост в эффективности будет мало ощутимым.

Это необходимо учитывать. Не надо гоняться за кандидатами, у которых за плечами значительно больше лет образования, чем это необходимо для работы в данной должности. Кашу, конечно, маслом не испортишь, но (в данном случае) практически не улучшишь. А при выборе кандидатов предпочтительно руководствоваться другими – более валидными - критериями.

Почему прогноз эффективности кандидата на основе его возраста имеет нулевую точность? Наверно, потому что, если соискатель (уже или еще) способен активно двигаться и говорить, а в добавок к этому обладает хорошими профессиональными знаниями и навыками, высоким интеллектом и определенными личностными качествами, возраст действительно имеет значение только в том случае, если вам нужен не эффективный работник, а, например, декоративный элемент офиса.

Достаточно неожиданным является факт низкой валидности профессиональных интересов. Действительно общепринятой точкой зрения является то, что человек с наличием интереса к артистической (художественной) деятельности будет относительно более успешным в сфере художественного творчества, человек с выраженным интересом к предпринимательской деятельности будет хорошим коммерсантом и т. д. Оказывается, что это не совсем так. Связь эффективности деятельности с профессиональными интересами есть, но весьма слабая (всего 0,10).

Почему? Видимо, потому что, помимо интересов есть еще возможности – способности в широком смысле слова: и определенный склад интеллекта, и сочетание личностных особенностей. Интересы и способности далеко не всегда совпадают. Интересы имеют весьма важное значение на этапе выбора профессии. Но и на этой стадии, как показывает мой опыт проведения консультаций по профессиональной ориентации, интересы и способности порой не совпадают. Скажем, у юноши или девушки интересы сосредоточены в сфере предпринимательской деятельности: он(а) хочет быть предпринимателем, коммерческим директором, адвокатом, а способностей у него (нее) больше для конвенционального типа деятельности (бухгалтер, делопроизводитель, ревизор и т. п.) Интересы могут быть сформированы под привходящим (чисто внешним) влиянием окружения: пример любимого родственника, дань моде, подражание старшему сверстнику.

Даже на стадии профориентации важно найти своего рода компромисс: выбрать такую работу, которая даст в совокупности максимальную «интересность» и максимальное соответствие способностям, не говоря уж о максимальном соответствии тому, что диктует рынок. Видимо, постепенно большинство людей осознанно или не очень выходят на такого рода компромисс: занимаются тем, что не противно и что неплохо получается.

А когда человек уже оказался на определенной работе, то профессиональные интересы, если и дают определенную мотивационную подпитку, то, во-первых, она дополняется другими видами мотивации (уровень вознаграждения, перспективы, отношения с сослуживцами и т. д.), а во-вторых, более мощное влияние на эффективность оказывают способности, а не интересы.

Еще один странный, на первый взгляд, факт: низкая валидность отзывов с предыдущих мест работы. Казалось бы, предыдущий работодатель должен достаточно хорошо знать кандидата с точки зрения его деловых качеств, а значит, и оценки этого работодателя должны быть вполне достоверными. Однако в действительности точность оценок невысока.

Я думаю, что дело здесь в следующих факторах. С одной стороны, отзывы работодателя при существующей системе их сбора имеют достаточно общий, недетализированный, а иногда и формальный характер. Чаще всего работодатели дают общую оценку, которую можно передать примерно следующим образом: «вполне нормальный сотрудник, нареканий не было». Крайне редко встречаются прямые негативные отзывы: «нечист на руку, ненадежен». Да и оценки «выше среднего» - тоже редкость. Таким образом, разных по эффективности соискателей работодатели довольно часто оценивают почти одинаково.

С другой стороны, расставание работодателя и наемного работника иногда носит довольно «шероховатый» характер. Один работодатель может сваливать вину за эти шероховатости на соискателя, другой, наоборот, «не судить, дабы не быть судимым»: сглаживать или замалчивать информацию о недостатках соискателя. Поскольку и первый и второй вариант поведения может иметь место по отношению к примерно равноценным соискателям, связь между оценкой работодателя и эффективностью соискателя в значительной степени утрачивается.

Что касается нулевой прогностической валидности графологических тестов, то это предмет отдельного обсуждения. В данном контексте я ограничусь лишь общим объяснением. Определить черты личности на основе анализа почерка до некоторой степени можно, но точность таких оценок весьма невысока (корреляция всего 0,18-0,20).

Но дело в том, что в нашем случае речь идет не просто о диагностике личностных черт по почерку, а о предсказании эффективности деятельности сотрудника по почерку. Большинство личностных черт, выявляемых графологическим анализом, слабо связано с успешностью профессиональной деятельности. Они отражают моторные (двигательные) особенности реагирования, и, в свою очередь, тоже слабо связаны с чертами личности (интеллектом, добросовестностью, склонностью к просоциальному поведению), от которых в значительной степени зависит профессиональная эффективность.

Получается, что при анализе почерка: а) делается вывод (и весьма неточный) о личностных особенностях кандидата; б) на основе этого неточного вывода делается прогноз профессиональной эффективности. Неудивительно, что этот прогноз в итоге имеет нулевую валидность. Если воспользоваться аналогией, то ситуация получается примерно такой, как если бы метеорологи делали прогноз погоды на основе неточных текущих измерений температуры, скорости ветра, влажности, давления и т. д. Т. е. все показатели, которые необходимы им для прогноза, выдавались бы с огромными ошибками: метеорологам сообщили, что температура сегодня +20, а на самом деле может быть и +10, и +30; что скорость ветра 5 км/час, а на самом деле может быть и 1, и 15 км/час. На основе таких неточных измерений невозможно сделать даже минимально точный прогноз.

Сразу хочу предостеречь от одного заблуждения. Может показаться, что предсказательная способность методов подбора персонала всецело зависит от вакансии: скажем, собеседование лучше предсказывает будущую эффективность менеджера по продажам, а тесты профессиональных знаний и навыков – эффективность бухгалтера. Такая точка зрения была господствующей вплоть до 70-х готов прошлого века.

И оказалась ошибочной. Кропотливые статистические исследования показали, что валидность методов подбора очень слабо зависит от того, на какую вакансию вы подбираете персонал. Коэффициенты валидности того или иного метода имеют весьма сходные значения в отношении разных вакансий (Hunter, 1980; Schmidt, Hunter, & Pearlman, 1980). Например, структурированное интервью валиднее неструктурированного и при подборе плотника, и при подборе финансового директора; графология из рук вон плохо предсказывает будущую эффективность и машиниста локомотива, и специалиста по PR. Именно эти данные позволяют выявить наиболее валидные методы подбора персонала на самые разные вакансии.

Литература:

Hunter, J. E. (1980). Validity generalization for 12,000 jobs: An application of synthetic validity and validity generalization to the General Aptitude Test Battery (GATE). Washington, DC: U.S. Department of Labor, Employment Service.

Schmidt, F. L., Hunter, J. E., and Outerbridge, A. N. (1986). The impact of job experience and ability on job knowledge, work sample performance, and supervisory ratings of job performance. Journal of Applied Psychology, 71, 432-439.

Schmidt, F. L., Hunter, J. E., and Pearlman, K. (1980). Task difference and validity of aptitude tests in selection: A red herring. Journal of Applied Psychology, 66, 166-185.

При цитировании данного материала ссылка на автора, компанию «Антропос-консалтинг» и сайт www.antropos.ru обязательны.