калибровочные сессии что это
Пошаговое руководство проведения оценки эффективности работы сотрудников в Google
Оценка эффективности – критически важная часть управления любым бизнесом, но зачастую эти процессы лишь отнимают время и не демонстрируют эффективности сами по себе.
Чтобы помочь в решении этой проблемы, в начале 2000-ых компания Google приступила к применению инновационной внутренней системы оценивания, известной как «цели и ключевые результаты», или ЦКР.
Сотрудники устанавливают себе цель и описывают ряд количественных результатов, которые помогут им достигнуть этой цели. Генеральный директор Google делает то же самое для всей компании.
ЦКР – первый шаг в процессе управления эффективностью в Google, который остался неизменным с момента публикации Лазло Боком в 2015 году своей книги, рассказали представители компании.
В книге «Work Rules!» бывший вице-президент по работе с персоналом Google рассказал о процессе управления эффективностью и о нескольких его ключевых компонентах.
Измерение эффективности
Сотрудники Google оцениваются своими менеджерами по пятибалльной шкале от «требует улучшений» до «превосходно».
Получение обратной связи от коллеги
Сотрудники Google и их менеджеры выбирают группу коллег-рецензентов, которые включают в себя и тех сотрудников, которые младше их по рангу.
Коллег-рецензентов просят заполнить опросник о человеке, оценку которого они проводят, интересуясь тем, что ему следует делать больше, а также тем, какую одну вещь этот сотрудник мог быть делать иначе, чтобы оказывать большее влияние на компанию.
Калибровка
Группа менеджеров встречается и совместно просматривает предварительные рейтинги. Этот процесс создан для минимизации предубеждений со стороны менеджеров, потому что так им необходимо объяснять свои решения друг другу.
В начале совещания менеджерам предоставляется краткая сводка со списком предубеждений, вроде эффекта новизны, который описывает склонность диспропорционально оценивать сотрудников по их последним действиям.
Держа эти когнитивные ошибки в уме, они согласовывают финальные рейтинги сотрудников.
Разделение ежегодной оценки и зарплатных обсуждений
В Google ежегодная оценка происходит в ноябре, а зарплата обсуждается через месяц.
Это сделано в надежде на то, что сотрудники захотят стать лучше ради большего вклада в работу компании – не потому что они мотивированы перспективой более высокой зарплаты.
В конечном итоге, Бок утверждает, что сотрудники хотят быть оценёнными, потому что они хотят развиваться и рано или поздно стать лучшими в своей работе. И лишь работодатель может продемонстрировать им, как они могут достичь этой цели.
Отдел контроля качества в колл-центре
Департамент контроля качества (далее ОКК) – это автономная служба внутри контакт-центра. Главной задачей ОКК является контроль работы определённых проектов на соответствие требованиям заказчика и внутренних правил колл центра.
Анализ качества работы, полученный независимо от руководителей, дает возможность избежать предвзятости при оценке операторов.
Сотрудники отдела качества колл центра не связаны на прямую с операторами, и исходя из их оценок, тимлидеры и менеджеры получают сведения,на основании которых строят выводы и отчетность внутри колл центра.
Схематически, контроль качества выглядит так:
Кроме того, в обязанности супервайзера также входит контроль работы операторов, а именно прослушивание звонков.
В случае если в вашем контакт центре отсутствует служба контроля, вы можете столкнуться с тем, что результаты прослушивания анализируются по-разному.
Для этого существует несколько причин:
-отсутствие унифицированной схемы контроля качества;
-у руководителей нет времени для контролирования;
-появление сложностей во время выбора критериев оценки качества.
Таким образом, если удаленный call center не имеет общей системы оценки, он не можете совершенствоваться и идти вперед, так как не имеете понятия, на каком уровне находитесь сейчас. Для качественного контроля необходима собственная шкала оценок. Приобретя навыки измерения качества, Вы сможете его настраивать, мониторить и улучшать.
Новые сотрудники службы контроля. Обучение.
Контроль качества звонков в колл центре будет эффективным, а оценивание объективным, если прослушивание звонков будет осуществлять специалист. Для обучения, специалистам также необходимы ресурсы, тренинги и профессиональные навыки.
Специалист ОКК колл центра должен проводить половину своего времени на линии. Зачем это нужно?
-Для сохранения профессиональных навыков, а также получение новой информации о проектах.
-Смена деятельности и снижение нагрузки. Очень сложно проводить адекватную оценку звонков на протяжении рабочего дня.
С каждым потенциальным претендентом на должность специалиста отдела качества колл центра проводится собеседование. Для нового специалиста ОКК обязательно проводится обучение, по итогам которого претендент тестируется на профпригодность.
Как выбрать человека на должность специалиста ОКК?
Работа контролером звонков колл центра требует хорошей усидчивости, терпения и упорства, в связи с этим рассматривая кандидата, обращайте внимание на такие личные качества претендентов, как:
-опыт работы в контакт-центре, как минимум 6 месяцев;
-полное владение информации по проектам;
-стремление к получению новых навыков, участию в тренингах и т.д.;
-серьезное отношение к работе;
-способность самоорганизации времени;
-умение решать проблемы разного рода;
-способность поддержания обратной связи;
-умение обращать внимание на малейшие детали в разговоре.
Так же, обратите внимание на рекомендации тимлидера группы.
Калибровочные сессии
Проведение калибровочных сессий решает главную проблему – устранение различий в оценивании характеристик операторов разными людьми.
Именно поэтому, руководителю отдела контроля качества в колл центре следует проводить калибровку для специалистов ОКК, супервайзеров и тимлидеров. Участники такой сессии, прослушивают несколько записей звонков и оценивают их.
После каждого прослушивания, анализируются выставленные оценки и обсуждаются причины расхождений.
Если различия находятся в пределах нормы, то это свидетельствует о высоком качестве калибровки. Но, зачастую оценки расходятся между участниками по многим параметрам. В процессе проведения калибровочных сессий различия между оценками должны уменьшаться.
Также, можно приглашать сотрудников других подразделений колл-центра, они будут способствовать повышению объективности оценки качества.
Руководитель отдела качества может получить запрос на проведение калибровки от супервайзера или руководителя проекта. В таком случае он должен:
-выяснить цель проведения калибровочной сессии;
-определить наличие необходимости адаптации материала по данному проекту;
-уточнить количество участников, желаемые сроки и время проведения.
BingoGroup предлагает аутсорсинг входящих звонков, который позволяет в полном объёме обработать каждый звонок, поступивший на номера вашей компании. Колл центр, на аутсорсинге входящих и исходящих звонков, а также с помощью обработки и актуализации баз данных, поможет вывести ваш бизнес на совершенно новый уровень!
Измеряй и властвуй: что такое контроль качества call-центра?
Разбираемся, как внедрить контроль качества в call-центре и заставить его работать на себя.
Несмотря на то, что качество работы операторов call-центра на первый взгляд кажется величиной неизмеримой, его можно «взвесить» и оценить. А вам наверняка нужно это делать, если у вас в подчинении отдел по взаимодействию с клиентами или инхаус-call-центр. Как правило, операторы в той или иной степени должны следовать сценарию разговора или хотя бы общему его направлению. Проверить, делают ли они это, вам поможет только контроль качества. Разберемся, что это, как его внедрить и заставить работать на себя.
Давайте сразу оговорим: контроль качества — это не контроль ради контроля и не инструмент наказания. Вы не ищете ошибки, чтобы наказывать операторов. Вы ищете ошибки, чтобы улучшить качество работы. Сначала оцениваете то, что уже имеете, а затем думаете, как поднять показатели. Таким образом, контроль качества должен состоять из двух важнейших этапов: мониторинга и работы над повышением качества.
Контроль качества в четыре шага
Для того, чтобы создать работающую систему проверки, не нужны сверхусилия. Всю настройку можно условно разделить на четыре этапа.
1. Оценочный-лист
Вы наверняка сразу можете в общих чертах описать структуру разговора: оператор здоровается и представляется клиенту, рассказывает о продукте, снимает возражения, продает (в идеале). Эти части станут основными блоками оценочного-листа — всего их будет четыре или пять. Затем вы разберете их до мельчайших деталей, вычеркнете лишнее и получите список из 30 пунктов или около того. Для каждого пункта определите, что может быть хорошо, а что плохо. А также на основании своих представлений о важности этого пункта присвоите вес. Для простоты вес хорошо ставить в процентах. Например, правильная отработка возражения абонента, наверно, важнее того, назвал ли оператор абонента по имени, прощаясь. Так вы получите опросный-лист, с помощью которого сможете отличить качественный разговор от некачественного.
2. Выборка
Чтобы понять, вкусный вышел суп или нет, не обязательно съедать всю кастрюлю. Так и для оценки качества работы операторов все разговоры слушать нет необходимости. Практика показывает, что результаты оценки всего 2-5 % звонков можно экстраполировать на весь массив контактов. Главное, чтобы выборка была релевантной. В нее должны главным образом попасть новые сотрудники и те, кто уже совершал ошибку, но и операторов, которые стандартно держат планку качества, тоже нужно мониторить ежедневно, чтобы они не поддавались эмоциям. Эти звонки верификатор проверяет по чек-листу, отмечая суть ошибки в соответствующем пункте.
3. Анализ
Теперь, когда вы видите все оценки по выборке, то можете сделать выводы. Если ошибка единичная и ответственность за нее несет оператор, вам нужно дать обратную связь сотруднику и его руководителю, организовать дообучение и коучинг. В идеале — внести качество в мотивационную схему оператора, чтобы оно стало для него стимулом. Но вы удивитесь, поняв, что повторяющиеся ошибки операторов на самом деле лишь следствие нарушения в бизнес-процессе.
Допустим, сотрудник затруднился предоставить собеседнику информацию. Если вместо того, чтобы сразу штрафовать оператора, вы решите проверить, что он делал во время разговора, то поймете, что, возможно, информации просто нет в системе или сценарии разговора. Статистика показывает, что такие нарушения вызывают до 85% операторских ошибок. А разбираться с ними нужно вовсе не на уровне оператора, а на несколько уровней выше.
4. Обратная связь
Собственно этот этап и отличает контроль качества от мониторинга ошибок. Измерив и проанализировав, надо предусмотреть процесс улучшения. Это либо прямая обратная связь оператору и его руководителю, либо изменения в бизнес-процессе, который повлек ошибку.
Работа над ошибками
Как сделать контроль качества — мониторинг и работу над улучшением — системным? В целом организовать процесс несложно, но как только количество операторов превышает полтора десятка человек, таблицы Excel становятся бесконечными и тянут на себя человеко-часы и, как следствие, финансы. Выход один — автоматизировать все, что можно.
Для нас его плюсы неоспоримы. Алгоритмы системы настроены в соответствии с отраслевыми стандартами и позволяют снизить человеческий фактор до минимума, например, при помощи рандомной постановки задач. В онлайне проще назначить и провести калибровку с заказчиками и представителями смежных отделов — а именно на подготовку таких сессий и согласование графиков, как правило, уходит больше всего времени. Но самое главное — все, что произошло в QMT, остается в QMT. Навсегда. Вся история контактов, оценки операторов, статистика — все это хранится в системе и может быть выгружено в любой момент в один клик.
В результате любая отчетность формируется автоматически и крайне наглядно. Всего одна цифра — и вы понимаете, где ошибка оператора, а где ошибка в процессе. Где нужна не точечная обратная связь, а работа на уровне старших руководителей.
Не навреди
Автоматизация также поможет избежать смещения акцентов. Неверно расставленные акценты влекут за собой неоправданные временные и финансовые затраты, которые вам точно не нужны. Что может пойти не так? Не подменяйте контроль качества поиском ошибок. Исправить ошибки в разговоре не значит улучшить качество — а именно последнее является нашей конечной целью.
Вам не поможет сплошная прослушка, чтобы проверить наличие обязательного текста — лучше записать автоматическое сообщение и сэкономить уже на входе. Опрос абонентов не даст вам общей картины и покажет очень субъективный результат. Искусственный интеллект не заменит живого верификатора, если речь идет об эмпатии. К примеру, в продажах лучший показатель качества — увеличение конверсии. Если сотрудник отступил от скрипта, но заключил сделку — так ли важно придираться к его разговору, как это сделает робот?
Итоги
В заключение хочется напомнить самое главное, что нужно знать о контроле качества.
Контроль качества — это постоянный мониторинг работы операторов, выявление первопричин ошибок и неустанная работа над улучшением бизнес-процессов.
Контроль качества может быть простым и удобным, если автоматизировать его по максимуму. Собирая и анализируя большой объем информации, вы сэкономите время и средства, вкладывая их в развитие компании, а не в ежедневную рутину.
Контроль качества — это не исправление мелких ошибок. Потарайтесь разглядеть лес за деревьями, и он отблагодарит вас, превратившись в цветущий сад, а потом принесет вполне ощутимые плоды. Принципы кайдзена никто не отменял.
Как достичь объективности в субъективном? Калибровка в performance review
Чтобы сохранить контекст, придется кратко рассказать, что же такое performance review и как оно проходит в Юле. Не буду расписывать подробности, перечислю лишь основные этапы:
Self review: каждый сотрудник описывает и оценивает свои достижения за последние 6 месяцев. Следом выбирает коллег, которые смогут оценить и подтвердить эти достижения.
Peer review: коллеги оценивают результаты сотрудника, после чего у нас получается набор оценок по каждому сотруднику.
Калибровка: об этом этапе я хотел бы рассказать подробнее в этой заметке.
Донесение результатов performance review до каждого сотрудника.
Калибровка, как мне кажется, самый малоизвестный и слабопонятный этап во всем performance review. Если с self review и peer review всё более-менее ясно и не вызывает вопросов, то с калибровкой всегда есть недопонимание. Почему так? Наверное, из-за того, что большинство разработчиков никогда не присутствовали на калибровке лично. Из-за этого появляются догадки и домыслы, которые я хотел бы развеять. Давайте попробуем вместе разобраться, что же это за калибровка и как она происходит у нас в Юле.
Несколько команд, у каждой из которых есть свой руководитель (engineering manager).
Руководители направлений (руководители engineering manager’ов).
Лиды функций (frontend, backend, iOS, Android, QA).
Результаты self и peer review в виде списка достижений каждого сотрудника с оценками.
Команд достаточно много, людей тоже немало, поэтому мы решили проводить калибровку в разрезе функции (frontend, backend, iOS, Android, QA), то есть сравнивать и оценивать между собой функционально близких ребят. Нам показалось, что будет сложно сравнивать backend-разработчика и iOS-разработчика.
Калибровочная сессия
Перед калибровочной сессией все участники получают сводную информацию для ознакомления. Это единый файл с таблицами по каждому сотруднику. В них приведены достижения и оценки из self review, оценки непосредственного руководителя (engineering manager) и оценки peer reviewers (без указания, кто и как оценил, только числа).
Разработчики в файле отсортированы по категориям от младшего к старшему, т.е. от Junior к Principle. Это нужно для того, чтобы в ходе калибровочной сессии рассматривать ребят в таком порядке и не терять фокус ожиданий, прыгая между категориями. Ведь нужно помнить, что требования и ожидания от junior-разработчика совершенно другие, чем от senior.
Когда все участники калибровочной сессии собираются, начинается презентация и обсуждение. Engineering manager представляет члена своей команды, рассказывает о том, что сделал этот человек, какие результаты показал, как повлиял на результат команды, как взаимодействовал с коллегами и т.п. Представление длится недолго, в зависимости от размера команды может идти от минуты до трех.
Сразу после этого все желающие могут и должны задавать вопросы про этого сотрудника. Цель этапа — получить максимально объективное мнение о заслугах и результатах работы сотрудника. На вопросы отвечает не только непосредственный руководитель, но и любой, кому есть что сказать о разработчике, находящемся в фокусе внимания. Этот этап может занимать от пяти до десяти минут. Иногда приходится прерывать обсуждения, когда «на сцене» какой-то неоднозначный персонаж, повлиявший на жизнь и работу большого количества коллег.
Затем настаёт время голосования. Используется техника planning poker. И так же как и при оценке задач, после вскрытия карт люди, давшие минимальную и максимальную оценки, аргументируют их. При необходимости проводится повторное голосование. Финальная оценка считается совместной и все участники голосования понимают, почему выставлена именно она.
Стоит отдельно сказать несколько слов про шкалу оценок. Мы выбрали:
2 — результаты работы сотрудника оказались ниже ожиданий от его текущей категории (грейда);
3 — результаты полностью соответствуют текущей категории и ожиданиям от сотрудника;
4 — результаты превзошли ожидания от текущей категории, такой кандидат достоин повышения (если такая оценка получается на первом performance review, скорее всего, сотрудник перейдет в следующую категорию);
5 — результаты работы превзошли все ожидания, это очень крутой результат и мы согласны, что этот сотрудник перерос свою текущую категорию.
Что мы получаем по завершению калибровочной сессии
У нас появляется список всех сотрудников с оценками, выставленными коллегией руководителей. Эти оценки максимально объективны, насколько могут быть объективны любые оценки, выставляемые одним человеком другому. Мы можем быть уверены, что эти оценки лишены протекционизма или, наоборот, специально занижены. На основании этих оценок принимаются решения о смене грейда каждого сотрудника. И руководителю проще подготовиться ко встрече, посвященной результатам оценки, потому что вклад каждого сотрудника в общий результат становится более наглядным и формализованным.
В любом процессе, где оценки выставляются людьми, присутствует субъективизм. Но performance review помогает снизить влияние личного мнения отдельных руководителей на результаты оценки работы сотрудника. Без калибровки, если бы оценки выставлял только руководитель, это было бы максимально субъективно. Например, ваш руководитель заморачивается по поводу пунктуальности, а вы считаете, что начинать рабочий день можно в любое время до утреннего командного стендапа, лишь бы работа делалась, да и компания в целом к этому относится нормально. Велик шанс, что какие-то ваши «бытовые» косяки будут влиять на оценку вашей работы, если для оценивающего эти косяки важны и существенны. В случае коллегиальной оценки руководителю будет сложнее повлиять на общий результат, если в компании не принято наказывать за «бытовые» косяки. Вас будут оценивать за результаты работы, а не за внешний вид, манеру говорить или любовь к несмешным мемам.
Может показаться, что очень многое в результате зависит от качества представления результатов работы, которое проводит engineering manager перед участниками калибровочной сессии. Не буду лукавить, хорошая презентация играет некоторую роль. Опытный менеджер может топить за своих ребят лучше, чем новичок. Но когда начинается сессия вопросов и ответов, когда менеджера начинают закидывать уточняющими вопросами, откровенный обман и сильное приукрашивание вскрываются. Невозможно плохого сотрудника представить хорошим, а прекрасно работающего — потопить.
Можно пытаться сломать систему, например, добавив в peer reviewers людей, которые будут лишь хвалить и ставить максимальные оценки. Но такой результат, скорее, вызовет лишние вопросы на калибровке.
Внимательный читатель задаст резонный вопрос: «Если окончательная оценка зависит лишь от калибровочной сессии, зачем нужны эти self и peer review? Почему менеджеры не могут просто собраться и договориться о повышениях?» Могут, более того, во многих компаниях так и происходит. Кажется, что более распространен радикальный вариант, когда решение принимается не коллегиально, а единолично каким-то руководителем. Но это плохой путь! Во-первых, крайне полезно попросить каждого сотрудника рефлексировать о своей работе, оглянуться назад и посмотреть, что удалось сделать и чего добиться. Во-вторых, калибровка помогает менеджеру увидеть зоны роста для каждого члена команды. Понять, что вот тут хорошо бы обратить внимание на это и приложить дополнительные усилия. В Юле мы считаем, что одна из основных задач менеджера — помогать сотрудникам расти и развиваться. Performance review очень хорошо помогает в этом процессе. Конечно, если сам сотрудник склонен к развитию и стремится к нему.
Калибровочные сессии что это
Татьяна Ефимова, Руководитель HR-проектов Talent Q
Кадровый комитет (по-другому может называться People review, Talent review, Комитет по человеческим ресурсам, Комитет по талантам, Калибровочная сессия) – это встреча или ряд встреч, на которой руководители одного уровня (в англ. «peers») представляют сотрудников вышестоящему руководству для отбора в пул талантов/кадровый резерв.
1. Цель и подход. При постановке цели важно ответить себе на вопрос «Зачем?». Зачем Кадровый комитет существует в компании? Зная «Зачем?», получаем ответ, как дальше настраивать кадровый комитет. Ответ «Потому что на рынке принято людей отбирать и затем с ними что-то делать» не работает. При выборе подхода определяем, кто такие таланты, резервисты и преемники – все эти понятия должны быть уникальны для компании.
2. Правила и принципы. Помним, что они должны соблюдаться всеми участниками Кадрового комитета.
3. Кого обсуждаем? Решаем, каких людей обсуждать, в каком контексте, на основании каких показателей эффективности.
4. Подготовка. Как в любом событии, если хорошо проведена подготовка, то скорее всего Кадровый комитет пройдет удачно. Готовим краткий бриф, из которого четко будет понятно, может ли человек быть в пуле талантов или нет, может быть преемником на эту должность или не может.
5. Фасилитация. Очень важный момент, особенно при работе с топ-менеджерами. Следим за соблюдением правил, таймингом, не даем обсуждению уходить в сторону (например, «политических игр»).
6. Что после? Это действия, которые следуют после Кадрового комитета (составление программ развития, обучение и назначение сотрудников). Реализуем цель, поставленную в начале, в течение года, иначе деньги компании будут потрачены впустую.
Во-первых, чтобы создать конкурентоспособные преимущества компании по принципу «Правильные люди» на «Правильном месте» в «Правильное время». Фактически мы управляем нашими людьми и расставляем их в правильном соотношении, используя их лучшие компетенции, их лучшие таланты, своевременно назначаем их на позиции.
Важно определиться, что такое таланты в компании (кого считать потенциальным), как и когда их будем отбирать и зачем вообще это делаем, и что это означает для самого сотрудника и для компании в целом.
В большинстве случаев оптимально использование двух подходов одновременно.
Ключевые должности. Закрытые должности дают безопасность организации. Определяем ключевые должности, формируем под них пул преемников.
Люди. Это Talent-пул. Нужно понять, почему они потенциальные, на что они способны, встроить их в свою концепцию потенциала.
В большинстве случаев компании используют оба подхода, разделяя отбор в пул талантов и отбор в пул преемников и используя для этого разные шаблоны.