새로운 “캘리브레이션 조율” 리포트는 평가자가 완료한 다양한 캘리브레이션에 대한 이들의 조율 정도를 나타내는 히트맵이다.

성공적인 QA 프로그램을 이끄는 운영자는 평가자와의 정기적인 캘리브레이션 세션을 통해 이들의 평가가 잘 조율되어 있는지 확인한다. 이는 평가를 하게 되는 평가자가 누구인가와 상관없이 모든 상담원이 적절하고 정확하게 평가받을 수 있는 확률을 높인다.

캘리브레이션 리포팅은 지속적인 피드백에 더해 리더가 평가상 차이가 가장 자주 발생하는 지점을 알아내도록 돕는다. 이는 평가 조율을 전반적으로 개선할 수 있는 건강한 토론의 기회를 제공한다:

이 리포트는 리더가 택한 방법과 관계없이 전반적인 QA 과정을 평가하고 이를 최적화하기 위해 실행 가능한 단계를 세울 수 있도록 돕는다. 조율 정도가 저조한 이유를 이해하는 것이야말로 팀을 위해 QA의 효과를 높이고 QA 지표와 그 중요성에 대한 리더의 자신감을 향상하기 위한 첫 번째 단계가 될 수 있다.

리포팅 페이지 좌측 화면에서 캘리브레이션 폴더를 찾아볼 수 있다. 현재 해당 폴더에 두 가지 리포트가 있다:

사용자 역할 🡪 역할 권한 페이지의 캘리브레이션 보기가 “본인” 혹은 “본인 + 최종”으로 설정된 사용자는 새로운 캘리브레이션 리포트를 사용할 수 있다. 요약하면 아래와 같다.

캘리브레이션 보기가 다음과 같은 경우:

캘리브레이션 리포트에는 다섯 가지 필터가 있다:

히트맵의 행은 사용자 그룹/평가자를 나타내며 열은 평가템플릿/기준을 나타낸다.

기본 뷰는 모든 사용자 그룹을 위한 평가템플릿 단위에서 가장 최근 완료한 캘리브레이션 티켓 리뷰로 설정되어 있다. 운영자는 특정 사용자 그룹을 선택해서 리포트를 필터할 수 있다.

각 퍼센티지는 조율 점수를 나타낸다. 예를 들어: 모든 QA 스페셜리스트 사용자 그룹의 모든 평가자를 위한 통합된 개인 캘리브레이션과 캘리브레이션 완료된 해당 티켓의 최종 캘리브레이션의 조율 정도는 76%이다.

위에서 볼 수 있듯이 조율 점수 타일 위에서 커서를 움직이면 더 많은 세부적인 옵션이 나타난다:

위 이미지는 히트맵의 기준 뷰의 예시를 보여준다. 여기에서 볼 수 있듯이 판매자 성장(Merchant Growth)이라는 평가템플릿 기준상 사용자 그룹의 조율 점수는 57%이다. 이는 즉 개인 캘리브레이션과 합의된 최종 캘리브레이션 점수의 조율 정도가 57%밖에 되지 않음을 의미한다. 타일 위로 커서를 움직이면 해당 팀의 평가자 단위 결과를 볼 수 있는 옵션이 나타난다.

해당 팀 내 두 평가자의 평가템플릿 기준상 조율 점수를 볼 수 있다. 두 평가자의 조율 점수가 해당 기준상 저조한 것으로 나타나지만 그중에서도 한 명의 판매자 성장 조율 점수가 훨씬 낮은 것을 볼 수 있다. 이에 따라 그 이유를 알아내기 위한 조사를 진행할 수 있다. 44% 타일 위로 커서를 움직이면 캘리브레이션 훈련하는 동안 실제 캘리브레이션을 완료한 티켓을 볼 수 있는 옵션이 나타난다. 이를 통해 점수 차가 어디서 발생하는지 살펴볼 수 있다. 아래는 그중 한 티켓을 보여준다.

티켓 단위의 최종 캘리브레이션 예시이다. 최종 캘리브레이션 점수와 특정 평가자의 개인 캘리브레이션을 비교한다. 해당 평가자의 경우 동료 대부분이 선택한 답변과 다른 답변을 선택한 것을 볼 수 있다. 평가템플릿 내 해당 기준에 부여되는 비중을 반영해 조율 점수가 정해진다. 따라서 해당 기준이 다른 기준보다 더 큰 비중을 차지하기 때문에 이 평가자의 조율 점수가 저조한 것으로 기록된다(혹은 전반적인 점수에 영향을 미치게 된다).

조율 점수는 평가자 QA만을 위한 지표가 아니다. 이는 캘리브레이션의 조율 정도를 더 정확하게 측정하는 방법이기도 하다. 특히 캘리브레이션의 경우 티켓별 평가자의 개인 캘리브레이션과 주로 운영자가 주도하여 이끄는 평가팀의 최종 캘리브레이션 간 조율 정도를 퍼센티지로 볼 수 있다.

(추가사항 – 해당 워크플로우는 주로 벤치마크 캘리브레이터가 생성하는 벤치마크 캘리브레이션과 다르다. 대부분의 팀은 앞서 언급된 워크플로우를 사용한다.)

조율 점수는 티켓의 개인 캘리브레이션 점수와 최종 캘리브레이션 점수의 퍼센티지 차이를 의미하지 않는다.

이는 다른 방식을 사용했음에도 불구하고 개인 캘리브레이션과 최종 캘리브레이션 점수가 동일할 수 있기 때문이다.

그 예로 원점수와 벤치마크 점수의 QA 점수가 모두 80%일 수도 있다. 그러나 각 QA 점수가 해당 점수를 도출하기 위해 사용한 기준이 다를 수 있다. 이 경우 두 점수는 실제로는 조율되어 있지 않은 것을 의미한다.

따라서 기준상 조율 점수를 계산하고 이를 평가템플릿 조율 점수에 따라 정하게 된다. 바로 이것이 기존 캘리브레이션 리포트와 새로운 캘리브레이션 리포트의 가장 큰 차이점이다. 즉, 새로운 리포트는 계산에 반영되는 모든 요소를 고려한다.

기존 리포트에서는 개인 캘리브레이션의 평균값을 최종 캘리브레이션과 별개로 계산한 후 비교하였다. 이는 즉 평가자가 네 개의 티켓 캘리브레이션에만 참여했지만 동일한 평가템플릿 내 총 열 개의 캘리브레이션이 완료된 경우, 평가자의 평균 개인 캘리브레이션과 해당 평가템플릿을 위해 생성된 최종 캘리브레이션 열 개 모두의 평균값을 비교하게 된다. 다시 말해 평가자가 참여한 적 없는 캘리브레이션이 평가자의 점수에 영향을 미칠 수도 있다는 것이다.

새 리포트에서는 먼저 티켓 단위에서의 평가자 조율 정도를 결정한 후 개인 캘리브레이션과 올바른 최종 캘리브레이션을 비교하고 각 티켓의 조율 점수를 생성한다. 다음으로 티켓 조정 점수의 평균치를 계산해 캘리브레이션 리뷰를 위한 전체 조율 정도를 결정한다.

다음의 예시에서는 캘리브레이션 훈련에 세 가지 티켓이 있다고 가정한다.

운영자는 이제 리포트를 두 가지 방식으로 볼 수 있다:

다음과 같은 상황을 가정해보자:

이러한 조건에서:

평가템플릿 내 기준별로 이 단계를 진행한다.

특정 평가템플릿에서 얻을 수 있는 가장 높은 점수가 80점인 경우 다음과 같은 방법으로 조율 점수를 계산할 수 있다.

두 번째 단계 계산 방법:

평가템플릿 내 기타 가중 기준 조율 점수에 15%를 더해 평가템플릿 조율 점수를 계산한다.

지표가 어떻게 계산되는지 더 자세하게 알고 싶다면 이 스프레드시트를 확인해보자. 구글 시트를 복사해 직접 계산을 해볼 수도 있다.

2021년 9월 10일부터 사용자가 캘리브레이션 조율 리포트를 CSV 파일로 내보내는 것이 가능해졌다.

우측 상단의 차트 내보내기를 선택한다. 이후 나타나는 옵션에서 내보내기 파일 이름과 받는 사람의 이메일 주소를 입력한다. 이메일이나 (마에스트로와 연동된 경우) 슬랙 등 내보내는 방식 또한 설정할 수 있다. 입력 후 차트 내보내기를 클릭한다.

내보내기 탭(화면 상단)을 클릭하면 차트 다운로드 옵션이 나타난다.

다운로드한 CSV 차트(파일 1개)는 앱에서 생성한 차트와 동일하다. 캘리브레이션 조율 리포트의 설정에 따라 내보낸 파일의 열(평가템플릿/기준)과 행(사용자 그룹/개별 평가자)에 나타나는 데이터가 정해진다. 아래 예시의 경우 내보낸 차트에 기준 단위에서의 한 평가자 그룹의 하나의 평가템플릿에 대한 조율 점수가 나타난다.