평가자 QA는 QA 관리자가 팀 캘리브레이션 훈련 없이 평가 과정의 건전성을 평가할 수 있도록 하고자 처음 소개되었다. 운영자는 자동화 일정을 설정해 벤치마크 평가자에게 평가된 티켓의 샘플을 보내고 이들이 평가자의 정확도를 재평가하도록 할 수 있다.

이제 상호보완적 자동화 솔루션을 통해 벤치마크 평가자의 피드백을 원평가자들에게 동일하게 보낼 수 있다. 운영자는 새로운 평가자 QA 피드백 보내기 자동화를 활용해서 원평가자가 직접 피드백을 받도록 일정을 설정할 수 있다.

상담원용 기능과 마찬가지로 이러한 콜 투 액션은 피드백에 대한 참여를 증진하는 좋은 방법의 하나다. 현재 평가자는 마에스트로에 로그인하여 피드백을 직접 검색할 수 있으나, 이 과정에서 다음과 같은 문제가 발생할 수도 있다:

운영자는 더 구조적인 피드백 워크플로우를 도입하고 원평가자가 피드백을 주기적으로 적시에 받아 검토 후 숙고하고 이후 개선하도록 하여 평가자 QA의 효과를 극대화할 수 있다.

운영자는 모든 평가자가 주기적으로 새로운 피드백을 확인하도록 알려주는 자동화를 설정할 수 있다. 이를 통해 평가자는 질문을 하고 보다 신속하게 궤도를 수정할 수 있다. 평가자 QA 워크플로우 상의 피드백 루프를 종료하여 사용자가 평가자 관리를 개선하도록 돕고 평가의 일관성을 높일 수 있다.

평가자 QA 피드백 자동화를 생성하려면 다음과 같은 조건이 충족되어야 한다:

설정 > 공유 자동화 > 새 자동화 만들기에서 평가자 QA 피드백 평가리스트 보내기를 선택한다. 다음과 같은 화면이 뜬다:

자동화 목적과 피드백 배분 주기를 나타내는 자동화 이름을 설정한다. 매주 피드백을 보내고 싶다면 “주간 평가자 QA 피드백” 등으로 설정할 수 있다.

자동화가 얼마나 오래된 벤치마크 완료 티켓까지 검색하도록 할지 정하기 위해 룩백 윈도우를 위한 일수/주수/월수를 선택한다. 피드백 선택 파라미터를 1주일로 설정하는 경우, 자동화가 실행될 때마다 지난 7일 동안 벤치 마크된 평가 티켓이 선택된다. 필요시 맞춤형 기간을 설정하는 것도 가능하다.

자동화에 익숙한 사용자의 경우 이 설정 과정이 기타 자동화 유형과 유사함을 알 수 있을 것이다. 피드백 기간을 선택한 후 자동화 스케줄을 설정한다. 제출된 피드백은 모두 포함하되 이미 보낸 피드백은 제외하기 위해 “피드백 선택” 섹션의 “룩백 윈도우”에서 빈도를 일치시킬 것을 권장한다. 예를 들어 지난 2주일 동안의 피드백을 선택한 경우 자동화 또한 격주로 실행되어야 한다.

마지막으로 평가자가 알림을 받아 피드백을 검토하는 방식을 선택한 후 자동화를 저장한다.

유의사항: 피드백 알림과 티켓 리뷰 피드백은 벤치마크 평가자가 아닌 원평가자에게만 공유된다.

저장 후 메인 공유 자동화 페이지에 새로 저장한 자동화가 나타나게 된다.

기타 자동화 유형과 마찬가지로 우측 상단의 세로 점 세 개를 눌러 접근 권한 관리, 수정 등 자동화에 대한 추가 설정을 찾아볼 수 있다.

운영자의 경우, 접근 권한 업데이트 옵션을 통해 특정 사용자만이 자동화에 접근할 수 있도록 한다. 올바른 사용자만 선택해서 이들 외의 사용자가 자동화를 수정하지 못하도록 한다.

유의사항: 평가자 QA 벤치마크 점수 열람 가능 평가자 목록에 포함된 평가자만이 피드백을 받을 수 있다. 이는 설정 > 사용자 역할 > 역할 권한에서 설정할 수 있다. 원하는 평가자가 해당 옵션에 포함되도록 한다:

자동화 실행 후 피드백을 받게 되는 평가자별로 새로운 티켓 리뷰(티켓 묶음)가 생성된다.

자동화 설정에 따라 평가자는 이메일로 티켓 리뷰 링크를 받아 피드백을 손쉽게 검토할 수 있다.

평가자가 피드백을 검토할 수 있는 또 다른 방법은 아래와 같이 “티켓 리뷰” 페이지에서 “평가자 QA 피드백”으로 평가리스트 유형을 필터링하는 것이다.

티켓 리뷰를 클릭하면 좌측에 특정 평가자를 위한 벤치 마크된 티켓 목록이, 우측에 실제 티켓이 나타난다. 평가자 QA 피드백 티켓 리뷰의 제목은 이를 생성한 자동화 이름과 원평가자 이름, 자동화가 벤치 마크된 티켓을 검색했던 룩백 윈도우 기간을 포함한다.

평가자는 어느 티켓이건 점수 보기를 클릭해 상담원에 대한 원 QA 점수나 제출된 평가자 QA 피드백을 볼 수 있다.

어떤 피드백이 보내지나요?

벤치마크 평가자가 점수를 매긴 모든 티켓이 자동화에 포함됩니다. 예를 들어 벤치마크 평가자가 10개의 평가자 QA 티켓을 배정받았으나 피드백 자동화가 실행된 때에 단 2개의 티켓밖에 평가 완료하지 못했다면 완료된 2개의 티켓만이 피드백에 포함됩니다. 나머지 8개는 완료 후 다음 피드백 자동화가 실행될 때 보내집니다.

한 사용자가 여러 QA 피드백 자동화를 사용할 수 있나요?

사용자는 복수의 평가자 QA 피드백 자동화를 생성할 수 있지만 이를 권장하지 않습니다. 벤치마크 평가자의 모든 피드백을 취합해 주기적으로 실행되는 하나의 QA 피드백 자동화를 사용하는 것이 가장 바람직합니다. 자동화 주기와 “룩백” 기간의 빈도를 동일하게 설정하는 것 또한 잊지 마세요.

벤치마크 평가자가 점수를 수정하면 어떻게 되나요?

벤치마크 평가자가 벤치마크 점수를 수정하는 경우 새로운 벤치마크 점수로 인식되어 다음 평가자 QA 피드백 자동화가 실행될 때 보내집니다.