면접관의 능력을 믿지 마라

---

노벨 경제학상을 수상한 심리학자 다니엘 카네만이 아직 햇병아리 심리학자였던 1955년의 일이었습니다. 당시 21살이었던 그는 심리학 학사 학위를 취득하자마자 이스라엘 군에 배속되어 지원병들을 대상으로 한 '적성 인터뷰'를 총괄하게 되었습니다. 어떻게 보면 이 임무는 대학을 갓 졸업한 햇병아리에게 맡기기엔 중책이었지만 1955년은 이스라엘이 새로 건국한지 겨우 7년 밖에 안 된 터라 카네만 같이 심리학 학사 학위 밖에 없는 사람조차 중용될 수밖에 없었죠.

그가 담당한 적성 인터뷰의 목적은 심리적 측정 테스트와 면담을 통해 지원병들의 특성을 파악하고 전투 임무를 수행하기에 적정한지를 평가하기 위함이었습니다. 이런 과정을 통해 지원병 개개인이 보병, 포병, 장갑병 등과 같은 병과(兵科)에 얼마나 적합한지 점수를 매겨야 했죠. 먼저 카네만은 대부분 젊은 여성으로 구성된 인터뷰어 그룹을 조직하여 몇 주 동안 인터뷰에 관련한 교육을 실시했습니다. 인터뷰는 지원병 1명 당 15~20분 정도 소요하기로 했는데, 지원병이 군대에서 얼마나 적응을 잘 할지에 관한 전반적인 인상을 파악하는 데 초점이 모아졌습니다.

그러나 이 시도는 거의 효과를 거두지 못했다고 카네만은 후에 자신의 책 'Thinking, Fast and Slow'에서 밝힙니다. 지원병이 군대에서 얼마나 임무를 잘 수행할지를 예측하는 데에 인터뷰는 아무런 도움이 되지 못했던 겁니다. 카네만은 이런 상황을 시정하라는 독촉을 받았지만 인터뷰 방식을 개선하기 위한 충분한 시간은 주어지지 않았습니다. 주변의 아랍국가와의 '2차 중동 전쟁'을 앞두던 때였기 때문입니다. 햇병아리 심리학자로서는 아주 난감한 상황이었겠죠.

고심을 거듭하던 카네만은 폴 밀(Paul Meehl)이 쓴 'Clinical vs. Statistical Prediction'이란 책을 1년 전에 읽었다는 것을 기억해 냅니다. 그 책에서 밀은 통계적 공식을 기반으로 한 판단이 직관적인 판단보다 우수함을 여러 가지 증거로 증명해 보였습니다. 예를 들어, 전문 면접관들로 하여금 대학교 신입생을 45분간 인터뷰하여 그 해 말의 성적을 예상하도록 하는 연구가 있었습니다. 물론 면접관들에게 각 학생의 고등학교 성적, 적성검사 결과, 자기소개서 등이 주어졌죠. 허나 그들의 예측력은 실망스러운 수준이었습니다. 단순하게 신입생의 고등학교 성적과 적성검사 점수만 가지고 공식을 만들어 예측한 결과보다 못했기 때문입니다. 통계 공식을 통한 예측은 14명의 면접관 중 11명의 것보다 더 정확했습니다. 

카네만은 밀의 연구로부터 인터뷰 개선의 방향을 명확히 정할 수 있었습니다. 인터뷰어에게 주관적 판단을 폭넓게 인정한 것이 실패의 원인이었고 그들의직관적인 판단이 개입될 여지를 최소화할 '공식'을 찾아 적용하는 것이 문제의 해법이었던 겁니다. 인터뷰어가 개인적으로 무엇에 더 관심을 두고 무엇에 더 많은 흥미를 느끼느냐에 따라 예측의 결과가 왜곡될 가능성이 높았기 때문이죠. 그는 지원병의 특성을 '책임감', '사회성', '남성으로서의 자존심' 등 6개의 항목으로 구분하여 항목별로 구조화된 질문을 설계한 다음, 인터뷰어들이 각 항목을 독립적으로 평가하도록 절차를 변경했습니다. 그리고 지원병을 어느 병과에 배속시킬지를 최종 결정하는 권한은 인터뷰어들에게 허용하지 않고 오직 각 항목의 점수들을 합산하여 결정하는 방식을 취했습니다.

인터뷰어들은 자신들의 권한이 사라지는 데 대해 약간 반발하긴 했지만, 이렇게 개선된 방법은 확실히 효과가 있었습니다. 인터뷰가 끝나고 몇 개월 후에 지원병이 배속된 각 지휘본부의 평가 기록을 살펴보니, 과거에 했던 인터뷰 방식보다 훨씬 예측력이 높은 것으로 나타났습니다. 물론 예측이 완벽하지는 못했지만 6개 항목으로 지원병의 특성을 각각 계량화하여 측정한 방식이 인터뷰어가 직관에 의해 총점을 매기는 방식보다 훨씬 정교했던 겁니다. 카네만은 이러한 개인적 경험을 통해 직관적 판단을 묵살해서는 안 되지만 그것을 믿지는 말아야 함을 깊이 깨달았습니다. 

노벨상을 타고 유명해진 그가 45년만에 자신이 근무했던 육군 기지에 초대됐을 때 그는 자신이 개선했던 인터뷰 방식이 거의 그대로 쓰인다는 사실을 발견하고 감회에 젖습니다. 이렇게 크게 변화되지 않고 오랫동안 쓰인다는 것 자체가 직관보다 데이터를 바탕으로 한 '공식'이 더욱 우수함을 알리는 또 하나의 증거라고 그는 말합니다.

카네만의 사례는 비록 오래 전의 에피소드이지만 기업이 인터뷰를 통해 지원자를 평가하고 선별하는 방식을 어떻게 개선해야 할지를 분명하게 보여줍니다. 인터뷰 전에 충원하고자 하는 직무를 성공적으로 수행하기 위해 필요한 특성(역량)들을 결정해야겠죠. 이때 너무나 많은 특성을 설정하는 것은 금물입니다. 카네만이 했듯이 6개 내외가 적절합니다. 또한 각 특성은 서로 겹치는 부분 없이 배타적이어야 합니다. 그런 다음, 각 특성별로 서너 개의 구조화된 질문을 설정하고 5점 척도나 7점 척도로 측정할 준비를 갖춰야 합니다.

인터뷰에 임할 때 반드시 하나의 특성에 대한 점수를 평가하고나서 다음 특성의 평가를 위한 질문으로 넘어가야 합니다. 한 지원자의 인터뷰가 끝나고 다른 지원자가 들어오기 전의 토막 시간에 모든 특성을 몰아서 측정하면 흔히 말하는 '후광 효과'에 의해 평가가 왜곡될지 모르기 때문입니다. 카네만은 이 점을 특히 강조하면서 주의를 당부합니다. 

지금 여러분 조직에서 실시하는 면접의 방식이 카네만이 초기에 멋모르고 실시했던 방법과 비슷하다면, 면접관(보통 조직 내의 관리자나 경영자)들의 직관을 과대평가한다는 것입니다. 밀을 위시한 여러 명의 학자들이 이미 밝혔듯이, 경험 많은 전문가들의 '눈'은 의외로 정확하지 못합니다. 물론 직관이 우수할 때도 있습니다. 하지만, 인상(impression)이나 감각에 의해 평가가 크게 좌우될 우려가 있을 때, 기존의 데이터가 많이 존재하거나 과정을 진행하는 가운데 데이터를 충분히 생성할 수 있을 때, 현재 확보할 수 있는 데이터와 미래의 사건 사이의 인과관계가 어느 정도 존재할 때, 직관은 데이터에 자리를 내주어야 옳습니다.

직관보다는 데이터를 중시하고 그것에 근거하여 판단을 내리는 것이 실수를 줄일 수 있는 방법입니다. 겉으로 보기에 복잡한 주관적 판단보다는 단순하게 숫자 몇 개를 더하거나 빼서 결과를 추측하는 것이 더 정확할 때가 많다는 점을 염두에 둔다면, 여러분 조직의 면접 관행을 어떻게 개선해야 하는지 초점을 명확히 할 수 있을 겁니다.

면접은 지원자의 인상을 평가하기 위한 자리가 아닙니다. 면접은 최대한 과학적이어야 합니다. 감으로 하는 면접은 버리세요.


(*참고 도서) 
Thinking, Fast and Slow
Clinical vs. Statistical Prediction