AI가 코드를 대신 작성하면서 개발자를 뽑는 시험도 다시 만들어지고 있다. 정답 코드를 얼마나 빨리 짜는지보다 AI를 어떻게 쓰고, 틀린 결과를 찾아내며, 낯선 문제를 해결하는지를 보려는 기업들이 등장했다.
AI 기업 앤트로픽은 실제로 자사 AI 때문에 개발자 채용 과제를 여러 차례 손봤다. 앤트로픽 성능최적화팀은 2024년부터 지원자에게 가상의 가속기용 코드를 최적화하도록 하는 과제를 냈다. 같은 제한시간을 줬더니 클로드 오퍼스 4가 대부분의 지원자보다 좋은 결과를 냈고, 뒤이어 나온 오퍼스 4.5는 최상위 지원자의 성적까지 따라잡았다. 앤트로픽은 현재까지 과제를 세 버전으로 바꿨다고 지난 1월 공개했다.
AI를 막는 대신 아예 면접장 안으로 들인 기업도 있다. 미국 배달 플랫폼 도어대시는 지난 3월 기존 코딩 면접을 60분짜리 ‘AI 보조 엔지니어링 세션’으로 바꾼다고 밝혔다. 지원자는 AI 도구를 쓰면서 기존 코드의 문제를 해결하고 화면을 공유해 자신이 무엇을 하는지 설명한다. 평가자는 AI 사용 방식과 결과 검증, 디버깅, 문제 범위 판단, 의사결정 과정을 살펴본다.
● AI 금지 34%, 허용 46%…기업들도 아직 ‘정답’을 못 찾았다
AI를 코딩시험에서 허용할지를 두고는 아직 기준이 엇갈린다. 기술인력 평가 플랫폼 CoderPad가 올해 세계 개발자와 채용 담당자 등 650명 이상을 대상으로 조사한 결과, 채용 면접과 평가에서 AI를 전면 금지한다는 응답은 34%였다. 29%는 제한적으로, 17%는 폭넓게 허용했다. 20%는 시험에 따라 다르게 결정한다고 답했다.
국내에서도 평가 방식은 아직 제각각이다. 송하주 국립부경대학교 소프트웨어융합혁신원 원장은 “코딩 시험을 아예 안 보는 곳부터 이전과 동일하게 보는 곳, AI를 써도 되는 곳과 그렇지 않은 곳까지 편차가 상당히 크다”며 “제각각이라는 것 자체가 아직 어느 쪽도 확신을 갖지 못했다는 뜻”이라고 말했다.
온라인 테스팅 기업 그렙의 임성수 대표는 “국내에서는 개발자 채용 자체가 많이 줄었고, 채용 때 코딩테스트를 시행하는 기업 수도 빠르게 감소하고 있다”며 “기존 알고리즘 코딩테스트 대신 AI를 활용한 개발 역량을 평가하려는 시도는 늘고 있지만 무엇을 어떻게 평가해야 할지에 대해서는 아직 명확한 답을 찾지 못하고 있다”고 말했다.
반면 임 대표가 파악한 미국 채용 현장에서는 기존 코딩테스트에 실무 과제를 더하는 방식이 나타나고 있다. AI를 썼다면 사용한 프롬프트까지 제출받아 완성된 결과뿐 아니라 답을 만들어낸 과정도 평가하는 사례가 있다는 것이다.
앤트로픽도 모든 채용 과정에서 AI를 똑같이 취급하지 않는다. 공식 채용 지침상 이력서 작성이나 면접 준비에는 AI를 이용할 수 있지만 과제는 별도 허용 안내가 없는 한 AI 사용을 금지한다. 실시간 면접도 원칙적으로 AI를 쓸 수 없다. 반면 앞서 성능최적화팀의 개발자 과제처럼 AI 활용을 명시적으로 허용하는 시험도 있다. 평가 목적에 따라 AI 사용 기준을 달리 두는 것이다.
개발 현장과 채용시험 사이의 간극도 커졌다. 임 대표는 “업무 현장에서는 AI 활용 없이 성과를 만들기 어려워지고 있지만 국내 채용 평가에서는 ‘공정함’을 해칠 수 있다는 우려 때문에 AI 사용을 제한하는 경우가 많다”며 “공정성을 유지하면서 AI 활용 능력을 어떻게 평가할지에 대한 논의가 이제 시작되고 있다”고 말했다.
교육 현장에서도 비슷한 문제가 생긴다. 과제와 실습에서 AI를 어디까지 허용할지는 학과와 교수마다 다르고, 전통적인 시험으로 돌아가거나 구술 평가를 확대해야 한다는 의견도 나온다.
송 원장은 AI 활용 능력을 평가하는 방향으로 갈 가능성이 높다고 봤다. 문제는 AI를 허용하면 결과물만으로 지원자의 실력을 가려내기가 더 어려워진다는 점이다.
그는 “주어진 상황을 어떤 문제로 인식했는지, 요구사항을 어떻게 정리해 지시했는지, 나온 결과를 어떤 근거로 받아들이거나 고쳤는지를 봐야 한다”며 “평가하는 쪽의 부담이 훨씬 커지는 방향”이라고 말했다.
