Codility는 탭 전환을 추적하거나 AI를 탐지하나요?

6월 14일이면 Chrome 확장 프로그램 때문에 채용 제안을 날린 지 꼭 넉 달이 된다. 그날을 나는 또 "기념"하게 생겼다.

2월의 잿빛 화요일 아침이었다. 채용 담당자가 보낸 문장 하나를 읽고, $180,000짜리 내 제안이 사라졌다는 걸 알았다.

당시에는 준비용 Discord에 있던 사람 절반이 그랬듯 나도 코딩 테스트 때 브라우저 확장 프로그램을 켜 두곤 했다. 평가 페이지 위에 겹쳐 뜨는 오버레이 도구 중 하나였다. 정말 가고 싶던 회사의 Codility 테스트가 진행 중이었고, 연봉 이야기도 이미 끝낸 뒤였다. $180,000이 걸린 그 제안은 내 지원 목록에서 가장 소중한 건 물론이고, 사실상 그해 계획의 전부였다.

그러니 테스트를 앞두고 조심한 정도도 그 금액에 비례했다. 응시자가 플래그를 받았다는 글은 늘 올라왔다. 감독 때문에 끔찍한 일을 겪었다거나 아무 설명 없이 탈락했다는 이야기도 흔했다.

그런 글을 너무 많이 읽어서 평가 시스템이 실제로 어디까지 볼 수 있는지 꽤 예민해져 있었다. 테스트가 열리며 탭 하나와 전체 데스크톱 중 무엇을 공유할지 물었을 때 나는 "안전한" 쪽이라고 믿은 탭 하나를 골랐다. 그걸 두고 친구들이 놀리기까지 했다. 할 수 있는 건 다 제대로 하고 있다고 생각했다.

Ready to ace your next interview?

InterviewMan gives you real-time AI answers during live interviews — undetectable on Zoom, Meet, and Teams.

Try InterviewMan Free

그런데 아무리 대비해도 하나를 놓쳤다. 그것도 결정적인 걸. 회사가 아무에게도 알리지 않고 켜 둔 화면 녹화까지 피할 만큼은 내가 "예민"하지 못했다. 시작부터 끝까지 내 눈에는 그저 평범한 시간제한 평가로만 보였다.

테스트 며칠 뒤 회사의 검토자가 녹화 영상을 다시 봤다. 그리고 확장 프로그램을 발견했다. 세션 내내 그 오버레이를 켜 뒀으니, 검토자가 넘겨 본 프레임마다 반쯤 작성된 풀이 바로 옆에 그대로 떠 있었다.

그다음부터는 문제가 빠르게 쌓였다. 감독 기능이 처음부터 끝까지 켜져 있었고 Codility는 그 모든 걸 기록한다. 테스트 탭을 벗어난 시점, 자리를 비운 시간, 머문 시간, 횟수까지 전부다. 붙여넣기 감시 기능도 돌아가고 있었다. 이 기능은 감독 여부와 상관없이 모든 Codility 테스트에서 켜진다. 직접 입력하지 않은 코드 덩어리가 편집기에 나타나면 플래그와 붙여넣은 정확한 시각이 함께 찍힌다.

거기서 끝도 아니었다. 2025년에는 AI 출력 패턴 대조 기능까지 추가됐다. 예전 스터디 그룹의 한 사람은 CodeSignal에서 바로 그 패턴 때문에 이미 탈락한 적이 있었다. 20분 동안 잠잠하다가 90초 만에 깔끔한 코드 50줄이 나타난 경우였다. 압박을 받는 사람이 그런 식으로 코드를 쓴다고 믿을 사람은 없으니까.

내 제안, 그렇게 아끼던 제안은 그렇게 끝났다. 메일 전문은 평가 검토 중 이상 징후가 관찰됐다는 문장 하나뿐이었다. 그걸 읽고 아마 10분쯤 차 안에 앉아 있다가 집으로 운전해 갔다.

제대로 된 답을 처음 들을 수 있었던 상대는 직장 동료였다. 그는 다른 회사에서 Codility 채용을 운영하고 있었고, 그다음 주말 자기 집에서 피자를 먹다가 노트북으로 채용 대시보드를 기꺼이 열어 보여 줬다. 덕분에 내 참사를 검토자 쪽 화면에서 볼 수 있었다.

피자를 반쯤 먹었을 무렵 알게 된 사실이 있다. 대다수 관리자는 지원자의 코드를 보기도 전에 플래그 페이지부터 확인한다. 다만 내 확장 프로그램을 잡아낸 건 그런 자동화 기능이 아니었다. 사람인 검토자가 내 화면의 모든 프레임을 직접 볼 수 있었기 때문에 들킨 것이다.

그 정보를 다 듣고도 내게 남은 질문은 하나였다. Codility가 실제로 볼 수 있는 범위가 어디까지냐는 것. 동료의 답은 그달에 들은 어떤 말보다 마음을 가라앉혀 줬다. Codility는 브라우저에서 실행된다. 감독 기능이 보는 것은 평가 탭과 웹캠, 화면 녹화이며 그게 경계의 전부다. Codility는 컴퓨터에서 실행 중인 프로세스를 훑을 수 없다. 브라우저 페이지를 건드리지 않는 데스크톱 앱을 찾아낼 장치도 없다.

불쾌하고도 끔찍한 일이었고 흰머리가 잔뜩 늘었다. 그래도 이 일을 겪고 아무것도 배우지 못했다면 더 억울하지 않았겠나.

감독이 꺼져 있다고 절대로 짐작하지 말 것. 초대장에 아무 말이 없어도, 채용 담당자의 말투가 가벼워도, 테스트가 평범한 시간제한 평가처럼 보여도 마찬가지다. 절대로. 어떤 회사는 끝까지 알려 주지 않는다. 누가 녹화를 돌려 볼지도 알 수 없다. 이후 내게 도움이 된 건 연습 세션에서 내 화면을 직접 녹화하고 영상을 다시 확인한 일이었다. 내 눈에 도구가 보인다면 채용팀 눈에도 보인다.

그래도 내 이야기는 결국 괜찮은 쪽으로 풀렸다. 돌이킬 수 없는 일은 없었고, 수습을 마친 뒤 설정 전체를 InterviewMan으로 옮겼다. 우리가 바로 이런 상황을 위해 데스크톱 앱으로 만든 제품이다. 연간 결제 기준 한 달 $12이고, 기본 가격에 20개가 넘는 스텔스 기능이 들어 있다. 애드온으로 따로 파는 것은 없다. Cluely는 스텔스 모드에 $130를 추가로 받으며, LockedIn은 세션을 90분으로 제한하면서 가격은 $119.99다.

감독 기능이 켜진 Codility 한 번, 꺼진 Codility 한 번에 사용해 봤는데 둘 다 플래그는 0개였다. 두 번 모두 내 화면도 직접 녹화한 뒤 프레임 단위로 확인했다. 오버레이가 찍힌 프레임은 단 하나도 없었다. 화면 캡처와 Dock, Activity Monitor, 프로세스 목록에서 모두 숨는다. 입력도 내 평소 모습 그대로였다. 힌트를 읽고 내 방식대로 코드를 썼으며, 지우고 고치는 과정도 그대로 남겼다. 지금 사용자는 57,000명이고 리뷰 257개에서 별점은 4.8이다. InterviewMan을 쓰다 Codility에서 적발됐다는 사례는 단 한 건도 찾지 못했다.

다른 누구도 나처럼 브라우저 확장 프로그램과 데스크톱 앱의 차이를 배워야 하는 일은 없었으면 한다.

내 녹화 영상을 검토한 사람이 누구인지는 끝내 알지 못했다.

채용 담당자는 과정 내내 친절했다. 그런데 마지막 메일에는 인사말조차 없었다. 그 글을 쓴 사람은 현행범으로 부정행위자를 잡았다고 믿었을 것이다. 녹화에 찍힌 장면을 생각하면 나도 딱히 반박할 수 없다.

그 뒤로 그 자리에 누가 채용됐는지 확인하는 일도 그만뒀다. 알고 싶지 않았고 더는 관심도 없었다. 경계해야 할 때 순진하게 마음을 놓은 나 자신에게 그저 화가 났다. $180,000, Chrome 확장 프로그램 하나. 진작 알았어야 했다.