AI 글 탐지기의 한계 — 점수보다 내 경험

결론 먼저 — 고장 잦은 저울에 몸을 맞추지 않는다 (연구소 의견)

눈금이 들쭉날쭉한 저울이 있다면, 그 저울 숫자에 맞추려고 옷을 벗었다 입었다 하지 않습니다. AI 글 탐지기가 그런 저울입니다. 탐지기에 글을 넣어 보고 점수를 낮추려 문장을 비트는 일은 시간을 버리는 일이고, 글을 더 어색하게 만듭니다. 볼 것은 점수가 아니라 글에 내 경험과 판단이 들어 있는가입니다.

만든 회사가 내렸다 — OpenAI의 공지

• 2023년 1월 분류기를 공개하며 OpenAI는 「AI가 쓴 모든 글을 안정적으로 탐지하는 것은 불가능하다」고 먼저 밝혔습니다.
• 당시 자체 평가(영어 글 묶음 기준)에서 AI 글을 맞힌 비율은 26%, 사람 글을 AI 글로 잘못 본 비율은 9%였습니다.
• 한계 목록에는 「주된 판단 도구로 쓰면 안 된다」, 「사람이 쓴 글이 틀리게, 그러나 확신에 찬 판정으로 AI 글로 표시되기도 한다」가 들어 있습니다.
• 영어 글에만 쓰기를 권했습니다. 다른 언어에서는 성능이 크게 떨어진다고 했습니다.

대학 쪽의 판단 — 밴더빌트대 · MIT 슬론

• 밴더빌트대: 2023년 8월 공지에서 Turnitin이 밝힌 오탐률 1%를 실제 과제 수에 대입해 보였습니다. 이 대학은 2022년 Turnitin에 과제 75,000건을 제출했습니다. 이 수에 대입하면 약 750건이 잘못 표시될 수 있다는 계산입니다. 비원어민이 쓴 글이 AI 글로 표시될 가능성이 더 높다는 연구도 함께 언급했습니다.
• MIT 슬론 교수학습기술팀: 「AI 탐지 소프트웨어는 오류율이 높고, 교수자가 학생을 부정행위로 잘못 지목하게 만들 수 있다」고 적었습니다. 이어서 소개한 연구(Liang 외, 2023)에서는 탐지기 7종이 비원어민의 TOEFL 에세이 61%를 AI 글로 잘못 표시했습니다. 원어민의 글은 「약 5%(about 5%)」였다고 MIT 슬론은 옮겨 적었습니다.

그래서 지원자는 무엇을 하나 (연구소 의견)

• 탐지기 점수를 목표로 삼지 않습니다. 탐지기를 통과하도록 글을 비트는 것은 속이는 일이기도 합니다.
• 공고가 「AI 활용 여부를 검증한다」고 적었다면 도구가 얼마나 정확한지와 상관없이 그 규칙을 따릅니다. 유형은 자기소개서와 AI 글에서 확인합니다.
• 하버드 커리어센터는 이력서의 모든 줄을 면접에서 설명할 수 있어야 한다고 안내합니다. 대비할 것은 탐지기 점수가 아니라 면접관의 질문입니다.
• 제출 전에는 셀프 점검표 10항목으로 사실 · 고유한 이름 · 내 판단이 들어갔는지 확인합니다.

억울하게 의심받을까 걱정된다면 (연구소 의견)

직접 쓴 글이 AI 글로 의심받을까 걱정된다면, 방법은 글을 비트는 것이 아니라 과정을 남기는 것입니다. 경험 메모, 초안, 고친 흔적을 날짜와 함께 보관해 두면 「이 글을 어떻게 썼나요」라는 질문에 그대로 보여 줄 수 있습니다.