AI 글 판별기, 믿어도 될까?

AI로 쓴 글을 잡아낸다는 판별기에 문장을 넣으면 몇 초 만에 “AI일 확률 87%” 같은 숫자가 나옵니다. 숫자가 구체적이다 보니 사람은 자연스럽게 객관적인 검사 결과처럼 받아들이기 쉽습니다. 저도 이런 도구를 볼 때 가장 먼저 드는 의문은 “87%라는 숫자가 정확히 무엇을 뜻하는가”입니다. 실제로는 판별기마다 학습 데이터와 기준이 다르고, 같은 글도 도구에 따라 결과가 달라질 수 있습니다. 특히 사람이 쓴 글과 AI가 일부 보조한 글이 섞인 현실적인 상황에서는 단순한 이분법이 잘 맞지 않는 경우가 많습니다.

 

2026년에도 AI 텍스트 판별기의 신뢰도를 검증한 연구가 계속 발표되고 있습니다. 일부 도구의 성능은 이전보다 개선됐지만, 연구 결과는 여전히 “판별 점수 하나만으로 작성자를 확정하면 안 된다”는 쪽에 가깝습니다. 저는 이 주제에서 가장 중요한 포인트가 판별기의 성능 순위를 매기는 것이 아니라, 결과를 어느 수준까지 증거로 받아들여야 하는지 이해하는 것이라고 봅니다.

판별 점수의 의미

AI 글 판별기는 글의 통계적 패턴이나 문장 특성을 보고 AI 생성 가능성을 추정합니다. 하지만 이 결과를 혈액검사처럼 확정적인 수치로 이해하면 곤란합니다. 2026년 International Journal for Educational Integrity에 실린 연구에서는 Turnitin과 Originality를 인간 작성, AI 작성, 혼합 작성 텍스트에 적용했는데 전체 정확도가 완벽하지 않았고 특히 인간과 AI가 섞인 Hybrid 텍스트에서 성능이 크게 떨어졌습니다. 다른 2026년 연구도 여러 상용 도구를 비교한 뒤 일부 도구가 개선된 성능을 보였지만 결과를 고위험 판단의 단독 증거로 쓰면 안 된다고 결론 내렸습니다.

 

제가 보기에는 이 결과가 현실과 잘 맞는 것 같습니다. 실제 글쓰기는 “사람 100% vs AI 100%”로 깔끔하게 나뉘지 않기 때문입니다. 아이디어만 AI에게 물어보고 본문은 직접 쓸 수도 있고, 직접 쓴 초안을 AI로 교정할 수도 있으며, AI가 쓴 문단을 자신의 경험과 생각으로 크게 고칠 수도 있습니다. 이런 과정을 하나의 퍼센트로 환산해 작성 주체를 단정하려는 것 자체에 한계가 있습니다. 그래서 판별기의 숫자는 의심을 시작하는 신호 정도로 보는 것이 타당하고, 숫자가 높다는 이유만으로 작성 과정을 모두 설명해준다고 생각하지 않는 편이 좋습니다.

오탐과 누락 가능성

판별기에서 가장 민감한 문제는 사람이 직접 쓴 글을 AI로 판단하는 오탐입니다. 2026년 연구들에서도 도구와 글의 종류에 따라 성능 차이가 확인됐고, 비원어민 학술 글이나 특정 문체에서 공정성 문제가 지적됐습니다. 반대로 AI가 만든 글을 사람이 조금 수정하거나 여러 방식으로 섞었을 때 AI 비중을 낮게 잡는 누락도 발생할 수 있습니다. 즉 한 방향으로만 틀리는 도구가 아니라 상황에 따라 양쪽 오류가 모두 가능하다는 점을 알아야 합니다.

 

개인적으로는 이 때문에 AI 판별기 점수를 낮추는 것 자체를 목표로 글을 쓰는 것은 방향이 잘못됐다고 생각합니다. 문장을 일부러 어색하게 만들거나 불필요하게 구어체를 섞어 판별기를 통과하는 것보다, 직접 확인한 정보와 자신의 판단, 경험을 넣어 글의 실제 가치를 높이는 것이 훨씬 중요합니다. Google AdSense나 검색 품질을 생각해도 마찬가지입니다. 검색엔진이 특정 공개 AI 판별기 점수를 그대로 승인 기준으로 쓴다고 볼 근거는 없고, 결국 독자에게 추가 가치가 있는지가 더 본질적인 문제입니다.

실용적인 활용 범위

그렇다고 AI 판별기가 아무 의미도 없다고 보는 것은 아닙니다. 동일한 조건에서 여러 글을 비교하거나, 학생이나 조직이 작성 과정을 점검하는 보조 도구로는 참고할 수 있습니다. 다만 결과를 볼 때는 어떤 도구인지, 어느 언어와 글 유형을 대상으로 했는지, 텍스트 길이가 충분한지, 사람이 수정한 흔적이 있는지를 함께 보는 것이 낫습니다. 하나의 판별기에서 90%가 나왔다고 해서 다른 판별기에서도 같은 결과가 나오는 것은 아니며, 10%라고 해서 AI가 전혀 사용되지 않았다는 뜻도 아닙니다.

 

저라면 블로그 글을 쓴 뒤 판별기 결과보다 먼저 “이 글에 내가 직접 보탠 것이 무엇인가”를 확인하겠습니다. 공식자료를 그대로 풀어쓴 것인지, 아니면 여러 자료를 비교해 판단 기준을 만들었는지, 독자가 실제로 겪을 수 있는 상황을 설명했는지, 내가 동의하지 않는 부분에 대한 비평이 있는지를 보는 식입니다. 이런 요소는 단순히 AI 티를 줄이는 장치가 아니라 글의 존재 이유를 만들어줍니다. AI 시대의 좋은 글은 AI를 안 쓴 글이라기보다, 도구를 사용하더라도 작성자의 판단과 책임이 남아 있는 글에 더 가깝다고 생각합니다.