AI 글 판별기, 믿어도 될까?

AI 판별기에 같은 글을 두 곳에 넣었더니 한 쪽은 22%, 다른 쪽은 71%가 나왔습니다. 숫자가 이렇게 벌어지는데도 이걸 "검사 결과"라고 불러야 할까요? 저도 처음엔 구체적인 퍼센트 숫자를 보고 꽤 신뢰했는데, 직접 써보고 나서 생각이 완전히 바뀌었습니다.

판별 점수, 이게 정말 검사 결과일까

일반적으로 AI 텍스트 탐지기(AI text detector)가 내놓는 수치는 혈액검사처럼 확정적인 결과라고 받아들이기 쉽습니다. 여기서 AI 텍스트 탐지기란 글의 통계적 패턴, 문장 구조의 규칙성, 퍼플렉시티(perplexity) 같은 언어 모델 지표를 분석해서 AI가 생성했을 가능성을 추정하는 도구를 말합니다. 쉽게 말해 사람이 예측 가능한 방식으로 썼는지를 점수로 환산하는 것입니다.

그런데 제가 직접 써봤을 때 이 전제가 흔들렸습니다. 초안은 제가 직접 쓰고 어색한 문장만 AI로 교정한 글을 두 판별기에 넣었더니, A 도구에서는 22%, B 도구에서는 71%가 나왔습니다. 같은 글, 같은 시점입니다. 이 경험 이후로 저는 숫자 자체보다 "이 숫자가 어떤 도구에서 나온 것인지"를 먼저 보게 됐습니다.

2026년 International Journal for Educational Integrity에 실린 연구에서도 비슷한 결론이 나왔습니다. Turnitin과 Originality.ai를 인간 작성, AI 작성, 혼합 작성 텍스트에 각각 적용했을 때, 특히 사람과 AI가 섞인 하이브리드(hybrid) 텍스트 — 즉 두 가지가 혼합된 글 — 에서 성능이 크게 떨어졌습니다(출처: International Journal for Educational Integrity). 제 경험과 연구 결과가 정확히 겹치는 지점이었습니다.

퍼플렉시티(perplexity)라는 개념을 조금 더 풀면, 이것은 언어 모델이 다음 단어를 얼마나 "놀라지 않고" 예측하는지를 나타내는 수치입니다. 예측이 쉬울수록 수치가 낮고, AI가 생성한 글은 이 값이 낮은 경향이 있습니다. 그런데 격식 있는 보고서처럼 문장 구조가 정형화된 글도 이 값이 낮게 나올 수 있습니다. 저도 회사 보고서 형식으로 직접 쓴 글이 AI 확률 높다고 잡힌 적이 있는데, 아이러니하게도 격식 있게 쓴 글이 AI스럽다는 판정을 받은 것입니다. 그 뒤로 저는 판별기가 "AI냐 아니냐"를 보는 게 아니라 "익숙한 통계 패턴이냐 아니냐"를 보는 것에 가깝다는 인상을 갖게 됐습니다.

• AI 텍스트 탐지기는 도구마다 학습 데이터와 판별 기준이 다르다
• 같은 글도 탐지기에 따라 수십 퍼센트 차이가 날 수 있다
• 사람과 AI가 혼합된 하이브리드 글에서 정확도가 가장 낮다
• 정형화된 문체의 인간 작성 글이 오탐(false positive)을 받을 수 있다

오탐과 활용 범위, 어디까지 믿어야 하나

판별기에서 가장 민감하게 봐야 할 문제는 오탐(false positive)입니다. 오탐이란 사람이 직접 쓴 글을 AI가 생성한 것으로 잘못 분류하는 오류를 말합니다. 2026년 여러 연구에서 비원어민 학술 글이나 특정 문체에서 이 오탐 문제가 반복적으로 지적됐습니다(출처: Google Scholar — AI detector accuracy 2026 검색 결과). 제가 경험한 보고서 격식체 오탐도 결국 같은 원리입니다.

반대 방향의 오류도 있습니다. 누락(false negative)이라고 하는데, AI가 생성한 글을 사람 글로 잘못 분류하는 경우입니다. AI 문장을 조금 수정하거나, 여러 방식으로 섞었을 때 AI 비중을 낮게 잡는 현상입니다. 한 방향으로만 틀리는 도구가 아니라 상황에 따라 양쪽 오류가 모두 발생한다는 점이 핵심입니다.

저도 한 번은 판별기 점수를 낮춰보겠다는 생각으로 문장을 일부러 어색하게 바꾸거나 구어체를 섞어봤습니다. 결과는 점수는 크게 안 바뀌고 글만 이상해졌습니다. 그 경험 이후로 저는 판별기 점수를 이겨야 할 게임으로 보지 않게 됐습니다. 애초에 그 방향이 잘못된 것이었습니다.

그렇다고 판별기가 완전히 무의미하다는 뜻은 아닙니다. 동일한 조건에서 여러 글을 비교하거나, 작성 과정을 점검하는 보조 도구로는 참고할 수 있습니다. 하지만 결과를 볼 때는 어떤 도구인지, 어느 언어와 글 유형을 대상으로 했는지, 텍스트 길이가 충분한지를 함께 확인하는 것이 좋습니다. 10%가 나왔다고 해서 AI가 전혀 사용되지 않았다는 뜻도 아니고, 90%가 나왔다고 해서 사람이 쓴 글이 아니라는 뜻도 아닙니다.

제 경험상 가장 판별기를 신뢰할 수 있었던 순간은 극단적인 두 글을 나란히 비교했을 때였습니다. AI에게 통째로 써달라고 한 글은 어느 도구에서나 90% 넘게 나왔고, 제가 처음부터 끝까지 직접 쓴 일기 같은 글은 10% 안팎이었습니다. 그 극단적인 경우에는 분명히 무언가 구분은 합니다. 하지만 그 사이 어딘가에 있는 현실적인 글들에서는 신뢰도가 급격히 떨어집니다.

저는 이제 블로그 글을 쓴 뒤 판별기 점수보다 먼저 스스로에게 묻습니다. "이 글에서 제가 직접 보탠 것이 무엇인가?" 공식 자료를 그대로 풀어쓴 것인지, 여러 자료를 비교해 판단 기준을 만들었는지, 제가 동의하지 않는 부분에 대한 비평이 있는지를 확인하는 것입니다. 이 질문이 판별기 숫자보다 훨씬 믿을 만한 기준이라고 생각합니다.

자주 묻는 질문

Q. AI 글 판별기 점수가 도구마다 다르게 나오는 게 정상인가요?

A. 정상입니다. 도구마다 학습 데이터와 판별 알고리즘이 달라서 같은 글도 수십 퍼센트 차이가 날 수 있습니다. 제가 직접 겪은 22%와 71%의 차이가 그 예입니다. 이 점에서 판별기 수치는 확정적인 검사 결과가 아니라 각 도구의 통계적 추정치에 가깝습니다.

Q. 사람이 직접 쓴 글도 AI로 잡힐 수 있나요?

A. 가능합니다. 이것이 오탐(false positive) 문제인데, 특히 격식체나 정형화된 문장 구조를 가진 글에서 자주 발생합니다. 저도 회사 보고서 형식으로 직접 쓴 글이 AI 확률 높다는 판정을 받은 적이 있습니다. 비원어민 학술 글에서도 이 문제가 반복적으로 보고되고 있습니다.

Q. AI 판별기 점수를 낮추려면 어떻게 해야 하나요?

A. 제 경험상 이건 목표 자체를 바꾸는 것이 맞습니다. 저도 일부러 문장을 어색하게 바꾸거나 구어체를 섞어봤는데, 점수는 크게 안 바뀌고 글만 이상해졌습니다. 점수를 낮추는 것보다 직접 확인한 정보와 자신의 판단을 넣어 글의 실질적인 가치를 높이는 것이 훨씬 효과적입니다.

Q. 검색엔진이나 AdSense는 AI 판별기 점수를 기준으로 쓰나요?

A. 특정 공개 AI 판별기 점수를 그대로 승인 기준으로 쓴다고 볼 근거는 없습니다. 결국 검색엔진이 보는 것은 독자에게 추가 가치가 있는지 여부입니다. 판별기 점수가 낮아도 내용이 없는 글은 평가받기 어렵고, 점수가 높아도 실질적인 정보가 담긴 글은 다르게 취급될 가능성이 있습니다.

결론

AI 글 판별기의 수치는 객관적인 검사 결과처럼 보이지만, 제가 직접 써보고 내린 결론은 "도구마다 다른 추정치"에 가깝다는 것입니다. 같은 글에 22%와 71%가 나오는 상황에서 숫자 하나를 신뢰의 근거로 삼는 것 자체가 위험합니다. 판별기 점수는 의심을 시작하는 신호 정도로 활용하고, 도구의 종류와 글 유형을 함께 보는 것이 최선입니다.

저는 이제 판별기 점수를 이겨야 할 게임으로 보지 않습니다. 글을 쓴 뒤 스스로에게 묻는 것이 더 믿을 만한 기준이 됐습니다. "이 글에 제가 직접 보탠 판단과 경험이 있는가?" 이 질문에 자신 있게 답할 수 있다면, 숫자가 어떻게 나오든 글의 존재 이유는 이미 충분합니다.