AI 휴머나이저는 효과가 있을까?

엔진이 살펴보는 것

모든 LLM의 글로 학습한 분류기, 각 단어가 얼마나 예측하기 쉬운지 재는 통계 검사, 그리고 AI 모델이 자주 반복하는 구조와 표현 검사입니다. 모델마다 글쓰기 버릇이 달라서, 한 엔진이 놓친 글을 다른 종류의 엔진이 잡아내는 경우가 많습니다.

짧은 글은 신호가 약합니다. 최소 80단어, 가능하면 200단어 이상을 쓰세요.

결과 읽는 법

점수는 0에서 100까지입니다. 55점 이상을 받는 사람의 글은 100개 중 2개 미만이고, 80점 이상은 200개 중 1개 미만입니다. 점수 옆에 표시되는 단계 이름(깨끗함, 낮은 위험, 의심, AI 생성 가능성 높음, 슬롭 탐지)도 같은 기준을 따르므로, 보고서를 다른 사람에게 보여 줄 때는 숫자와 단계 이름을 함께 전하는 것이 좋습니다.

엔진 표도 확인하세요. 거의 모든 엔진이 일치하면 점수는 강한 증거입니다. 의견이 갈리면 AI의 도움을 받아 썼거나 많이 고친 글인 경우가 많으니, 사람이 더 꼼꼼히 읽어 볼 만합니다.

배경

휴머나이저는 탐지기가 더 이상 표시하지 않을 때까지 AI 글을 고쳐 씁니다. 우리 테스트에서 SlopTotal 점수가 30 아래로 내려갈 때까지 계속 고쳐 쓰는 반복은 AI 글 20편 중 19편을 통과시켰지만, 대부분 원문에 없던 세부 내용과 주장을 덧붙인 결과였습니다. 사실을 더하거나 뜻을 바꾼 고쳐 쓰기를 거부하자 20편 중 4편만 통과했고, 학생 에세이는 한 편도 통과하지 못했습니다. 글쓴이가 쓴 적 없는 말을 하게 되어서야 사람 글처럼 보이는 글은 점수보다 더 큰 문제를 안고 있습니다.

23개 엔진이 점수를 내는 방법

SlopTotal은 모델 하나의 의견만 묻지 않습니다. 독립된 탐지기 23개를 돌리고 23개 점수를 모두 보여 줍니다. 쓸모 있는 정보는 의견이 갈리는 곳에 있는 경우가 많기 때문입니다. 9개는 사람의 글과 기계의 글을 구분하도록 학습한 신경망 분류기로, DeBERTa-v3-large, RoBERTa-large, 파라미터 440만 개짜리 BERT-tiny 등이 있습니다. 7개는 학습이 필요 없는 통계 검사로, 퍼플렉서티, 토큰 순위, log-rank, 두 모델 사이의 교차 엔트로피를 이용해 글이 GPT-2 모델에게 얼마나 예측하기 쉬운지 잽니다. 나머지 7개는 글 자체를 읽으며 문장 길이의 변화, 어휘, 구조, 얼버무리는 표현, AI 모델이 자주 쓰는 상투적인 문구를 봅니다.

전체 점수는 평균이 아닙니다. SlopBench로 맞춘 로지스틱 모델이 다른 엔진의 결과를 이미 아는 상태에서 각 엔진이 더해 주는 정보만큼 가중치를 주기 때문에, 같은 식으로 틀리는 엔진이 두 번 세어지지 않습니다. 아주 짧은 글은 가운데 쪽으로 당겨집니다. 단어 몇 개로는 증거가 많지 않기 때문입니다.

판정 구간은 사람의 글을 기준으로 정합니다. 45점은 점수가 가장 높은 상위 5%의 사람 글이 시작되는 지점이고, 55점은 상위 2%, 80점은 상위 0.5%입니다. 따라서 55점 이상이라면 사람의 글 100개 중 그만큼 높은 점수를 받는 글이 2개 미만이라는 뜻입니다. 다른 언어에는 각자의 모델이 있으며, 언어마다 지원, 실험적, 아직 신뢰하기 어려움 중 하나로 표시됩니다.

글 3,252개로 측정

정확도 수치는 무엇으로 측정했는지 밝히지 않으면 의미가 거의 없습니다. SlopTotal은 SlopBench로 측정합니다. SlopBench는 모두 ChatGPT가 나오기 전에 쓰인 사람의 글 1,626개와, 같은 주제와 같은 길이로 최신 모델 14개(GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma, GLM 등)가 쓴 AI 글 1,626개로 이루어진 공개 벤치마크입니다. 뉴스, 백과사전, 과학 논문 초록, 질의응답 답변, Reddit 게시물, 리뷰, 학생 에세이, 비원어민의 영어, 소설을 아우릅니다. 한 종류의 글로만 시험한 탐지기의 수치는 실제 환경에서 무너지기 때문입니다.

불공정을 잡아내기 위한 부분이 둘 있습니다. 1532년부터 1915년 사이에 출간된 문학 87단락으로, 높은 점수는 정의상 모두 오류입니다. 그리고 영어를 제2언어로 쓰는 사람들의 에세이로, 탐지기가 가장 자주 잘못 의심하는 사람들입니다. 주요 수치는 모두 모델 조정에 쓰지 않은 유형의 글로 측정했으며, 결과는 실패까지 포함해 저장소에 공개되어 있습니다.

탐지가 통하지 않는 지점

짧은 글은 어떤 탐지기에서도 믿기 어렵습니다. 약 80단어 미만에서는 단어 선택만으로 점수가 크게 흔들리고, 약 200단어부터 안정됩니다. 트윗 하나에 확신에 찬 답이 나오면 그 답을 의심하세요.

살짝 고친 AI 글이 가장 어려운 경우입니다. 사람이 고쳐 쓸 때마다 기계의 흔적이 지워지고, 어디서부터는 고쳐 써도 상관없다는 경계는 없습니다. 소스 코드는 대상이 아닙니다. 엔진은 자연어로 학습했기 때문에 AI가 쓴 코드를 확실히 탐지하지 못하며, SlopTotal도 그렇게 주장하지 않습니다.

점수는 증거이지 판결이 아닙니다. 23개 점수로 어디를 보고 무엇을 물을지 정한 다음, 실제로 물어보세요. 탐지기 결과 하나만으로 성적, 채용, 게재를 결정해서는 안 됩니다.