Vocabulary Richness

Vocabulary Richness의 측정 결과

SlopBench(ChatGPT 이전에 쓰인 사람의 글 1,626편과 현재 모델 14종이 쓴 AI 글 1,626편, 15가지 글 유형)에서 Vocabulary Richness의 AUC는 0.362였습니다. 기계 글에는 평균 0.090, 현대 사람 글에는 0.136을 주었습니다. AUC는 무작위로 고른 AI 글을 사람 글보다 위에 둘 확률로, 1.0은 완벽한 구분, 0.5는 동전 던지기와 같습니다.

한 부분은 가장 중요한 실패를 시험합니다. 1532년부터 1915년 사이에 출간된 87단락(마키아벨리, 오스틴, 멜빌, 카프카)으로, 언어 모델보다 한 세기 이상 앞선 글이라 높은 점수는 정의상 모두 오류입니다. Vocabulary Richness은 이들에 0.120을 주었습니다. 이는 현대 사람의 글에 대한 점수와 비슷해서, 옛 문체에 대한 편향이 측정되지 않습니다.

점수에서의 역할

Vocabulary Richness은(는) 엔진 23개 표의 한 줄로, 신경망 분류기, GPT-2 모델 기반 통계 검사, 글 자체를 보는 검사와 나란히 있습니다. 엔진 하나가 판정을 정하지는 않습니다.

전체 점수는 SlopBench로 맞춘 로지스틱 모델에서 나옵니다. 이 모델은 다른 엔진의 결과를 이미 아는 상태에서 각 엔진이 더해 주는 정보만큼 가중치를 줍니다. 비슷한 데이터로 학습한 분류기처럼 함께 틀리는 탐지기는 두 번 세어지지 않습니다.

23개 엔진이 점수를 내는 방법

SlopTotal은 모델 하나의 의견만 묻지 않습니다. 독립된 탐지기 23개를 돌리고 23개 점수를 모두 보여 줍니다. 쓸모 있는 정보는 의견이 갈리는 곳에 있는 경우가 많기 때문입니다. 9개는 사람의 글과 기계의 글을 구분하도록 학습한 신경망 분류기로, DeBERTa-v3-large, RoBERTa-large, 파라미터 440만 개짜리 BERT-tiny 등이 있습니다. 7개는 학습이 필요 없는 통계 검사로, 퍼플렉서티, 토큰 순위, log-rank, 두 모델 사이의 교차 엔트로피를 이용해 글이 GPT-2 모델에게 얼마나 예측하기 쉬운지 잽니다. 나머지 7개는 글 자체를 읽으며 문장 길이의 변화, 어휘, 구조, 얼버무리는 표현, AI 모델이 자주 쓰는 상투적인 문구를 봅니다.

전체 점수는 평균이 아닙니다. SlopBench로 맞춘 로지스틱 모델이 다른 엔진의 결과를 이미 아는 상태에서 각 엔진이 더해 주는 정보만큼 가중치를 주기 때문에, 같은 식으로 틀리는 엔진이 두 번 세어지지 않습니다. 아주 짧은 글은 가운데 쪽으로 당겨집니다. 단어 몇 개로는 증거가 많지 않기 때문입니다.

판정 구간은 사람의 글을 기준으로 정합니다. 45점은 점수가 가장 높은 상위 5%의 사람 글이 시작되는 지점이고, 55점은 상위 2%, 80점은 상위 0.5%입니다. 따라서 55점 이상이라면 사람의 글 100개 중 그만큼 높은 점수를 받는 글이 2개 미만이라는 뜻입니다. 다른 언어에는 각자의 모델이 있으며, 언어마다 지원, 실험적, 아직 신뢰하기 어려움 중 하나로 표시됩니다.

글 3,252개로 측정

정확도 수치는 무엇으로 측정했는지 밝히지 않으면 의미가 거의 없습니다. SlopTotal은 SlopBench로 측정합니다. SlopBench는 모두 ChatGPT가 나오기 전에 쓰인 사람의 글 1,626개와, 같은 주제와 같은 길이로 최신 모델 14개(GPT-6, DeepSeek, Qwen, Llama, Mistral, Gemma, GLM 등)가 쓴 AI 글 1,626개로 이루어진 공개 벤치마크입니다. 뉴스, 백과사전, 과학 논문 초록, 질의응답 답변, Reddit 게시물, 리뷰, 학생 에세이, 비원어민의 영어, 소설을 아우릅니다. 한 종류의 글로만 시험한 탐지기의 수치는 실제 환경에서 무너지기 때문입니다.

불공정을 잡아내기 위한 부분이 둘 있습니다. 1532년부터 1915년 사이에 출간된 문학 87단락으로, 높은 점수는 정의상 모두 오류입니다. 그리고 영어를 제2언어로 쓰는 사람들의 에세이로, 탐지기가 가장 자주 잘못 의심하는 사람들입니다. 주요 수치는 모두 모델 조정에 쓰지 않은 유형의 글로 측정했으며, 결과는 실패까지 포함해 저장소에 공개되어 있습니다.

탐지가 통하지 않는 지점

짧은 글은 어떤 탐지기에서도 믿기 어렵습니다. 약 80단어 미만에서는 단어 선택만으로 점수가 크게 흔들리고, 약 200단어부터 안정됩니다. 트윗 하나에 확신에 찬 답이 나오면 그 답을 의심하세요.

살짝 고친 AI 글이 가장 어려운 경우입니다. 사람이 고쳐 쓸 때마다 기계의 흔적이 지워지고, 어디서부터는 고쳐 써도 상관없다는 경계는 없습니다. 소스 코드는 대상이 아닙니다. 엔진은 자연어로 학습했기 때문에 AI가 쓴 코드를 확실히 탐지하지 못하며, SlopTotal도 그렇게 주장하지 않습니다.

점수는 증거이지 판결이 아닙니다. 23개 점수로 어디를 보고 무엇을 물을지 정한 다음, 실제로 물어보세요. 탐지기 결과 하나만으로 성적, 채용, 게재를 결정해서는 안 됩니다.