단어 빈도 분석 · 많이 나온 단어 세기

단어를 어떻게 나누는가

한글·영문·숫자가 아닌 모든 문자(공백, 쉼표, 마침표, 괄호, 따옴표 등)를 경계로 보고 쪼갭니다. 그래서 한국어에서는 "어절" 단위가 됩니다. 계산기를과 계산기는은 다른 단어로 세어지며, 이것이 한국어 빈도 분석이 영어보다 어려운 이유입니다. 하이픈과 아포스트로피는 단어 내부에서만 유지됩니다(don't, e-mail). 집계는 브라우저 안에서만 이루어집니다.

조사 제거 옵션의 한계

형태소 분석기 없이 단어 끝이 은·는·이·가·을·를·의·에·에서·으로·로·와·과·도로 끝나면 그 부분을 떼어 냅니다. 계산기를·계산기는·계산기가가 계산기로 합쳐져 결과가 훨씬 쓸 만해지지만, 규칙이 단순하기 때문에 오류가 생깁니다. 나이는 나로, 사과는 사로 잘립니다. 두 글자 이하 단어는 자르지 않도록 해 피해를 줄였지만 완전하지 않습니다. 정확한 분석이 필요하면 KoNLPy, Mecab, Kiwi 같은 형태소 분석기를 쓰고, 이 도구는 빠른 경향 파악용으로 보는 것이 맞습니다. 어미(했다, 합니다, 하는)는 제거하지 않습니다.

불용어를 어떻게 처리할까

"그리고", "하지만", "the", "of" 같은 기능어는 어떤 글에서든 상위에 오릅니다. 불용어 목록을 따로 두지 않았으므로 결과 표에서 눈으로 걸러 내거나 최소 글자 수를 올려 짧은 기능어를 줄이세요. 한글은 최소 2글자, 영문은 최소 3~4글자로 두면 잡음이 꽤 사라집니다.

어휘 다양성(TTR)

서로 다른 단어 수를 전체 단어 수로 나눈 값입니다. 1에 가까울수록 같은 단어를 덜 반복했다는 뜻입니다. 다만 글이 길수록 값이 자연스럽게 낮아지므로 길이가 비슷한 글끼리만 비교하는 것이 의미가 있습니다.

자주 묻는 질문