전체 중복과 연속 중복
「첫 등장만 남깁니다」는 목록 어디에 있든 같은 줄이 두 번째로 나오면 지웁니다. 명단이나 이메일 주소 목록을 정리할 때 보통 이쪽입니다. 「바로 위와 같은 줄만 지웁니다」는 이웃한 줄끼리만 비교합니다. 로그 파일에서 같은 메시지가 연달아 백 번 찍힌 것을 한 줄로 줄일 때, 또는 정렬은 이미 되어 있고 순서를 흐트러뜨리고 싶지 않을 때 씁니다. 둘의 결과가 다르면 떨어져 있는 중복이 있다는 뜻이고, 화면 아래에 그 사실을 알려 줍니다. 나머지 세 가지는 지우는 대신 걸러 냅니다. 「두 번 이상 나온 줄만」은 어떤 항목이 겹쳤는지 확인할 때, 「한 번만 나온 줄만」은 반대로 중복 없이 딱 하나뿐인 항목을 찾을 때 편합니다.
무엇을 같은 줄로 볼 것인가
이 도구의 핵심은 지우는 방식이 아니라 비교 기준입니다. 김민수와 김민수 (뒤에 공백)는 컴퓨터에게 다른 글자입니다. 엑셀에서 복사하거나 여러 파일을 이어 붙이면 이런 줄이 반드시 섞이므로 공백 무시는 기본으로 켜 두었습니다. 켜면 앞뒤 공백을 떼고 줄 가운데의 연속된 공백도 하나로 줄여서 비교합니다. 다만 비교만 그렇게 할 뿐 결과에 남는 줄은 원본 그대로입니다. 공백까지 깨끗하게 정리된 결과를 원한다면 줄 일괄 정리를 거치세요. 대소문자 무시는 기본으로 꺼 두었습니다. 이메일 주소라면 켜는 편이 맞지만 코드나 아이디 목록이라면 대소문자가 실제로 다른 값일 수 있어서입니다.
정렬과 횟수 표시
정렬을 「원래 순서 그대로」로 두면 목록의 흐름이 유지됩니다. 가나다순은 한국어 정렬 규칙을 따라 숫자, 한글, 영문 순으로 늘어섭니다. 다만 숫자는 글자로 비교하므로 10번이 2번보다 앞에 옵니다. 숫자 크기대로 늘어놓아야 한다면 앞자리를 0으로 채워 자릿수를 맞춰 두세요. 「많이 나온 순」은 겹친 횟수가 큰 줄부터 보여 주는데, 같은 횟수끼리는 원래 순서를 지킵니다. 줄 앞에 횟수를 붙이는 옵션을 켜면 3× 사과처럼 나옵니다. 이 형태는 어떤 항목이 몇 번 들어왔는지 보고할 때는 편하지만, 그대로 다른 곳에 붙여 넣으면 앞의 숫자가 데이터에 섞여 들어가니 옮겨 담을 목적이라면 꺼 두세요.
한계
줄 단위로만 비교합니다. 한 줄 안에서 같은 낱말이 반복되는 것은 손대지 않고, 사과, 사과, 배처럼 쉼표로 이어진 목록도 한 줄이면 한 항목으로 봅니다. 이런 자료는 먼저 쉼표를 줄바꿈으로 바꿔 한 줄에 하나씩 만든 뒤에 넣으세요. 비슷하지만 완전히 같지는 않은 줄(김민수와 김민수(팀장))은 다른 줄로 봅니다. 표기가 흔들리는 자료에서 비슷한 항목을 묶는 일은 사람이 판단해야 하고, 두 글의 닮은 정도만 재려면 텍스트 유사도가 따로 있습니다. 한 번에 2만 줄까지 처리하며, 그보다 긴 자료는 브라우저가 버티더라도 화면을 그리는 데 시간이 걸립니다.
자주 묻는 질문
원래 순서를 유지하면서 중복만 지울 수 있나요?
그것이 기본 동작입니다. 정렬을 「원래 순서 그대로」로 두고 「첫 등장만 남깁니다」를 고르면 목록의 차례는 그대로이고 두 번째부터 나온 줄만 사라집니다. 반대로 마지막에 적힌 값이 최신이라 그쪽을 남기고 싶다면 「마지막 등장만 남깁니다」를 고르세요. 이 경우에도 남은 줄들의 상대적 순서는 원본 그대로입니다.
이메일 주소 목록에서 대소문자만 다른 중복도 잡히나요?
「대소문자를 같은 것으로 봅니다」를 켜면 잡힙니다. 메일 주소의 도메인 부분은 대소문자를 구분하지 않는 것이 규칙이라 Hong@Example.com과 hong@example.com은 같은 곳으로 배달됩니다. 다만 이 옵션은 비교에만 쓰이고 결과에 남는 줄은 먼저 나온 쪽의 표기 그대로입니다. 소문자로 통일하고 싶다면 결과를 복사해 대소문자·케이스 변환에 한 번 더 넣으세요.
몇 줄이 지워졌는지 확인하고 싶습니다.
결과 아래 「숫자로 보기」에 붙여 넣은 줄, 빈 줄, 비교한 줄, 서로 다른 줄, 남은 줄이 모두 적힙니다. 「많이 겹친 줄」 표에서는 어떤 항목이 몇 번 들어왔고 처음 나온 자리가 몇 번째 줄인지도 볼 수 있습니다. 지워진 줄의 목록 자체가 필요하다면 방식을 「두 번 이상 나온 줄만 모아 봅니다」로 바꾸면 겹친 항목만 따로 뽑을 수 있습니다.