soynlp

soynlp는 단어 추출·토크나이저·품사 판별·전처리를 제공하는 한국어 자연어처리 파이썬 라이브러리입니다.

GitHub 현황 (2026년 8월 기준)

• 스타 987 · 포크 184
• 저장소 lovit/soynlp · 마지막 push 2026-03-10

사전 없이 단어를 찾는다는 것

대부분의 한국어 형태소 분석기는 사전에 있는 단어만 압니다. 그래서 신조어·은어·도메인 용어가 나오면 엉뚱하게 쪼갭니다. “킹받네”나 업계 약어가 그렇습니다.

soynlp는 말뭉치 안의 통계로 단어 경계를 추정합니다. 같은 글자 뭉치가 여러 문맥에서 반복되면 단어로 봅니다. 사전을 만들지 않고도 그 데이터에 맞는 어휘를 얻는 방식입니다.

잘 맞는 자리

댓글·리뷰·채팅처럼 사전에 없는 말이 많은 데이터에 강합니다. 반대로 신문 기사처럼 표준어가 많은 텍스트에서는 기존 분석기가 더 정확합니다. 도구를 고르는 기준이 성능이 아니라 데이터의 성격이 되는 경우입니다.

그리고 추출된 “단어”가 언어학적으로 옳은 단위가 아닐 수 있습니다. 자주 붙어 나오는 조각을 단어로 볼 뿐이라, 검색·분류에는 충분해도 문법 분석에는 부적합합니다.

함께 볼 한국어 처리 오픈소스

• Hangul.js: 자음·모음 분해와 조합(오토마타)
• KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델
• im-not-ai: 한국어 글에서 번역투·기계적 대구를 찾아 고침
• Kiwi: 형태소 분석기(C++ 코어)
• KSS: 문장 분리를 비롯한 문자열 처리 스위트
• 가루(garu): 형태소·용언 처리
• Hangulize: 외국어를 한글 표기로 변환

soynlp는 이 중 “사전을 안 쓰는” 쪽입니다. 형태소 분석기들이 규칙과 사전으로 정확도를 얻는다면, 이쪽은 데이터에서 어휘를 만들어냅니다. 신조어가 많은 데이터에서 둘의 결과가 크게 갈립니다.

이런 분께 맞아요

• 댓글·리뷰 등 구어체 데이터를 다루는 분석가
• 신조어 때문에 형태소 분석이 깨지던 개발자
• 도메인 용어 사전을 만들 시간이 없는 팀
• 비지도 단어 추출 방식을 배우려는 학습자