센텐스피스(SentencePiece)

구글의 비공식 언어 라이브러리로써, 언어에 상관없이 비감독학습으로 문장을 토큰나이즈 (분석단위로 끊는것)

깃허브 : https://github.com/google/sentencepiece