Haekt‘s log

trade-off 문제로 n 선택시, 5 를 넘으면 안된다.(희소문제, 모델크기 증가) 참고 - 점프 투 파이썬 - ngram n-gram 은 n개의 단어로 이루어진 언어를 구분하기 위한 언어모델이다 . 언어의 갯수마다 명칭이 다르며, 각 명칭은 아래와 같다 . unigrams : 1개 bigrams : 2개 trigrams : 3개 4-grams : 4개 언어분리는 오직 n-1 개의 단어에만 적용된다. 만약 4-gram 을 사용하여 언어 예측을 한다고 했을 경우 4-1 인 3개의 단어만을 가지고 예측을 하게 된다. 💡 나는 행복한 하루를 보냈어. 너는 어떤 하루를 보냈니? 위 문자 다음에 올 내용을 4-gram 으로 예측한다고 했을 경우. 앞의 단어들은 무시하고, 예측할 부분 바로 이전의 3단어인 어떤..