Haekt‘s log

trade-off 문제로 n 선택시, 5 를 넘으면 안된다.(희소문제, 모델크기 증가) 참고 - 점프 투 파이썬 - ngram n-gram 은 n개의 단어로 이루어진 언어를 구분하기 위한 언어모델이다 . 언어의 갯수마다 명칭이 다르며, 각 명칭은 아래와 같다 . unigrams : 1개 bigrams : 2개 trigrams : 3개 4-grams : 4개 언어분리는 오직 n-1 개의 단어에만 적용된다. 만약 4-gram 을 사용하여 언어 예측을 한다고 했을 경우 4-1 인 3개의 단어만을 가지고 예측을 하게 된다. 💡 나는 행복한 하루를 보냈어. 너는 어떤 하루를 보냈니? 위 문자 다음에 올 내용을 4-gram 으로 예측한다고 했을 경우. 앞의 단어들은 무시하고, 예측할 부분 바로 이전의 3단어인 어떤..

내가 만든 프로그램을 테스트 해보려는 순간, 위와 같은 오류가 발생했다. 찾아보니 python2 에서 기본 인코딩 방식은 ASCII 로, utf-8 과 ASCII 인코딩 방식이 달라서 그렇다고 한다. 아마 코드안에 utf-8 로 인코딩 해야하는 문자가 있었기에 발생하지 않았나 싶다. 해결방법은 간단했다. # -*- coding: utf-8 -*- 추가하기. 아래와 같이 첫 줄에 추가하면 해결된다. # -*- coding: utf-8 -*- import os def test(): # ... codes ...

Python 프로젝트를 진행하던 중, 디렉토리 안의 특정 파일을 따로 뽑아와야 하는 상황이 발생했다. 그래서 OS 모듈을 사용하여 특정 디렉토리의 파일 리스트를 뽑아오도록 했다. 코드는 생각보다 매우 간단하다. - 특정 디렉토리의 파일 리스트 뽑아오기 (폴더 포함)# OS 모듈을 import import os # os.listdir( ) 함수에 특정 디렉토리 경로 입력하여, 디렉토리 안의 파일들을 리스트로 저장. file_list = os.listdir('경로') # ex) os.listdir('/home/hello/test1') # 파일 리스트 출력 print(file_list) 위의 코드만 작성해도, 간단하게 디렉토리 안의 파일들을 리스트로 뽑아올 수 있다. 단, 파일이 들어있는 폴더의 경우에는 안의..