Haekt‘s log

아나콘다 도움말 $ conda --help 아나콘다 가상환경 목록 확인 $ conda env list 아나콘다 가상환경 생성 $ conda create -n name python=3 *-n 은 네임설정 옵션. (이름을 name 로 설정 ) *python 버전을 쓴다. 아나콘다 가상환경 정보 확인 $ conda info *활성화 후, 활성화된 가상환경의 정보를 확인 할 수 있다. 아나콘다 가상환경 활성화 $ conda activate name 아나콘다 가상환경 비활성화 $ conda deactivate 아나콘다 가상환경 삭제 $ conda env remove -n name 아나콘다 사용가능 python 버전 검색 $ conda search python 아나콘다 python 버전 변경 $ conda inst..

*참고 https://haekt-log.tistory.com/78 [Python3] 간단한 웹 크롤러 만들기 웹사이트의 html 및 js 코드를 크롤링 해보자. - 필요한 사전 지식 크롤링 : WWW 를 탐색해 나가는 행위를 말한다. 파싱 : 자연어, 컴퓨터 언어 등의 문자열을 분석하는 프로세스를 말한다. 파서 : 파 haekt-log.tistory.com - 라이브러리 설명 re : 정규표현을 처리할 수 있게 하는 Python 라이브러리. - 정규표현식 (? ./files.php?file=86927f...0675 # down_link는 리스트이므로, 문자값으로 바꿔서 초기화 down_link = down_link[0] # 문자열로 바뀐 값을 =를 기준으로 나누어 저장. # ['./files.php?fi..

웹사이트의 html 및 js 코드를 크롤링 해보자. - 필요한 사전 지식 크롤링 : WWW 를 탐색해 나가는 행위를 말한다. 파싱 : 자연어, 컴퓨터 언어 등의 문자열을 분석하는 프로세스를 말한다. 파서 : 파싱을 하는 프로그램을 말한다. - 사용한 라이브러리 urllib : http 관련 요청을 수행할 수 있게 도와주는 python 라이브러리 requests : http 관련 요청을 수행할 수 있게 도와주는 python 라이브러리 ( 쉽고, 안정적이어서 urllib 보다 더 잘 사용된다고 함.) BeautifulSoup(BS) : html 구조 해석을 도와주는 python 라이브러리 - BS 라이브러리 BS 는 사용자가 선택한 파서를 이용해 html 과 xml 코드를 파싱, 검색, 수정하는 기능을 제공..

trade-off 문제로 n 선택시, 5 를 넘으면 안된다.(희소문제, 모델크기 증가) 참고 - 점프 투 파이썬 - ngram n-gram 은 n개의 단어로 이루어진 언어를 구분하기 위한 언어모델이다 . 언어의 갯수마다 명칭이 다르며, 각 명칭은 아래와 같다 . unigrams : 1개 bigrams : 2개 trigrams : 3개 4-grams : 4개 언어분리는 오직 n-1 개의 단어에만 적용된다. 만약 4-gram 을 사용하여 언어 예측을 한다고 했을 경우 4-1 인 3개의 단어만을 가지고 예측을 하게 된다. 💡 나는 행복한 하루를 보냈어. 너는 어떤 하루를 보냈니? 위 문자 다음에 올 내용을 4-gram 으로 예측한다고 했을 경우. 앞의 단어들은 무시하고, 예측할 부분 바로 이전의 3단어인 어떤..