티스토리

IT is 푸린

검색하기

블로그 홈

IT is 푸린

herineeda.tistory.com/m

푸로그래밍 공부 기록 공간

구독자: 6

방명록 방문하기

주요 글 목록

토픽 모델링 '파이썬 라이브러리를 활용한 머신러닝' 책으로 공부한 내용을 바탕으로 작성한 글입니다. 토픽 모델링이란? 문서를 하나 또는 그 이상의 토픽으로 할당하는 작업인 비지도 학습 예) 정치,스포츠, 금융 등의 토픽으로 묶을 수 있는 뉴스 데이터 학습된 각 성분은 하나의 토픽에 해당하고, 문서를 표현한 성분의 계수는 문서가 어떤 토픽에 얼마만큼 연관되어 있는지를 말해준다. 잠재 디리클레 할당 LDA(Latent Dirichlet Allocation) 레이블이 없거나, 큰 규모의 텍스트 말뭉치를 해석하는데 좋은 방법이다. random_state 매개변수를 바꾸면 결과가 많이 달라진다. LDA 모델은 함께 자주 나타나는 단어와 그룹(토픽)을 찾는 것이다. 영화 리뷰 데이터셋에 LDA 적용해보기 텍스트 문서에 대한 비.. 공감수 1 댓글수 0 2021. 5. 5.
텍스트 데이터 다루기 '파이썬 라이브러리를 활용한 머신러닝' 책으로 공부한 내용을 바탕으로 작성한 글입니다. 문자열 데이터의 종류 범주형 데이터 고정된 목록으로 구성된다. 예) 드롭다운 메뉴의 “빨강”, “녹색”, “파랑”, “노랑” 중 하나를 선택하는 경우 범주에 의미를 연결시킬 수 있는 임의의 문자열 입력 받은 문자를 일정한 범주 안에 포함시킨다. 예) 텍스트 필드에서 쥐색, 회색 등의 답을 입력 받고 이를 ‘여러가지 색’ 범주에 할당한다. 구조화된 문자열 데이터 입력한 값들이 일정한 구조를 가진다. 텍스트 데이터 자유로운 절과 문장으로 구성되어 있다. 데이터셋 - 말뭉치 데이터 포인트 - 문서 영화 리뷰 감성 분석하기 이 데이터셋은 리뷰 텍스트와 '양성' 혹은 '음성'을 나타내는 레이블을 포함한다. IMDb 웹사이트에는.. 공감수 0 댓글수 0 2021. 5. 5.
교차 검증 '파이썬 라이브러리를 활용한 머신러닝' 책으로 공부한 내용을 바탕으로 작성한 글입니다. 교차 검증이란? 일반화 성능을 재기 위한 통계적 평가 방법으로, 데이터를 여러 번 반복해서 나누고 여러 모델을 학습함. 일반화 성능을 재기 위해 훈련 세트, 테스트 세트로 한 번 나누는 것보다 안정적, 뛰어난 통계적 평가 방법. K-겹 교차 검증 (k-fold cross-validation) ✔ 가장 많이 쓰이는 방법 K: 특정 숫자 (ex.5, 10) 방법 1) 데이터를 k개의 폴드로 나눈다. 2) 일련의 모델들을 만든다. 첫 번째 모델은 첫 번째 폴드를 테스트 세트, 나머지를 훈련 세트로 사용해 학습. 이런 방법으로 나머지 폴드도 각각 테스트 세트로 사용해 반복한다. 3) 다섯개의 정확도 값을 얻게 된다. 데이터를.. 공감수 0 댓글수 0 2021. 5. 4.
그리드 서치 '파이썬 라이브러리를 활용한 머신러닝' 책으로 공부한 내용을 바탕으로 작성한 글입니다. ✔ 매개변수 조정 전에 그 매개변수의 의미를 이해하는 것이 중요함 ✔ 모델에서 중요한 매개변수의 일반화 성능을 최대로 높여주는 값을 찾는 일은 어려운 작업 그러나, 모든 모델과 데이터셋에서 해야 하는 필수적인 일이다. ✔ 가장 널리 사용하는 방법: 그리드 서치로서 관심 있는 매개변수들을 대상으로 가능한 모든 조합을 시도해보는 것 간단한 그리드 서치 매개변수 과대적합과 검증 세트 ✔ 평가를 위해서는 모델 생성 시에 사용하지 않은 독립된 데이터셋 필요 ✔ 데이터를 훈련 세트->모델 생성, 검증 세트->모델의 매개 변수 선택, 테스트 세트-> 성능 평가 ✔ 검증 세트로 최적의 매개변수 선택 후, 그 매개변수에서 훈련 세트와.. 공감수 0 댓글수 0 2021. 5. 3.
머신러닝 시작! 인공지능이란? 인지, 학습 등 인간의 지적능력의 일부 또는 전체를 컴퓨터를 이요해 구현하는 지능 기계학습(machine learning)이란? 데이터를 기반으로 인지, 이해 모델을 형성하거나 최적의 해답을 찾기 위한 학습 지능 머신러닝은 데이터를 사용해서 인공지능을 만들 수 있다. 기계가 공부하는 것 -> 사람이 직접 프로그램을 만들어서 기계에 넣어주는 것이 아니라 문을 언제 어떻게 열 것인지 등 기계가 스스로 문제를 해결하는 방법을 학습하는 것 전통적인 프로그래밍 vs 기계학습 전통적인 프로그래밍 머신러닝 데이터를 넣으면 그 데이터를 어떠한 식으로 처리하는지 프로그래머가 프로그램을 작성 데이터로 인해 나타나는 결과를 사용해 학습하기 때문에 스스로 프로그램을 만들 수 있다. 특정 데이터와 함께 그 데이터.. 공감수 0 댓글수 0 2021. 5. 3.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.