303

import os import gc import pickle import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings("ignore") from sklearn.model_selection import train_test_split from sklearn.metrics import confusion_matrix, f1_score from sklearn.ensemble import RandomForestClassifier, RandomForestRegressor from sklearn.tree import DecisionTreeC..

ML 2024. 3. 21. 12:56

Random Forest 배깅의 대표적 알고리즘 - Two ways to increase the diversity of ensemble 1)부트스트랩: 다양성을 높임 2)feature randomly select Tree는 작은 Bias와 큰 Variance를 갖기 때문에, 매우 깊이 성장한(Depth가 깊은) 트리는 훈련 데이터에 대해 Overfitting 하게 됨 한 개의 Tree의 경우 훈련 데이터에 있는 Noise에 대해 매우 민감함(노이즈도 학습) - Tree들이 서로 상관화(correlated)되어 있지 않다면 여러 Tree들의 평균은 Noise에 대해 강인해짐 - 상관화를 줄이는 방법은 Randomly Chosen (행 & 렬 모두) - 반면, Forest를 구성하는 모든 Tree들을 동일한..

ML 2024. 3. 20. 20:25

고려 사항: class의 balance가 맞는가? 불균등이 있는가 불균등이 있는 경우 정확도에 문제가 생길 수 있음. 재현율 ex. 암 진단/불량품 F1 score - 정확도와 데이터 balance 고려하는 통상적 지표 Ensemble 여러 개의 모델을 조화롭게 학습, 그 모델들의 예측 결과들을 이용하여, 더 정확한 예측 값 도출 Ensemble Overview- MLConf SF(샌프란시스코 머신러닝 컨퍼런스, 2016) – Top 10 main takeaways - It’s (still )not all about Deep Learning (딥러닝이 전부가 아니다) - Choose the right problem to solve, with the right metric (상황에 맞는 평가 지표를 활용해..

ML 2024. 3. 20. 16:22

분류 옳고 그름 2가지. (클래스는 2개 이상일 수 있음, 그러나 크기의 차이는 없는) 불순도 - 낮을수록 좋은 지니계수- 순도의 파악 척도, 확률에 의한 판단. 지니계수 k:클래스, 클래스 k 에 몇개가 있는가. 지니계수 계산식 k1이 0개가 된다면, 불순도는 0이되는 엔트로피 n 갯수 Decision tree overcast의 경우 불순도 0, 순도 100인 상황. 더이상 split하지 않음 루트-뿌리마디 터미널- 더이상 split되지 않는 마지막 끝마디 끝마디가 많아지면, 모델 복잡도가 무한으로 늘어날 수 있다. 정확도는 높아지나, 과적합의 문제. 반으로 나눈후 지니계수 감소. 나누기 전과 나눈 후의 차이: information gain(이전에 비해 불순도가 얼마나 하락했는지를 나타내는 지표) - ..

ML 2024. 3. 20. 08:33

[목적] 1. Linear Regression - 단순 Linear Regression을 활용하여 변수의 중요도 및 방향성을 알아봄 - 매우 심플한 모델이기 때문에 사이즈가 큰 데이터에 적합하지 않음 - 하지만 설명력에서는 큰 장점이 있음 2. Ridge Regression - Regularized Linear Model을 활용하여 Overfitting을 방지함 - Hyperparameter lamba를 튜닝할 때 for loop 뿐만 아니라 GridsearchCV를 통해 돌출해봄 3. Regularized Linear Models의 경우 X's Scaling을 필수적으로 진행해야함 [Process] 1. Define X's & Y 2. Split Train & Valid dataset 3. Modeli..

ML 2024. 3. 19. 04:39

Model 평가 동일한 평가기준으로 model의 성능을 평가 해야 함 정성적 지표 회귀 모델에서 정성적인 적합도 판단 평균적으로 예측한 것 대비 분산을 얼마나 축소 시켰는지. SSE:회귀식에 의해 설명되는 편차 SSR:회귀식에 의해 설명되지 않는 편차 0-1사이의 값을 가지며 1에 가까울수록 좋은 모델(모델에 의해 설명되는 부분이 전체에서 차지하는 비중이 높음) 0.25이상 유의미. 지나치게 높은 경우도 다시 확인해봐야 함 정량적 지표 실제값 대비 얼마나 예측값이 차이가 있는지를 %로 표현 상대적 오차를 추정하는데 주로 사용 절대값이 아닌 제곱을 취해 부포의 영향을 제거 모델 평가 및 해석 순서 Feature selection Feature의 수가 많아지면 모델 복잡도가 높아짐. 모델 복잡도가 높아지면 ..

ML 2024. 3. 18. 11:02

Loss function 좋은 알고리즘의 기준: the expected output의 높은 퀄리티 ŷ:예측 값 y:실제 값 에러가 낮아야. bias 와 variance β1: 계수(기울기) β0: 상수 값 회귀: 해석력이 좋은 장점 독립변수가 여러개인 경우 제곱 계산식을 사용하는 이유 β(계수) 추정법 추정된 β 검증. X's 간 비교 스케일이 다른 경우 - 평균 값을 동일하게 맞춰주는 스케일링 진행 y값에 대해 똑같은 영향도를 가질 수 있도록. 기준 1. P-value 0.05 이하 중 가장 낮은 것을 선택 2. β의 크기를 스케일 전/후 모두 비교 3. β 값이 같을 경우, P-value가 더 낮은 것

ML 2024. 3. 15. 20:43

1. 예측 forecast 시간의 흐름에 따라 기록된 데이터(Time-series Data) 이용, 변수간 인과관계를 분석하여 미래 예측 주 활용 영역 -날씨 예측 -주식 예측 -상품 판매량 예측 대표적 알고리즘 AR(I)MA, DeepAR AR(auto regression):자기자신을 종속변수로 하고, 이전 시점의 시계열을 독립변수로 갖는 모델 MA(moving average):이동 평균 +행사, 할인 등의 특정한 이벤트를 변수로 넣어 학습 2. Recommendation (factorization 기반) 가장 비슷한 취향: Collaborative filtering(협업 필터링) 가장 비슷한 컨텐츠를 찾아주는 방법 -Content based filtering 현실데이터의 경우 희소성(sparsity)..

ML 2024. 3. 15. 10:08