Classification- 모델 평가 및 지표 해석/ 앙상블 정의

고려 사항:  class의 balance가 맞는가?

불균등이 있는가

불균등이 있는 경우 정확도에 문제가 생길 수 있음.

 

재현율 ex. 암 진단/불량품

F1 score - 정확도와 데이터 balance 고려하는 통상적 지표

---

Ensemble

 

여러 개의 모델을 조화롭게 학습, 그 모델들의 예측 결과들을 이용하여,

더 정확한 예측 값 도출

Ensemble Overview- MLConf SF(샌프란시스코 머신러닝 컨퍼런스, 2016)
– Top 10 main takeaways
- It’s (still )not all about Deep Learning (딥러닝이 전부가 아니다)
- Choose the right problem to solve, with the right metric (상황에 맞는 평가 지표를 활용해라)
- Fine tuning your models in 5% of a project (Model tuning 하는데 있어서 시간을 많이 투자하지 마라)
- “ Ensembles almost always work better”
- The trend towards personalization (개인화 혹은 초개인화가 트랜드)
- Manual curation of content is still used in practice (널리 알려진 컨텐츠들은 아직도 잘 먹힌다)
- Avoid the curse of complexity (차원의 저주를 피해라, Overfitting)
- Learn the best practices from established players (잘 알려진 혹은 유명한 BP 사례를 배워라)
- Everybody is using open source (오픈 소스를 잘 활용해라)
- Make sure you have support from the executives (프로젝트를 진행하기 전 경영진의 지원이 있는지 확인해라)

 

어떤 알고리즘도 모든 상황에서 다른 알고리즘보다 우월하다는 결론을 내릴 순 없음

문제의 목적, 데이터 형태 등을 종합적으로 고려하여 최적의 알고리즘을 선택할 필요가 있음

 

앙상블 종류

 

배깅

Reduce the Variance

Bagging : Bootstrap Aggregating

Bootstrap : 표본에서 추가적으로 표본을 복원 추출하고 각 표본에 대한 통계량을 다시 계산하는 것

N개의 Data가 있으면 N개를 Randomly하게 뽑아내서 새로운 Data Set을 구성함

Bootstrap을 진행하면 확률 상 뽑히지 못한 데이터는 36.8%가 됨

 

Model Result Aggregating Method 1 : Majority voting

단순 합

 

Model Result Aggregating Method 2 : Weighted voting 1

 

정확도가 높은 것에 가중치

 

Model Result Aggregating Method 3 : Weighted voting 2

확률에 대한 가중치

 

대체로 1이 가장 많이 사용됨. 시간이 빠름

다양한 방법이 있기에, 도메인에 맞게 사용토록.

 

stacking

데이터 셋에 변화를 주는 배깅과 달리,

스택킹은 데이터 셋은 같으나 대신 모델이 달라짐.

다른 알고리즘을 사용

 

Boosting

reduce the bias

데이터 셋 조정

못 맞춘 것을 더 잘 맞출 수 있도록, 다시 모델링, 조정을 반복

 

배깅,스택킹 -병렬적

부스팅- 이전 결과를 기반으로 그 다음 트리를 구성, sequential 시간이 상대적으로 소모됨