앙상블 학습법(Ensemble Learning)이란?
Knowledge Distillation과 관련된 논문에서 앙상블 학습법이 자주 언급되므로 정리 해두려 한다.
통계학과 기계 학습에서 앙상블 학습법(영어: ensemble learning method)은 학습 알고리즘(learning algorithm)들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기위해 다수의 학습 알고리즘을 사용하는 방법이다. 통계 역학(statistical mechanics)에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용한다.
(출처 : 위키피디아, 앙상블 학습법)
한마디로 말해서 '백지장도 맞들면 낫다'와 같은 의미인 것 같다. 하나의 강력한 알고리즘 보다 여러개의 약한 알고리즘이 성능이 더 우수하다는 것을 기반으로 한 학습법이다. 종류로는 보팅(Voting), 배깅(Bagging), 부스팅(Boosting), 스태킹(Stacking)이 있다.
다만, 정형 데이터에서는 효과가 우수한데 이미지, 영상, 음성 등은 딥러닝이 앞선다고 한다. 그리고 아무래도 하나의 알고리즘을 쓰는 것 보다 이렇게 잘게 나눠 학습한 걸 모으는 방식이 메모리를 많이 차지할 것 같다.
*혹시 틀린 곳이 있다면 댓글로 알려주시면 감사하겠습니다!
