Data Science Diary

안녕하세요! 오늘은 XGBoost가 의사 결정 트리와 비교해 보면서 모델 성능을 어떻게 하면 더 향상시킬 수 있는지 살펴보겠습니다. 결정 트리는 분류, 회귀 모델에서 모두 잘 사용되는 머신 러닝 알고리즘입니다. 그렇지만 의사 결정 트리는 과적합이 쉽게 되기 때문에 성능이 저하될 가능성이 높습니다. XGBoost는 이런 의사 결정 트리의 문제점을 보완하는 데 도움이 되는 그래디언트 부스팅의 최적화된 구현입니다. 의사 결정 트리의 제한 사항 과적합, 편향-분산 절충 결정 트리는 위에서도 말했듯이 분류나 회귀 모델에서 널리 사용되는 지도 학습 알고리즘입니다. 대부분 정보 이득을 제공하는 피처를 기반으로 데이터를 하위 집합으로 분할하여 사용됩니다. 결정 트리는 너무 복잡하기도 하고 훈련 데이터에 최적화되어 있어..

안녕하세요!! 오늘은 Random Forest의 기본 내용을 다루고 Python으로 어떻게 구현하는지 보여드리려고 합니다. 효과적인 머신 러닝 알고리즘을 찾는다면 Random Forest가 딱이지 않나 싶습니다. Random Forest는 정확한 예측을 생성하기 위해서 여러 결정 트리를 결합하는 앙상블 방법입니다. 랜덤 포레스트란 무엇일까요? Random Forest는 결정 트리의 앙상블을 사용해서 예측을 하는 머신 러닝 알고리즘입니다. 의사 결정 트리는 input 피처를 기반으로 if-then 문을 따라 예측을 수행하는 간단하면서도 직관적인 모델이죠. 또한, 의사 결정 트리는 구현하고 해석하는 것은 쉽지만 과적합이 쉽게 일어나고, 분산도 높게 나올 수 있습니다. Random Forest는 이 문제를 해..