Data Science Diary

안녕하세요! 오늘은 XGBoost가 의사 결정 트리와 비교해 보면서 모델 성능을 어떻게 하면 더 향상시킬 수 있는지 살펴보겠습니다. 결정 트리는 분류, 회귀 모델에서 모두 잘 사용되는 머신 러닝 알고리즘입니다. 그렇지만 의사 결정 트리는 과적합이 쉽게 되기 때문에 성능이 저하될 가능성이 높습니다. XGBoost는 이런 의사 결정 트리의 문제점을 보완하는 데 도움이 되는 그래디언트 부스팅의 최적화된 구현입니다. 의사 결정 트리의 제한 사항 과적합, 편향-분산 절충 결정 트리는 위에서도 말했듯이 분류나 회귀 모델에서 널리 사용되는 지도 학습 알고리즘입니다. 대부분 정보 이득을 제공하는 피처를 기반으로 데이터를 하위 집합으로 분할하여 사용됩니다. 결정 트리는 너무 복잡하기도 하고 훈련 데이터에 최적화되어 있어..

안녕하세요~ 오늘은! 앙상블 방법으로 머신 러닝 모델의 정확성을 개선하는 방법을 알아보려고 합니다. 앙상블 방법이 무엇인지, 어떻게 작동하는지 설명하고 Python 코드 예제로 앙상블을 구현해 보겠습니다. 어설픈 가이드지만 머신 러닝 모델을 한 단계 더 업그레이드해서 더 나은 결과를 얻을 수 있으면 좋겠습니다 ^v^ 앙상블 방법은 머신 러닝에서 여러 모델의 예측을 결합해서 모델의 성능을 향상시키는 데 사용되는 중요한 기술이에요. 이 방법은 모델의 정확도를 높이고 일반화를 향상시켜서 실제 응용 프로그램에서 더 안정적으로 만들 수 있습니다. 앙상블 방법에는 여러 가지 유형이 있습니다. 1. 배깅(Bagging): 배깅은 데이터의 서로 다른 하위 집합에 대해서 훈련된 여러 모델을 생성하고 과적합이나 분산을 줄..