Data Science Diary

안녕하세요! 오늘은 XGBoost가 의사 결정 트리와 비교해 보면서 모델 성능을 어떻게 하면 더 향상시킬 수 있는지 살펴보겠습니다. 결정 트리는 분류, 회귀 모델에서 모두 잘 사용되는 머신 러닝 알고리즘입니다. 그렇지만 의사 결정 트리는 과적합이 쉽게 되기 때문에 성능이 저하될 가능성이 높습니다. XGBoost는 이런 의사 결정 트리의 문제점을 보완하는 데 도움이 되는 그래디언트 부스팅의 최적화된 구현입니다. 의사 결정 트리의 제한 사항 과적합, 편향-분산 절충 결정 트리는 위에서도 말했듯이 분류나 회귀 모델에서 널리 사용되는 지도 학습 알고리즘입니다. 대부분 정보 이득을 제공하는 피처를 기반으로 데이터를 하위 집합으로 분할하여 사용됩니다. 결정 트리는 너무 복잡하기도 하고 훈련 데이터에 최적화되어 있어..

안녕하세요!! 오늘은 그리트 탐색(grid search)에 대해서 정리해 보려고 합니다. ML 모델에는 데이터에서 학습할 수 없는 설정인 하이퍼파라미터가 필요하고, 모델을 훈련시키기 전에 설정을 해야 해요. 모델에 맞는 최적의 하이퍼파라미터를 찾는 것은 목표 성능을 달성하는 데 매우 중요하기 때문이죠! 그렇지만.. 가짓수가 너무 많기 때문에 최고의 하이퍼파라미터를 찾고 결정하는 것이 어렵습니다. 이런 문제를 해결할 수 있는 방법 중 하나는 그리드 탐색(grid search)를 사용하는 것입니다! Grid Search가 무엇일까요? 그리드 서치는 각 하이퍼파라미터에 대해 가능한 값 범위를 정의하고 모든 가능한 조합의 그리드를 생성하는 유명한 하이퍼파라미터 튜닝 기술입니다. 그리드 서치는 validation..