Data Science Diary

안녕하세요! 오늘은 XGBoost가 의사 결정 트리와 비교해 보면서 모델 성능을 어떻게 하면 더 향상시킬 수 있는지 살펴보겠습니다. 결정 트리는 분류, 회귀 모델에서 모두 잘 사용되는 머신 러닝 알고리즘입니다. 그렇지만 의사 결정 트리는 과적합이 쉽게 되기 때문에 성능이 저하될 가능성이 높습니다. XGBoost는 이런 의사 결정 트리의 문제점을 보완하는 데 도움이 되는 그래디언트 부스팅의 최적화된 구현입니다. 의사 결정 트리의 제한 사항 과적합, 편향-분산 절충 결정 트리는 위에서도 말했듯이 분류나 회귀 모델에서 널리 사용되는 지도 학습 알고리즘입니다. 대부분 정보 이득을 제공하는 피처를 기반으로 데이터를 하위 집합으로 분할하여 사용됩니다. 결정 트리는 너무 복잡하기도 하고 훈련 데이터에 최적화되어 있어..

안녕하세요! 오늘은~ 회귀 분석이 무엇인지! 데이터 과학에서는 어떻게 회귀 분석을 사용할 수 있는지! 다양하게 알아보려고 합니다. 회귀 분석은 종속 변수와 한 개 이상의 독립 변수 사이의 관계를 연구하는 데 사용되는 통계적 방법이에요. 우리가 예측하거나 설명하려고 하는 변수가 종속 변수이고, 예측을 만드는 데 사용하는 변수가 독립 변수에요. 회귀 분석을 사용하면 변수 간의 관계를 식별하고 모델링하고 예측까지 할 수 있습니다. 회귀 분석에는 다양한 유형이 있습니다. 데이터 과학에서 사용할 수 있는 회귀 분석으로는 선형 회귀, 로지스틱 회귀, 다항 회귀, 다중 회귀를 포함할 수 있습니다. 그중에서 선형 회귀는 데이터 과학에서 가장 일반적으로 사용되는 회귀 분석이죠. 선형 회귀는 종속 변수와 하나 이상의 독립..

안녕하세요! 오늘은 다층 퍼셉트론이 무엇인지, 어떻게 사용하는지, 파이썬에서는 어떻게 구현하는지 알아보겠습니다. 딥 러닝 분야에서 다층 퍼셉트론(MLP)는 가장 널리 사용되는 신경망 구조 중 하나에요. MLP는 일종의 피드포워드 신경망입니다. 데이터가 input에서 output으로 한 방향으로 흐른다~~ 이런 의미입니다. 다층 퍼셉트론이란 무엇일까요? 다층 퍼셉트론(MLP)는 여러 층의 뉴런으로 구성된 일종의 신경망이에요. 레이어의 각 뉴런들이 이전 레이어와 다음 레이어의 모든 뉴런에 연결되는 거죠. input 레이어와 output 레이어 사이의 레이어를 히든 레이어라고 해요. MLP는 데이터가 피드백 연결 없이 input 레이어에서 output 레이어로 흐르기 때문에 피드포워드 신경망이라고도 부른답니다..

안녕하세요!! 오늘은 Random Forest의 기본 내용을 다루고 Python으로 어떻게 구현하는지 보여드리려고 합니다. 효과적인 머신 러닝 알고리즘을 찾는다면 Random Forest가 딱이지 않나 싶습니다. Random Forest는 정확한 예측을 생성하기 위해서 여러 결정 트리를 결합하는 앙상블 방법입니다. 랜덤 포레스트란 무엇일까요? Random Forest는 결정 트리의 앙상블을 사용해서 예측을 하는 머신 러닝 알고리즘입니다. 의사 결정 트리는 input 피처를 기반으로 if-then 문을 따라 예측을 수행하는 간단하면서도 직관적인 모델이죠. 또한, 의사 결정 트리는 구현하고 해석하는 것은 쉽지만 과적합이 쉽게 일어나고, 분산도 높게 나올 수 있습니다. Random Forest는 이 문제를 해..