🪪 HOME CREDIT #1:Intro

캐글 대회 링크 : https://www.kaggle.com/competitions/home-credit-default-risk

깃허브 링크 : https://github.com/Solxcero/my-domains/tree/main/HomeCreditDefault

👍프로젝트 회고

1. 모델링보다 중요한 ‘데이터 설계자’의 역할
   이번 프로젝트를 진행하며 데이터 분석에서 가장 중요한 것은 도메인 지식에 기반한 명확한 데이터셋 구축임을 다시 한번 체감했다.
   이미 고도화된 라이브러리들이 모델링을 담당하는 환경에서, 분석가인 나의 핵심 역할은 수집된 데이터를 비즈니스 문맥에 맞게 분류하고, 가장 효과적인 전처리 방법론을 설계하는 것이었다.
   이 설계 과정을 머리아프게 고민하는 과정에서 데이터 분석의 진정한 재미를 느낄 수 있었다.

2. 기술과 도메인의 결합이 주는 희열
   단순히 숫자를 맞추는 것에 그치지 않고, IV(Information Value) 테이블이나 SHAP 결과를 해석하며 이를 경제 상식 및 금융 비즈니스 로직과 접목할 때 가장 큰 쾌감을 느꼈다.
   ‘왜 이 변수가 중요한가?‘에 대해 경제학적 타당성을 부여하는 과정은 연구자로서 모델의 신뢰성을 높이는 소중한 경험이었다.

3. 한계점 및 향후 과제
   시간과 자원의 제약으로 인해 시도하지 못한 부분들은 다음 프로젝트의 개선 사항으로 남기겠다.

• 데이터 커버리지 확장: 현재는 application.csv 위주로 분석했지만, 과거 대출 상환 이력(bureau, previous_application)과 외부 신용평가 데이터를 결합한다면 훨씬 더 정교한 리스크 측정이 가능하다.

• 구간화(Binning)의 정교화: 시간 관계상 생략했던 Fine & Coarse Classing 기법을 적용하여 최적의 구간화 파라미터를 찾는다면, 변수의 단조성을 확보하면서도 정보 손실을 최소화할 수 있을 것이다.

• 파생변수 고도화: 단순 비율 산정을 넘어, 고객의 금융 패턴을 읽을 수 있는 다양한 변수를 생성하여 모델의 변별력을 높여보고 싶다.

• 모니터링 단계 : 실무에서는 단순 모델링에 그치지 않고 psi를 통해 모니터링까지 진행한다고 한다. 이 부분은 더 공부해서 추후 프로젝트에도 반영해보려 한다.

4. 마무리하며
   이번 프로젝트는 데이터 셋 확장 + 구간화 튜닝 + 전략적 파생변수 생성 이라는 세 박자가 맞물릴 때 비로소 강력한 신용평가 모델이 완성된다는 것을 깨닫게 해준 기회였다. 단순 기술 스택에 매몰되지 않고, 비즈니스 가치를 창출하는 분석가가 되기 위한 노력을 계속 해야겠다.

아래는 이번 프로젝트 진행 전에 공부했던 주요 개념들.

핵심 엔지니어링 개념

신용평가는 결국 해당 고객에게 대출을 해줄지 말지 즉, 0이냐 1이냐의 분류 문제. 분류 모델을 쓴다고 할 때 수치형 변수들을 처리하는 방법에 WoE와 IV가 있음

WoE (Weight of Evidence)

특정 독립 변수의 범주(Bin)가 종속 변수(Good/Bad)를 얼마나 잘 설명하는지를 수치화한 값.
“이 고객이 특정 집단에 속해 있다는 사실이 부도 확률을 높이는가, 낮추는가?”

$$ WoE_{i} = ln(\frac{Distr Good_{i}}{Distr Bad_{i}}) = ln(\frac{G_i / G_{total}}{B_i/B_{total}}) $$

Gi : i번째 구간의 정상 고객 수
Bi : i번째 구간의 부도(연체 고객 수)

주요 특징

• 비선형성의 선형화 : 비선형적인 관계를 가진 변수도 WoE로 변환하면 로지스틱 회귀 모델에서 선형적인 관계를 갖게 되어 모델 성능이 안정화 됨.
• Outlier 처리 : 변수를 구간화하기 때문에 극단적인 값의 영향력이 줄어듦
• WoE > 0 : 정상 고객 비중이 더 높음 (상대적으로 안전한 집단)
• WoE < 0 : 부도 고객 비중이 더 높음 (상대적으로 위험한 집단)

비선형의 선형화란 ?
예를 들어 나이 데이터가 있다고 했을 때 소득이 불안정한 20대와 소득이 없는 60대의 경우 신용점수가 낮고 30~40대의 경우 소득이 안정적이라 신용점수가 높을 것. -> 이 경우 나이와 신용 점수는 비선형관계 하지만 WoE를 사용하면 위험비중이 높은 구간부터 내림차순으로 구간을 정렬하게 되므로 나이 구간과 신용 점수는 선형관계로 나타낼 수 있음

IV (Information Value)

해당 독립 변수가 종속 변수를 얼마나 잘 예측(변별)할 수 있는지를 나타내는 지표. 변수 선택 단계에서 핵심적인 기준

$$ IV = \sum_{i=1}^{n}(DistrGood_i - DistrBad_i) * WoE_i $$

모든 구간(n)의 WoE값을 활용하여 합산함

주요 특징

IV가 0.5보다 너무 높으면 ‘Target Leakage(미래의 정보가 변수에 포함됨)‘를 의심해봐야 함. (현재 연체 여부로 미래 부도를 예측하는 격일 수 있음)

요약하면,
WoE는 “특정 구간의 위험도가 어떠한가?”
IV는 “이 변수 자체가 모델에 쓸모 있는가?”
를 판별해 줌

fine classing

변수 구간 나누는 기법1

• 변수를 매우 세밀한 구간으로 나눔. (나이를 5년 단위로 나누기 등) -> 더 정밀한 예측 가능 but 과적합 위험있으므로 충분한 데이터 확보된 경우에 주로 사용

coarse classing

변수 구간 나누는 기법2

• 보다 큰 구간으로 변수 나눔 (나이를 10년 단위로 나누기 등) -> 데이터 부족하거나 과적합 방지하고자 할 때

신용 평가에서 주요 과제는 충분한 정보를 유지하면서도 모델의 복잡성을 적절히 관리하는 것.

변수 선택

1. 필터 방법

• 데이터의 특성과 목표 변수와의 관련성을 수치화하여 변수를 선택하는 기법.
• 피어슨 상관계수, 카이제곱 검정, ANOVA, 피셔 점수, IV 등을 포함한 다양한 통계적 방법 사용
• 계산이 빠르고 간단. 하지만 변수 간의 상호작용은 고려하지 않음

2. 래퍼 방법

• 모델의 예측 성능을 기준으로 변수의 중요도를 평가
• RFE(recursive feature elimination), 후진 소거법, 전진 선택법 등
• 변수 선택 과정이 모델 훈련과 밀접하게 연결되어 있어, 변수 간의 상호작용도 고려할 수 있음. 하지만 계산 비용이 높음.
• 예측 정확도 최적화하는 동시에 필요한 변수 수를 최소화하려는 목적으로 사용

3. 임베디드/모델 기반 방법

• 모델 자체에서 제공하는 변수의 중요도를 기반으로 변수 선택
• 피쳐중요도, 정규화 기법
• 모델 성능과 변수 간 상호작용 모두 고려하며 계산 비용 적절.

스코어링

신용 평가 모델에서 확률을 사용하여 신용 점수를 계산하는 방법은 모델이 제공하는 확률값을 기반으로 고객의 신용 위험을 수치화함.
이 과정에서 Base Score (모든 고객에게 기본적으로 할당되는 점수)와 PDO (point to double the odds, 확률의 변화가 신용점수에 얼마나 영향을 미치는지)가 중요한 역할을 함.

점수 계산 순서

1. 모델 확률값의 취득 : 신용 평가 모델(ex.XGBoost)을 통해 고객의 연체 가능성에 대한 확률값을 산출. 이 확률값은 고객이 특정 시간 내에 연체할 가능성을 나타냄
2. Odds 계산 : 확률값(P)을 사용하여 Odds 계산. Odds는 연체 가능성에 대한 확률값에 대한 비율로, P/(1-P) 공식으로 계산. 이는 고객이 연체할 가능성 대비 연체하지 않을 가능성의 비율
3. PDO와 Base Score 적용
   • Factor 계산 : Factor = PDO/ln(2). 확률의 변화가 신용 점수에 미치는 영향력 조정
   • Offset 계산 : Offset = Base Score - (Factor * ln(Target Odds)) . Target Odds는 모델 개발 시 선정한 기준 Odds
4. 최종 신용 점수 계산 : score = Offset + (Factor * ln(Odds)). 계산한 신용 점수는 일반적으로 특정 범위 내에서 조정할 수 있으며, 이는 금융기관의 요구 사항에 따라 달라질 수 있음.

OptBinning

신용 평가의 경우 다른 도메인메 비해 모델의 성능 만큼이나 모델의 설명 가능성이 중요.
신용평가의 모델 설명력을 높여주기 위해 이번 실습에서는 OptBinning 라이브러리를 사용할 예정.

라이브러리 이름대로 최적의 데이터 구간을 찾아주는데, 구체적으로는 IV를 극대화하거나 특정 목적 함수를 최적화하는 구간.

또한 단조성 제약을 통해 변수와 부도율 간의 관계가 상식적인 방향으로 흐르도록 강제할 수 있다는 점에서 유용.

더불어 스코어카드 생성 기능도 내장되어 있어 별도의 기능 구현이 필요가 없다는 점에서 간편.

라이브러리 공식 문서 : https://gnpalencia.org/optbinning/

모델 해석력

로컬 해석력

모델이 특정 개별 예측을 내릴 때 어떤 변수가 주요하게 작용했는지 설명.
이는 모델의 결정 과정을 특정 사례에서 투명하게 만들어 해당 결정에 대한 신뢰성을 높임.

1. LIME (local interpretable model-agnostic explanation)

• 개별 데이터 포인트 주변에서 간단한 모델(선형모델 등)을 학습하여 해당 포인트에서 복잡한 모델의 예측을 근사하고 설명

2. SHAP (shapley additive explanation)

• 각 특성이 개별 예측에 얼마나 기여했는지 설명하는 데 사용.
• 각 데이터 포인트에 대한 예측을 분해하여 특성 수준에서의 기여도 계싼

3. 반사실적 설명 (counterfactual explanation)

• 데이터 포인트를 약간 변경하여 모델 예측이 어떻게 바뀌는지 관찰. 해당 데이터 포인트에서 모델 예측이 어떤 특성에 크게 영향을 받았는지 파악 가능

글로벌 해석력

모델 전체의 작동 방식을 이해하는 데 초점.

1. 순열 중요도 (permutation importance)

• 각 특성을 하나씩 무작위로 섞어서 모델 성능에 얼마나 영향을 미치는지 측정
• 특성을 제거했을 때 모델 성능이 크게 저하되면 그 특정은 중요한 요인으로 간주

2. PDP (partial dependence plot)

• 특정 특성값이 변할 때 모델 예측에 어떤 영향을 미치는지 보여주는 그래프.

3. SHAP

• 각 특성이 예측에 얼마나 기여하는지 평가.

4. 상관관계 분석

• 특성이 예측에 어떻에 영향을 미치는지 파악. 선형모델에서 특히 유용

5. KAN (kolmogrov-Arnold network) 알고리즘

• 복잡한 다변수 함수를 단일 변수 함수와 단순한 연산으로 분해하는 신경망. (최근 주목)
• 모델 예측 과정을 전반적으로 해석 + 변수 기여도 파악 + 함수 근사 문제를 효과적으로 해결하고 모델의 글로벌 해석 가능성 높임.

모델 배포

1. 웹 서비스 배포 : 플라스크, 장고와 같은 웹 프레임워크를 사용하여 모델을 REST API로 만들고 웹 서비스 배포. 이 방법을 통해 웹 브라우저나 다른 애플리케이션에서 HTTP요청을 통해 모델 이용.

2. 클라우드 서비스 : amazon sagemaker, google cloud AI platform, Azure Machine learning 같은 클라우드 플랫폼을 이용해 모델 배포. 모델 학습 + 배포 + 모니터링 등 과정 관리 기능 제공

3. 머신러닝 모델 서버 이용 : TensorFlow Serving, NVIDIA Triton Interface Serer, Sheldon 과 같은 머신러닝 모델 서버를 이용할 수 있음. 모델의 배포와 관리 효율적으로 수행하는 기능 제공

• 온라인 예측(실시간 처리), 배치 예측(주기적으로 대용량 처리)

모니터링

데이터 분포의 변화, 즉 데이터 분포 시트 주목.
모델이 처음 훈련된 데이터 분포를 원본 분포라고 한다면, 모델이 실제 운영 환경에서 만나게 되는 데이터의 분포는 대상 분포. 아래는 데이터 분포 시프트 종류

1. 공변량 시프트 : 입력 데이터의 분포가 변하는 경우. 예시_ 경제 상황의 변화로 소비자 지출 패턴 변화
2. 레이블 시프트 : 출력 레이블의 분호가 변하는 경우. 예시_ 신용 위험이 증가하거나 감소하기는 시기에 발생 가능
3. 개념 드리프트 : 입력과 출력 사이의 관계가 시간에 따라 변하는 경우. 예시_ 신용 평가 기준 변경

이러한 변화를 감지하고 대응하기 위해 다양한 도구와 라이브러리 개발됨.

• Alibi Detect 는 다양한 드리프트 감지 알고리즘을 구현한 오픈소스 패키지. 데이터 분포 시프트를 자동으로 감지하는 데 유용
• Evidently 와 TFDV(tensorflow data validation)와 같은 도구는 모델의 입력 데이터와 예측 데이트를 분석하여 시프트 감지
• TOAD 와 OptBinning을 활용해 PSI지표로 모델의 안정성 평가.