히스토리

세 가지 정합·정직화를 한 번의 재학습으로 반영했다.

1. BT OOF 미러쌍 누출 폐쇄: BT BT_base_prob_A의 out-of-fold 예측을 shuffle-KFold → GroupKFold(match_id)로 교체. 한 경기의 승자/패자 두 행(절편 없는 로지스틱에서 수학적 완전 중복)이 서로 다른 fold로 분리돼 준 in-sample이 되던 채널을 닫았다.
2. 서빙 스무딩 정합: 최근 30/90일 승률이 학습은 (w+2)/(c+4)인데 서빙이 이를 한 번 더 스무딩하던 이중 스무딩 버그를 제거(프론트 sector9.js·파이프라인 동시). big_match 지표도 학습(비스무딩)과 정렬.
3. BT_base_prob_A 실계산(프론트): 가상매치업(sector9.js)이 이 최강 피처를 상수 0.5로 넣던 것을, 학습 BT 계수(bt_coef.json)로 σ(θ_A−θ_B+이종족 상성)을 실제 계산하도록 복원. Python 서빙과 판정동등(오차 0).

해석: 미러 누출을 닫아도 hold-out AUC가 사실상 유지된다는 것은, 그 신호가 일반화에 기여하지 않고 OOF 피처만 부풀리던 것이었음을 뜻한다. 표면 지표를 지키려 누출을 남기지 않고 정직한 값으로 공개한다.

누출 발견: 동종족 매치업(PvP/TvT/ZvZ)에서는 종족·맵 "방향(direction)" 피처가 항상 승자 관점으로 +1이 되어 결과 라벨과 완벽히 일치하는 라벨 누출이 있었다. 이 때문에 동종족 경기가 무조건 승자 쪽 ~0.99로 예측됐다(예: 5티어 선수가 같은 종족 3티어 선수를 99%로 이긴다고 표시되는 비상식적 결과). 이전 모든 재학습 지표의 AUC ~0.71대는 이 누출이 부풀린 값이었다.

수정: 동종족 매치업에서 방향 피처를 제외(선수 강도 P_만 사용). BT/OOF 생성기 + 서빙 피처 + 폴백 + BT캐시 정책해시까지 일괄 반영 후 재학습·재생성·배포.

해석: AUC -0.04는 성능 저하가 아니라 가짜 성능(누출)이 제거된 정직한 수치다. 0.6739가 본 데이터 regime의 실제 천장에 가깝다. 보정(ECE 0.008)은 오히려 개선. 아래 06-03 이전의 모델 대 모델 비교는 모두 누출 상태에서 측정된 것이므로 절대 AUC 해석에 주의.

베이스라인 학습(2026-04-21) 이후 4일간 누적된 신규 매치 + LP/클러치/매치 분류 정책 변경분을 동기화하기 위한 데이터 갱신 재학습. 피처 구성·튜닝 프로토콜은 베이스라인과 동일.

한 줄 요약 — AUC는 동일, 일반화·보정·모델 단순성 모두 개선.

• AUC가 -0.0001로 사실상 변동 없음. 외부 신호 도입 없이는 데이터 regime 천장이 0.72대라는 점이 한 번 더 확인. 신규 변경 채택 여부를 판정하는 ablation이 아니라 데이터 갱신 + 정책 동기화의 결과로 본다.
• 과적합 갭이 0.0257 → 0.0208로 줄고 트리가 절반으로 감소. 데이터 누적 + 정책 변경(LP 가중치 미세조정·클러치 차등·매치 분류 정합) 이후 라벨/피처 분포가 정돈되면서 Optuna가 더 강한 정규화 + 더 작은 모델을 선택. 같은 성능을 더 가벼운 구조로 달성 — 추론 비용도 절반.
• ECE −0.0028 (0.0354 → 0.0326). 사용자 노출 안전선 0.05 대비 여전히 여유. "모델이 70% 예측한 매치는 실제 70% 빈도"가 한층 더 잘 맞음. Sigmoid(Platt) 보정 파라미터도 새로 적합 (a=−5.5069, b=2.7622).
• BT 상관 0.9063 → 0.9096. ML이 BT를 더 충실히 따르되 차이는 진짜 의미 있는 지점에서만 만든다는 의미. 트리 단순화와 정합.

ML 1차 베이스라인 자체는 유지. 데이터 갱신 + 정책 변경의 영향이 모델에 깔끔하게 흡수됐고, 부산물로 일반화·보정·계산효율이 미세 개선됐다.

시즌 6 종료(2026-06-02) / 시즌 7 시작(2026-06-03)에 맞춰 ~6주간 누적된 신규 매치를 동기화한 데이터 갱신 재학습. 이번 재학습에서 튜닝 선택 기준 자체를 overfit-aware로 개선했다.

한 줄 요약 — AUC는 천장(0.72대)에서 사실상 동일, 평균 보정(ECE) 개선, overfit은 선택기준 개선으로 안전선 내 유지.

• overfit-aware 튜닝 선택 도입. 기존엔 Optuna가 찾은 CV log_loss 최소 설정을 그대로 채택했는데, 이 데이터 regime에서는 best-log_loss 설정의 AUC overfit_gap이 두 번 연속 0.033~0.035로 0.03 안전선을 넘었다(우연이 아닌 일관 신호). 목적함수가 log_loss만 보고 overfit을 제약하지 않기 때문. 그래서 best CV log_loss ±0.002(통계적 동등) 안의 trial 중 CV fold의 train-valid AUC 격차가 가장 작은 설정을 채택하도록 선택기준을 바꿨다. CV 내부에서만 측정하므로 test hold-out 누출이 아니다. 결과: gap 0.033 → 0.0239로 회복하면서 AUC·log_loss는 사실상 유지.
• AUC -0.0029는 천장 0.72대의 노이즈 범위. 외부 신호 도입 없이는 데이터 regime 천장이 0.72대라는 점이 다시 확인.
• 평균 ECE 0.0326 → 0.0254로 개선. 다만 아래 한 가지 단서가 있다.

65-75% 구간 과신 → 같은 날 beta calibration 으로 해결. sigmoid 보정 하에서 새 hold-out의 65-70% gap −3.9%p / 70-75% gap −5.3%p 과신 + 80%+ gap +3.8%p 과소가 관측됐다 (평균 ECE 0.0254는 양호하나 곡선 양끝이 반대로 휜 비대칭 — 04-25엔 -2.4%p로 거의 정합했다가 데이터 갱신 후 재출현). 대칭형 sigmoid(기울기 하나)로는 양끝을 동시에 못 펴므로, sigmoid → beta calibration(3-param 비대칭, isotonic 아님) 교체로 대응했다. out-of-time hold-out + 5-fold time-CV 검증에서 ECE 0.0254 → 0.0111, 전 구간 ±3%p 이내로 수렴(sigmoid 대비 5-fold 중 4승), AUC·Brier 손상 없음. 보정층만 교체라 LGBM 재학습 불요. 상세 보정 곡선. (학습단계 ml_bt_disagreement 피처는 방송지수 표본 부족으로 8월 이후 별도 검토.)

포맷: 9전 5선승. 1~6세트는 사전 확정 로스터, 7세트부터는 현장 즉흥 선발. 모델은 사전 확정 6세트까지만 종합 시나리오 예측이 가능했고, 7세트 이후는 매치별 개별 예측으로만 추적.

포맷: 9전 5선승. 사전 협의로 1~7세트 라인업 확정, 8·9세트는 즉흥 선발 예정. 실제로는 6세트에서 수술대가 5승에 도달하며 매치가 조기 종료되어 즉흥 세트는 발생하지 않음. 사전 7세트 중 1세트(이예준 vs 손찬웅)는 남자 매치, 6세트(요닝 vs 기나)는 기나가 시즌 5 판수 부족으로 평가 유예 — 둘 다 모델 입력 대상이 아님. 따라서 2·3·4·5·7세트(5세트)에 대해서만 예측 실행.

진행된 4세트 ML 적중률 4/4 (100%) · ⑦은 6세트 1:5 종료로 미실시 (평가 보류).

매치 컨텍스트: ① 이예준(씨나인) 승으로 씨나인 1승, ②~⑤는 모두 수술대 승, ⑥ 기나(수술대) 승으로 수술대 5승 도달 → 매치 종료. 씨나인의 1승은 모델 적용 대상이 아닌 남자 매치(①)에서 발생했고, 모델이 평가한 4세트는 100% 한 방향(수술대)으로 일치.

종합 분포: 모델 맵 적용 사전 #1(2:3 수술대, 33.4%)은 우세 팀은 정확하지만 margin은 더 일방적이었다. 모델은 씨나인이 예측 5세트 중 1~2승 정도 가져갈 가능성을 더 봤지만, 진행된 4세트 모두 수술대 승. ⑦이 모델 예측대로 면추가 승이었다면 0:5(예측 5세트 기준)로 사전 #2(1:4)보다도 더 일방적인 분포 — 사전 Top 3 어디에도 정확히 일치하는 시나리오는 없음.

맵 신호 정합성: 4세트 모두 맵 적용 후 confidence 변동은 ②(+1.5%p), ③(+2.0%p), ④(−0.8%p), ⑤(+3.5%p). ②③⑤는 맵이 confidence를 강화하는 방향으로 작동했고 모두 적중, ④는 맵이 confidence를 살짝 깎는 방향이었음에도 적중. 맵 신호가 가리킨 방향과 결과가 모두 정합 — #1에서 제기한 "맵 신호는 잘 작동하고 문제가 있다면 base confidence 산정에 있을 가능성" 가설을 한 번 더 강화하는 데이터 포인트.

관찰:

• confidence 50%대 후반~60%대 중반 4세트를 모두 적중. ⑤(파찌, 맵 적용 66.5%)는 #1의 ①(막내현진, 맵 적용 67.2%, 빗나감)과 인접한 confidence 구간이지만 적중 — #1에서 제기한 "60%+ confidence 매치의 구조적 과장 가능성" 가설과는 반대 방향. 표본이 너무 작아 가설 기각·채택 모두 시기상조
• 사전 7세트 협의 + 8·9세트 즉흥 예정이었으나 매치 조기 종료로 즉흥 픽 구간 부재. #1에서 제기한 "코치 즉흥 대응력" 가설은 이번 매치에서 검증 불가
• ⑥ 요닝 vs 기나는 기나의 시즌 5 판수 부족으로 ML 입력에서 빠짐 → 결과(기나 승, 수술대)는 평가 대상 아님. 다음 케이스에서 기나가 충분 판수에 도달한 시점부터 추적 가능
• ⑦ 면추가 61.9% 예측은 평가 보류로 남음(네오실피드 맵 적용 후에도 confidence 변동 0%p) — 다음 매치에서 면추가 출전 시 같은 confidence 구간 사례로 합산

누적 (#1 + #2):

표본 13건으로 confidence 구간별 보정 패턴을 단정하기는 이름. 다음 케이스 누적 필요.