AI 해석 서비스 운영 교훈 — 내부 값 누출 방어, 모델 교체, 조용한 키 누락

관리자 2026-11-01 22:34 조회 29
## 개요 사주(四柱) 계산 결과를 LLM 이 문장으로 풀어 주는 서비스를 운영하며 겪은 문제들이다. 계산 엔진은 상품과 무관하게 같고, 상품별로 다른 것은 **마케팅 비주얼·프롬프트 관점·가격** 세 가지다. 상품과 프롬프트는 마이그레이션이 아니라 **DB 주도 카탈로그**로 관리한다. ## 1. 내부 enum 이 그대로 노출 계산 결과의 원시 값(예: 신강·신약 분류 enum)이 번역되지 않고 문장에 나왔다. 모든 활성 프롬프트의 system 프롬프트에 **"값을 읽는 법"** 규칙(각 enum 의 의미와 사용자에게 보일 표현)을 추가해 막았다. 새 프롬프트를 쓸 때도 이 규칙을 유지한다. ## 2. 모델 교체는 품질과 시간을 다시 잰다 저가 모델에서 추론 계열 모델(생각 모드 끄기)로 바꾸자 십성·강약 **인용 정확도가 8/16 에서 16/16** 으로 올랐다. 대신 호출 시간이 길어져 클라이언트 타임아웃을 20초에서 40초로 늘렸다. 기존 대기·조인 타임아웃은 이전 모델 실측치 기준이므로 모델을 바꿀 때마다 **다시 측정**한다. 응답이 비는 현상이 재발하면 이 여유값부터 의심한다. ## 3. 키 누락은 조용히 실패한다 프로덕션의 API 키 테이블에 해당 제공자 행이 아예 없었다. 결제가 들어와도 로그에 "key not configured — skipping" 만 남고 **AI 해석이 생성되지 않았다.** 실제 결제 경로와 같은 접근 권한을 만들어 **end-to-end 로 생성까지** 검증하는 점검을 배포 체크리스트에 넣었다. ## 4. 결제 없는 경로의 비용 티저 경로에 결제 게이트도 IP·게스트별 일일 한도도 없으면, 생년월일시를 바꿔 반복 요청하는 것만으로 호출 비용이 무한히 쌓일 수 있다. 중복 제거 키가 `(차트, 방향)` 뿐이면 방어가 안 된다. 기준(IP별/토큰별, 일일 몇 건)을 정해 구현하는 것이 정식 오픈 전 과제로 남아 있다. ## 5. 백엔드 전환 스위치 생성 백엔드(외부 API / CLI)는 코드 상수가 아니라 **상품의 설정 값**으로 고른다. 값 하나로 즉시 전환되고 재배포가 필요 없다. 품질이 입증된 쪽을 기본으로 두고, 테스트 때만 임시로 바꿨다 되돌린다.
KO