측정 Dashboard

v0 27% → v1.0 91.2% 측정 여정 · Phase 3 v2 토폴로지 · 마일스톤 추적

쉽게 말하면 — "얼마나 잘 되는지"를 숫자로 보여주는 곳이에요. 모든 수치는 측정값이고, 흐름이 궁금하면 쉬운 설명 을 보세요.

91.2% Gate 19 algo 862 tests · 87% cov Phase 3 M0~M6 완료 계약 v3.1

Gate 통과율 여정

v0 baseline(8/30, 27%) → typed artifact + symbolic verifier 도입 → 카탈로그 확장 → RCA 회복 → 91.2% freeze. 모든 측정은 N=3 cross-algorithm.

단계algo통과율runs비고

Algorithm Catalog 성장

각 algorithm 은 수학적 invariants 를 코드로 결정론 검증하는 symbolic verifier 를 가진다 (1 enum = family 의 cluster 패턴 포함).

Phase 3 — v2 토폴로지 (구현 완료)

4개 병렬 영역. 각 영역은 fan-out → 결정론 aggregator fan-in. ⇉ 병렬 표시 영역은 동시 실행되고 코드 노드로 수렴한다. RFC §5 설계가 ipe/v2 그래프로 전부 배선됨 (strategist·formalizer·spec_bridge·input_generator·qa_aggregator 등).

전달 · 연동 스택

v2 그래프 완성 후 서비스 연결 인프라 — API · 공유 DB · P1/P2 모드 · 난이도 보정 · 알고리즘 정션 · 공개번호 · 백엔드 계약 v3.1. 전부 main 병합 + 계약 문서 동기화. prod DB 적재 현황은 Overview 의 문제 은행 스냅샷 참고.

마일스톤 추적

각 마일스톤은 91.2% anchor 무회귀 게이트를 통과해야 전진. M1(검증 성숙)을 먼저 — 코드라 안전하고 해자를 강화한다.

최근 대표 PR

PR제목타입임팩트

후속 / 별도 트랙

본 RFC 범위 밖이지만 추적 대상

아카이브 — v0 시절 e2e 여정

v1 측정 게이트 이전(v0.1~v0.2)의 5-case e2e 실측 기록. 역사적 참고용 — 현재 측정 기준은 위의 Gate 여정으로 대체됨.

v0 e2e Run 1~15 매트릭스 펼치기 (sandbox 인프라 안정화 + prompt→결정론 fix 단계)

v0 는 5개 case(Two Sum / BFS / Dijkstra / Segment Tree / LIS)에 대한 e2e 성공률로 진행을 추적했다. Run 1~8 은 0~1/5 에 머물렀고, Run 9 의 sandbox race fix(PHASE_C_WORKERS=1)에서 3/5 첫 도달, Run 10~12 에서 4/5 안정화. 그러나 prompt-side fix 의 한계 + case-by-case variance 가 누적돼, 결국 v1 D안에서 typed artifact + symbolic verifier 로 전면 재설계했다. 이 전환이 27% → 91.2% 도약의 핵심이다.

상세 RCA: CHANGES.md §1~§36 (v0 history)