OptiNod 아카데미

워크포워드 분석 — 최적화 절차 자체를 검증하는 법

전체 기간을 한 번에 최적화한 점수는 미래를 미리 보고 맞춘 점수입니다. 워크포워드는 인샘플에서 고른 설정을 다음 아웃샘플에서만 평가해 절차 자체를 시험합니다.

> 전체 기간을 한 번에 최적화하면 미래를 미리 들여다보고 답을 맞힌 것 같은 점수가 나옵니다. 워크포워드는 보지 않은 구간으로만 최적화 절차 자체가 통하는지 검증합니다.

워크포워드 분석(Walk-Forward Analysis)은 데이터를 시간 순서로 인샘플(In-Sample) 구간과 아웃샘플(Out-of-Sample) 구간으로 나누고, 인샘플에서 파라미터를 최적화한 다음 그 설정을 오직 다음 아웃샘플 구간에서만 평가하는 검증 방법입니다. 이 구간을 시간 순서대로 한 칸씩 옮겨가며 같은 절차를 반복하고, 아웃샘플 성과만 이어 붙인 곡선을 실전 성과의 추정치로 봅니다.

대중은 백테스트를 단순하게 봅니다. 전체 기간을 한 번에 돌려서 누적 수익 곡선이 우상향하고 최대 낙폭이 견딜 만하면 좋은 전략이라고 판단합니다. 파라미터 수십 개 조합을 전부 돌려 그중 가장 좋았던 설정을 고르는 것까지가 보통의 최적화입니다.

그런데 전체 기간을 한 번에 최적화하는 방식에는 근본적인 결함이 있습니다. 최적화에 쓴 그 데이터로 다시 성과를 평가하기 때문입니다. RSI 기간을 17로 정한 이유가 "2021년부터 2024년까지 17이 가장 좋았으니까"라면, 그 17이 같은 기간에서 좋은 점수를 내는 것은 당연합니다. 답을 미리 보고 푼 시험지나 마찬가지입니다. 워크포워드 분석은 발상을 뒤집습니다. 검증해야 하는 대상은 "직전 데이터로 파라미터를 고른다"는 최적화 절차 그 자체입니다.

전체 기간을 한 번에 최적화하면 미래를 본 점수가 나옵니다

전체 기간 최적화의 점수가 부풀려지는 메커니즘은 단순합니다. 파라미터 조합이 많을수록, 그중 하나는 순전히 우연으로 그 특정 기간에 잘 맞습니다. 50개 조합을 돌리면 그 50개 중 1등에는 전략의 진짜 우위가 반영돼 있을 수도 있지만, 단지 그 기간의 잡음에 우연히 가장 잘 맞아 1등이 됐을 가능성이 더 큽니다. 이것을 과최적화(Overfitting)라고 부르고, 전체 기간을 한 번에 최적화하는 방식에는 과최적화를 걸러낼 장치가 구조적으로 없습니다.

실제 데이터로 보면 더 분명해집니다. BTC는 2022년 1월 약 46,000달러에서 12월 약 16,500달러까지 한 해 동안 일관된 하락 추세를 이어갔습니다. 2022년 데이터만으로 추세 추종 전략을 최적화하면, 거의 모든 파라미터가 "숏 위주, 반등은 무시"로 수렴합니다. 그 기간에서는 그 설정이 압도적으로 좋은 점수를 내기 때문입니다. 그런데 같은 설정을 2023년에 적용하면 결과가 달라집니다. BTC는 2023년 1월 16,500달러에서 10월 34,000달러를 거쳐 12월 42,000달러까지 회복했습니다. 2022년에 최적이던 숏 편향 설정은 2023년 회복장에서 계속 반대 방향으로 베팅하다 손실을 누적합니다.

전체 기간을 한 번에 최적화하면 이 두 해를 한 덩어리로 평균 내면서, 어느 한쪽에 과하게 맞춰진 설정이 만든 우연한 고득점을 그대로 "전략의 실력"으로 기록합니다. 점수가 좋을수록 오히려 의심해야 합니다.

아웃샘플은 단 한 번만 보는 데이터입니다

워크포워드의 핵심 규칙은 아웃샘플 구간을 파라미터 결정에 절대 쓰지 않는 것입니다. 인샘플 구간에서 파라미터를 고른 뒤, 그 설정을 그대로 들고 아직 한 번도 보지 않은 다음 구간에서 거래를 시뮬레이션합니다. 결과가 좋든 나쁘든 그대로 기록하고, 구간을 한 칸 옮겨 다음 쌍으로 넘어갑니다.

이 절차가 실전과 닮은 이유는 시간의 방향이 같기 때문입니다. 실전에서 트레이더는 과거 데이터로 설정을 정하고, 그 설정으로 아직 오지 않은 미래를 거래합니다. 미래가 어떻게 흘러갈지 모른 채 거래에 들어갑니다. 워크포워드의 아웃샘플 구간은 인샘플 시점에서 보면 정확히 그 "아직 오지 않은 미래"의 역할을 합니다. 그래서 아웃샘플 성과만 이어 붙인 곡선은 실전에 훨씬 가깝습니다. 전체 기간을 한 번에 최적화한 결과는 그만큼 부풀려져 있습니다.

구체적으로 BTC 일봉에 2년 인샘플과 6개월 아웃샘플을 적용한다고 해 보겠습니다. 2021년 1월부터 2022년 12월까지로 파라미터를 고르고, 그 설정을 2023년 1월부터 6월까지에서만 평가합니다. 다음으로 창을 6개월 굴려 2021년 7월부터 2023년 6월까지로 다시 최적화하고, 2023년 7월부터 12월까지에서 평가합니다. 이렇게 굴려가면 각 아웃샘플 구간은 그 직전 인샘플 시점에서 한 번도 보지 못한 미래였습니다. 이 점 덕분에 아웃샘플 곡선을 믿을 수 있습니다.

롤링과 앵커드는 적응 속도에서 갈립니다

인샘플 윈도우를 굴리는 방식은 두 가지로 갈립니다.

• 롤링(Rolling) 윈도우: 인샘플 기간을 고정하고 구간 전체를 통째로 앞으로 옮깁니다. 항상 직전 2년처럼 최근 데이터만 봅니다. 오래된 데이터는 버립니다.
• 앵커드(Anchored) 윈도우: 인샘플 시작점을 처음에 고정하고 끝점만 계속 늘립니다. 첫 구간은 2년, 다음은 2년 반, 그다음은 3년처럼 누적되며, 모든 과거 데이터를 계속 학습에 씁니다.

둘의 차이는 시장 상태가 바뀔 때 적응 속도로 나타납니다. 롤링은 최근 데이터만 보므로 새 추세에 빠르게 적응하지만, 한 번 겪었던 드문 사건을 금세 학습 구간에서 놓칩니다. 2022년 6월 셀시우스 출금 중단과 쓰리애로우즈(3AC) 파산이 겹치며 BTC가 17,600달러까지 빠진 급락이나, 11월 FTX 파산으로 15,500달러까지 빠진 급락은 롤링 윈도우가 2년만 보다 보면 곧 학습 구간 밖으로 밀려납니다. 그 결과 비슷한 격변에 다시 무방비가 될 수 있습니다. 앵커드는 그런 사건을 계속 학습 구간에 담아두지만, 데이터가 쌓일수록 먼 과거의 비중이 커져 최근 추세 전환에 둔해집니다.

선택 기준은 시장의 성질에 달려 있습니다. 국면이 자주 바뀌는 크립토에서는 롤링이 빠르게 적응해 유리한 경우가 많고, 구조가 천천히 변하는 시장이나 드문 위기에 견디는 것이 중요한 전략에서는 앵커드가 안전합니다. 둘 중 무엇을 쓰든, 결과가 좋게 나올 때까지 방식을 바꿔가며 고르는 행위는 검증을 무의미하게 만듭니다.

워크포워드 효율이 1에서 크게 벗어나면 과최적을 의심합니다

아웃샘플 곡선을 눈으로만 보는 단계에서 멈추면 판단이 흐려집니다. 숫자 하나로 압축하는 지표가 워크포워드 효율(Walk-Forward Efficiency, WFE)입니다. 정의는 단순합니다. 아웃샘플 구간들의 성과를 인샘플 구간들의 성과로 나눈 값입니다. 수익 기준으로 계산하면, 인샘플에서 연 환산 40퍼센트를 내던 설정이 아웃샘플에서 연 환산 32퍼센트를 냈다면 효율은 0.8입니다.

이 값을 해석하는 기준선이 있습니다.

• 0.8에서 1.0 사이: 견고한 편입니다. 최적화로 고른 설정이 보지 못한 구간에서도 성과의 대부분을 그대로 이어갔다는 의미입니다.
• 0.5에서 0.8 사이: 주의가 필요합니다. 인샘플 성과의 상당 부분이 그 기간에만 통하던 우연이었을 가능성이 있습니다.
• 0.5 미만: 과최적화를 강하게 의심합니다. 인샘플 점수의 절반도 아웃샘플에서 재현되지 않았다면, 그 설정은 시장에서 실제 우위를 잡아낸 것으로 보기 어렵습니다. 과거 잡음에 맞춰진 결과에 가깝습니다.

효율이 1을 넘는 경우도 있습니다. 아웃샘플 구간이 우연히 인샘플보다 전략에 더 유리한 시장이었을 때입니다. 2023년 하반기 저변동 회복장처럼 추세가 매끈하게 이어진 구간이 아웃샘플 자리에 들어가면 효율이 1.2까지 올라가기도 합니다. 그러나 1을 넘는 값을 전략의 실력으로 믿으면 안 됩니다. 다음 창에서 변동성이 커지면 그만큼 빠르게 1 아래로 돌아오기 때문입니다. 여러 창의 효율을 모아 평균과 분포를 함께 봐야 신뢰할 만합니다. 한 구간의 값 하나는 우연에 쉽게 흔들립니다.

윈도우 기간과 스텝은 거래 표본 수를 기준으로 정합니다

윈도우 설정에서 가장 흔한 실수는 인샘플 기간을 짧게 잡는 것입니다. 짧을수록 최근 시장에 민감해 보이지만, 그 짧은 구간 안에 거래가 몇 건 들어가지 않으면 최적화 자체가 무의미해집니다. 인샘플에서 거래가 20건뿐이라면 그중 한두 건의 큰 수익이 파라미터 선택을 좌우하고, 그렇게 고른 설정은 아웃샘플에서 힘을 못 씁니다.

기준은 거래 빈도를 거꾸로 따져 정합니다. 평균 보유 기간이 일주일인 스윙 전략이 한 달에 네다섯 건을 거래한다면, 인샘플에서 100건 이상을 확보하려면 최소 1년 반에서 2년이 필요합니다. 일봉 추세 추종처럼 거래가 드문 전략은 더 긴 인샘플이 필요합니다. 2024년 BTC가 3월 73,777달러로 2021년 고점을 넘어선 뒤 11월까지 58,000달러에서 72,000달러 사이를 오간 횡보 구간을 보면, 이 8개월 동안 추세 추종 전략은 진입할 자리가 거의 없었습니다. 이런 횡보장이 통째로 인샘플에 들어가면 거래 표본이 비어버려 최적화가 제대로 되지 않습니다.

아웃샘플 기간과 스텝은 보통 같게 잡습니다. 6개월 아웃샘플이면 6개월씩 굴립니다. 아웃샘플을 지나치게 짧게 잡으면 구간마다 거래가 몇 건뿐이라 효율 값이 들쭉날쭉해지고, 과도하게 길게 잡으면 재최적화 주기가 늘어져 시장 전환에 대한 적응을 검증하지 못합니다. 거래 표본이 적은 전략에서는 워크포워드 결과 자체를 신뢰하기 어렵다는 점을 먼저 인정하고 들어가는 편이 낫습니다. 표본이 부족하면 어떤 검증 방법도 우연과 실력을 가려내지 못합니다.

• [ ] 인샘플 거래 수: 각 인샘플 구간에 거래가 최소 100건 이상 들어가도록 기간을 정합니다. 거래가 50건 미만이면 인샘플을 늘리거나 더 짧은 타임프레임으로 내려갑니다.
• [ ] 아웃샘플 거래 수: 각 아웃샘플 구간에 거래가 20건 이상 들어가는지 확인합니다. 그 미만이면 효율 값 하나하나를 신뢰하지 말고 여러 구간 평균만 봅니다.
• [ ] 창 개수: 전체 데이터에서 인샘플과 아웃샘플 쌍이 최소 5쌍 이상 나오도록 스텝을 정합니다. 쌍이 2~3개면 평균이 우연에 휘둘립니다.

아웃샘플을 본 뒤 손대면 검증이 무의미해집니다

워크포워드를 가장 빈번하게 무력화하는 행위는 아웃샘플 결과를 본 다음 파라미터나 윈도우를 다시 만지는 것입니다. 아웃샘플 효율이 0.4로 나왔다고 인샘플 최적화 범위를 좁혀 다시 돌리거나, 윈도우 기간을 2년에서 3년으로 바꿔 효율이 0.7로 오르는 조합을 찾아내면, 그 순간 아웃샘플은 사실상 인샘플과 다를 바 없어집니다. 한 번이라도 결과를 보고 설정을 조정하면, 그 아웃샘플은 더 이상 한 번도 보지 않은 미래라고 할 수 없게 됩니다. 파라미터를 고르는 데 쓴 데이터가 돼버립니다.

이런 오염은 눈에 잘 띄지 않아 위험합니다. 코드상으로는 여전히 인샘플과 아웃샘플이 분리돼 있고 절차도 정확해 보입니다. 그러나 트레이더의 머릿속에서 아웃샘플 결과가 다음 설정 선택에 영향을 준 순간, 통계적 독립성은 무너집니다. 워크포워드 윈도우를 자산마다, 전략마다 결과가 좋게 나올 때까지 바꿔 고른 효율은, 전체 기간을 한 번에 최적화할 때와 똑같은 과최적화를 한 차원 더 큰 규모로 되풀이한 것입니다.

방어법은 절차를 먼저 확정하는 것입니다. 인샘플 기간, 아웃샘플 기간, 스텝, 최적화 대상 파라미터의 탐색 범위, 평가 지표를 데이터를 돌리기 전에 전부 확정하고, 그 뒤로는 아웃샘플 결과가 나빠도 설정을 바꾸지 않습니다. 결과가 나쁘면 그 전략을 틀린 것으로 보고 정리하는 것이 정직한 처리입니다. 효율이 좋게 나오도록 절차를 끼워 맞추면 검증 자체가 망가집니다. 워크포워드는 절차가 만들어낸 점수가 실전에서도 이어질지를 시험하는 도구입니다.

워크포워드 결과를 한 번 더 검증하는 두 가지

워크포워드 효율이 0.8 위로 나왔다고 곧장 실전에 투입하기 전에 두 가지를 더 봅니다.

첫째는 구간별 효율의 일관성입니다. 다섯 쌍의 평균 효율이 0.85라도, 그 안에 1.4와 0.3이 섞여 있다면 그 평균은 착시일 뿐입니다. 한 구간에서 운 좋게 1.4를 내고 다른 구간에서 0.3으로 무너지는 전략은, 다음 실전 구간이 어느 쪽에 가까울지 알 수 없으므로 위험합니다. 효율의 표준편차가 작고 모든 구간이 0.6 이상으로 고르게 나올 때 비로소 절차가 안정적이라고 봅니다.

둘째는 시장 국면 전환 구간의 성과입니다. 워크포워드가 진짜 시험받는 곳은 강세에서 약세로, 저변동에서 고변동으로 시장 상태가 바뀌는 자리입니다. 2021년 11월 약 69,000달러 고점에서 추세가 꺾여 2022년 하락장으로 넘어간 전환점, 2022년 11월 FTX 급락 같은 변동성 폭발 구간이 아웃샘플 자리에 들어간 창에서 효율이 어땠는지를 따로 확인합니다. 매끈한 추세장 구간에서만 효율이 높고 전환 구간에서 무너지는 전략은, 정작 가장 중요한 순간에 무너지는 절차입니다. 전환 구간을 포함한 모든 구간에서 효율이 버텨줄 때, 워크포워드 분석은 비로소 그 전략의 최적화 절차가 미래에도 통한다고 믿을 근거가 됩니다.