시스템 트레이딩 백테스팅 주의점

「확정된 봉을 사용하여 백테스팅」

 

▶ 현재 봉의 종가는 장 마감 전까지 계속해서 변화한다. 장이 마감되어야 현재 봉은 확정되기 전이기 때문에 시가를 제외한 고가, 저가, 종가는 계속 바뀐다. 백테스트 시 우리는 현재 봉의 종가를 알 수 없으므로 확정된 하나 전 봉의 값을 사용하여 테스트 해야 한다.

 

「과최적화(Overfitting) 피하기」

 

▶ 과거 데이터로 과최적화 시 오차는 줄어드나, 미래 데이터 오차는 커짐에 따라 수익률 격차가 벌어진다. In Sample을 통해 전략을 수립했다면, 수립한 전략을 Out of Sample을 통해 전진분석(Walk-forward Analysis)으로 시험해봐야 함.

 

▶ 과최적화가 안좋은 것은 우리는 이미 지나간 데이터를 보유하고 있으므로, 쓸데없는 조건까지 필터로 사용하여 강제로 수익률을 높일 수 있는 것이다. 결과적으로 좋은 수익률과 낮은 MDD를 가진 전략을 찾았으나, 전략의 조건 자체가 끼워 맞춘 것이라는 것이다.

 

「단기간 자료로 백테스팅」

 

▶ 시장은 참여자, 제도, 규제, 산업구조 등의 변화(Market Regime)에 따라 과거의 사장과 현재의 시장과는 차이가 있다. 시스템 트레이딩은 장기 투자보다는 단기 투자가 더 어울리면 백테스트 수익률이 오버 홀딩 시 시장 이상의 수익률을 가져오는지 확인해야 함.

 

▶ 물론 동일한 속성과 동일한 분포를 나타내는 기초 데이터 수집이 가능하다면 장기간 데이터로 시험 가능하겠지만, 비용적인 문제도 고려한다면 단기 투자가 낫다.