OptiNod Academy
Ba thước đo robustness — tiêu chí phân định nên tin cấu hình nào trong hai cấu hình cùng lợi nhuận
Cách OptiNod tính ba điểm độ bền vững (Neighborhood Stability, Tính nhất quán của lợi thế, Top-N Consistency) và cách đọc điểm tổng hợp, độ nhạy tham số khi chọn một trong hai thiết lập có cùng lợi nhuận.
Lợi nhuận của thiết lập đứng đầu có đáng tin hay không được quyết định bằng kết quả của các thiết lập xung quanh nó và phân bố của toàn bộ tổ hợp.
Robustness (độ bền vững) vốn là thuật ngữ thống kê, chỉ tính chất của một giá trị ước lượng hầu như không thay đổi khi giả định không hoàn toàn đúng. Trong giao dịch, robustness nghĩa là hiệu suất vẫn gần như giữ nguyên khi dịch một tham số đi một bước hoặc thay đổi giai đoạn dữ liệu một chút. Phân tích độ bền vững của OptiNod chấm điểm toàn bộ kết quả tối ưu hóa theo ba cách rồi gộp lại thành một điểm tổng hợp từ 0 đến 100.
Nhiều người coi điểm này là một bước kiểm tra hình thức sau khi backtest. Họ sắp xếp bảng kết quả theo lợi nhuận, chọn dòng đứng đầu và dùng luôn nếu điểm độ bền vững không có cảnh báo. Tuy nhiên, điểm độ bền vững không chấm riêng dòng đứng đầu. Điểm này đánh giá xem trong lần tối ưu hóa đó có một vùng thiết lập đáng tin hay không. Khi điểm thấp, dù lợi nhuận của thiết lập đứng đầu cao đến đâu, kết quả này cũng không có thiết lập nào đáng chọn. Lý do vì sao chỉ thiết lập đứng đầu tốt còn các thiết lập xung quanh kém được giải thích trong bài quá tối ưu hóa.
Bài viết giải thích ba điểm số tính những gì, cách đọc điểm tổng hợp và bảng độ nhạy tham số, và cách áp dụng cùng nguyên lý đó khi phải chọn một trong hai thiết lập có cùng lợi nhuận. Mục tiêu là kiểm tra điểm độ bền vững và ba điểm thành phần trước khi nhìn vào cột lợi nhuận.
Hiệu suất quanh các thiết lập đứng đầu càng đồng đều thì điểm Neighborhood Stability càng cao
Điểm thứ nhất, Neighborhood Stability (độ ổn định lân cận), xem các kết quả xung quanh mỗi kết quả trong nhóm 10 kết quả tốt nhất có hiệu suất giống nhau đến mức nào. Kết quả xung quanh là kết quả gần trên mọi tham số số học. Khoảng cách giới hạn là giá trị lớn hơn giữa bước của tham số và 10% khoảng đã thử; tham số dạng lựa chọn hoặc hộp kiểm phải có cùng giá trị. Điểm chỉ được tính khi vùng lân cận có ít nhất ba kết quả, tính cả chính kết quả đó. Độ lệch chuẩn của hiệu suất trong vùng lân cận được so với độ trải rộng của toàn bộ kết quả, dao động càng nhỏ thì điểm càng cao. Độ trải rộng toàn bộ được đo bằng khoảng tứ phân vị nên không bị vài kết quả cực đoan chi phối. Kết quả đứng đầu, tức thiết lập người dùng sẽ áp dụng, chiếm một nửa số điểm; trung bình của các kết quả đứng đầu còn lại chiếm nửa còn lại. Điểm này chiếm 35% điểm tổng hợp.
Điểm này quan trọng vì hiệu suất phản ánh một chuyển động lặp lại của thị trường thì vẫn gần như giữ nguyên khi tham số thay đổi một bước. Đổi chu kỳ EMA từ 20 sang 21 không làm xu hướng biến mất. Nếu thiết lập ngay bên cạnh có hiệu suất giảm mạnh, thiết lập đứng đầu nhiều khả năng chỉ tình cờ khớp với vài cây nến cụ thể. Khi giao dịch thật, những cây nến đó không quay lại, nên hiệu suất của thiết lập như vậy sớm biến mất.
Ngày 19/5/2021, BTC mở cửa ở 42.850 USD, giảm xuống 30.000 USD trong phiên và đóng cửa ở 36.690 USD. Một thiết lập có khoảng cách stop-loss được chỉnh đến từng tick để khớp với một cây nến giảm mạnh như vậy rất dễ đứng đầu kết quả backtest. Tuy nhiên, chỉ cần nới stop-loss thêm một bước là hiệu suất giảm mạnh, và Neighborhood Stability ghi nhận được khác biệt đó. Đừng chỉ nhìn kết quả của một mức stop-loss; hãy xem kết quả thay đổi bao nhiêu khi dịch mức stop-loss đó sang hai bên, mỗi bên một bước.
Khi phần lớn tổ hợp bị lỗ, điểm Tính nhất quán của lợi thế sẽ thấp
Điểm thứ hai, Tính nhất quán của lợi thế (Edge Consistency), xem trong toàn bộ các tổ hợp đã thử có bao nhiêu tổ hợp vượt mức hòa vốn. Mức hòa vốn tùy theo chỉ số: 0 với lợi nhuận ròng và chỉ số Sharpe, 1 với PF. 60% số điểm dựa trên tỷ lệ tổ hợp vượt mức đó: từ 30% trở xuống được 0 điểm, từ 90% trở lên được điểm tối đa. 40% còn lại dựa trên việc trung vị hiệu suất của toàn bộ tổ hợp cao hơn mức hòa vốn bao nhiêu. Điểm này cũng chiếm 35% điểm tổng hợp. Khi phân tích bằng một chỉ số không có mức hòa vốn, như mức sụt giảm tối đa hay tỷ lệ thắng, điểm này không được tính và phần tỷ trọng của nó được chia cho hai điểm còn lại.
Câu hỏi của phép kiểm tra này rất đơn giản: hiệu suất tốt có trải rộng trên toàn bộ không gian tham số, hay chỉ có ở vài tổ hợp được chọn ra? Ví dụ, nếu tính theo lợi nhuận ròng chỉ có 35% tổ hợp có lãi và trung vị là lỗ, thì lợi nhuận của thiết lập đứng đầu được chọn ra từ một tập hợp mà phần lớn là tổ hợp lỗ. Các phiên bản trước của OptiNod dùng kiểm định Monte Carlo ở vị trí này. Cách đó so sánh các kết quả đứng đầu với những nhóm được chọn ngẫu nhiên từ chính các giá trị kết quả đó, nên ngay cả khi mọi tổ hợp đều lỗ, giá trị p vẫn gần bằng 0 và không dùng để ra quyết định được. Vì vậy, cách tính đã được đổi sang đếm trực tiếp số tổ hợp vượt mức hòa vốn.
Trường hợp bản thân chiến lược không sinh lời trong giai đoạn đã thử cũng được phát hiện ở đây. Khi FTX sụp đổ vào tháng 11/2022, BTC giảm từ 18.545 USD xuống 15.588 USD trong phiên ngày 9/11. Nếu tối ưu hóa một chiến lược mua trên dữ liệu thị trường giảm có cú sập như vậy, phần lớn bộ tham số sẽ lỗ và điểm Tính nhất quán của lợi thế sẽ thấp. Đây không phải vấn đề chọn sai tham số. Đó là dấu hiệu chiến lược này không phù hợp với giai đoạn này. Muốn thu hẹp khoảng cách giữa backtest và giao dịch thực tế, cần kiểm tra tỷ lệ này trước.
Khi các kết quả đứng đầu tập trung một chỗ, điểm Top-N Consistency sẽ cao
Điểm thứ ba, Top-N Consistency (tính nhất quán của nhóm đứng đầu), xem tham số của 20% kết quả tốt nhất (ít nhất ba kết quả nếu có ít kết quả) có nằm trong một khoảng hẹp hay không. 60% số điểm là độ tập trung. Với mỗi tham số, khoảng mà các kết quả đứng đầu chiếm được so với toàn bộ khoảng đã thử; khoảng càng hẹp thì điểm càng cao. Tham số nào ảnh hưởng nhiều đến hiệu suất thì được tính tỷ trọng lớn hơn, vì một tham số hầu như không làm thay đổi hiệu suất thì dù trải rộng trong nhóm đứng đầu cũng không phải dấu hiệu quá tối ưu hóa. 40% còn lại là tỷ lệ các kết quả đứng đầu nằm trong nhóm liền nhau lớn nhất; việc có liền nhau hay không được xét theo cùng khoảng cách giới hạn với Neighborhood Stability. Điểm này chiếm 30% điểm tổng hợp.
Các kết quả đứng đầu tập trung ở một khu vực nghĩa là thị trường thật sự có một vùng thiết lập cho hiệu suất tốt. Nếu các chu kỳ EMA đứng đầu đều nằm trong khoảng 18–24, thì khoảng đó là vùng cho hiệu suất tốt. Ngược lại, nếu các kết quả đứng đầu rải ở chu kỳ 10, 50 và 90, mỗi kết quả nhiều khả năng là một sự ngẫu nhiên riêng, và chọn thiết lập nào trong số đó cũng không có gì bảo đảm sẽ cho kết quả tương tự ở giai đoạn sau.
Lấy ví dụ ngày 14/3/2024, khi BTC lập đỉnh lịch sử 73.777 USD rồi giảm xuống 68.555 USD ngay trong ngày, biến động hơn 5.000 USD. Trong giai đoạn như vậy, những thiết lập tình cờ bắt được một hai cây nến lớn sẽ lọt vào nhóm đứng đầu trong khi vẫn nằm rải rác. Tỷ lệ của nhóm liền nhau lớn nhất thấp nghĩa là các kết quả đứng đầu không tạo thành một vùng thống nhất và nhiều sự ngẫu nhiên đang lẫn vào nhau. Khi chia dữ liệu bằng phân tích walk-forward, có thể thấy vị trí của những kết quả đứng đầu rải rác này thay đổi sang chỗ khác ở mỗi đoạn.
Điểm tổng hợp đánh giá toàn bộ lần chạy, độ nhạy tham số đánh giá từng tham số
Ba điểm được gộp với tỷ trọng 35%, 35% và 30% thành điểm tổng hợp. Điểm không được tính khi có ít hơn năm kết quả khác nhau hoặc khi mọi kết quả có cùng giá trị tham số, vì bàn về độ ổn định khi mẫu quá ít cũng là một dạng quá tối ưu hóa khác. Thông báo hiển thị theo điểm tổng hợp như sau:
| Điểm tổng hợp | Thông báo |
|---|---|
| Từ 80 trở lên | Kết quả có vẻ bền vững. Rủi ro quá khớp thấp. |
| 60–79 | Kết quả bền vững ở mức trung bình. Nên kiểm tra forward test để xác nhận. |
| 40–59 | Kết quả có dấu hiệu quá khớp. Hãy thận trọng khi tiến hành. |
| Dưới 40 | Kết quả có thể bị quá khớp. Khuyến nghị mạnh mẽ giảm tham số hoặc kiểm tra forward test. |
Bảng Độ nhạy tham số chấm điểm riêng cho từng tham số. Tham số càng làm hiệu suất thay đổi nhiều và giá trị càng trải rộng trong nhóm kết quả đứng đầu thì điểm càng thấp. Dưới 60 điểm được đánh dấu "Nhạy cảm vừa", dưới 40 điểm là "Rất nhạy cảm"; với tham số rất nhạy cảm, bảng gợi ý mở rộng khoảng giá trị để thử lại hoặc cố định giá trị.
Cách chọn một trong hai thiết lập có cùng lợi nhuận
Vì điểm độ bền vững đánh giá toàn bộ lần chạy, khi so sánh hai ứng viên cần áp dụng trực tiếp cùng nguyên lý đó cho từng ứng viên. Các ngưỡng dưới đây là giá trị khuyến nghị, sản phẩm không bắt buộc. Hãy điều chỉnh theo đặc điểm của chiến lược.
- Kiểm tra điểm tổng hợp: Dưới 40 điểm thì không chọn ứng viên nào. Kết quả này không có vùng đáng tin, nên cần đổi chiến lược hoặc giai đoạn thử trước.
- Kiểm tra Tính nhất quán của lợi thế: Nếu chưa đến một nửa số tổ hợp vượt mức hòa vốn, đây không phải vấn đề giải quyết được bằng cách chọn tham số. Hãy xem lại quy tắc giao dịch của chiến lược trước.
- Kiểm tra vùng lân cận của từng ứng viên: Trên heatmap hoặc bảng kết quả, xem kết quả khi dịch từng giá trị đầu vào của mỗi ứng viên đi một bước. Giữ lại ứng viên có trung bình lân cận cao hơn và chênh lệch nhỏ hơn.
- Xử lý tham số nhạy cảm: Tham số nào được đánh dấu "Rất nhạy cảm" trong bảng Độ nhạy tham số thì cố định giá trị hoặc mở rộng khoảng giá trị rồi chạy lại.
- So sánh cuối cùng: Trong các ứng viên còn lại, chọn ứng viên có profit factor cao hơn và mức sụt giảm tối đa thấp hơn, rồi chạy thêm một lần trên giai đoạn chưa dùng để tối ưu hóa.
Hai cách đọc sai điểm số
Chỉ nhìn điểm tổng hợp mà không xem điểm thành phần. Điểm tổng hợp 60 có thể đến từ ba điểm cùng ở mức 60, cũng có thể đến từ một điểm 90 và hai điểm ở mức 40. Trường hợp sau chỉ vượt qua một loại kiểm tra. Hãy dùng điểm tổng hợp làm điểm xuất phát và đừng bỏ qua bước mở ba điểm thành phần để xem phép kiểm tra nào yếu.
Tin vào điểm số khi có ít kết quả. Điểm được tính khi có từ năm kết quả trở lên, nhưng khi kết quả ít thì ít kết quả đứng đầu có đủ ba kết quả lân cận để tính Neighborhood Stability. Khi đó, dù điểm cao thì căn cứ vẫn yếu. Muốn tin vào điểm số, trước hết hãy chạy đủ tổ hợp để có ít nhất 30 kết quả.
Chỉ tin vào kết quả khi cả ba điểm đều cao
Điểm độ bền vững không hứa hẹn lợi nhuận tương lai. Đây là công cụ phân biệt hiệu suất tốt xuất hiện trên một vùng rộng trong giai đoạn backtest với hiệu suất chỉ có ở vài tổ hợp tình cờ khớp. Vì vậy, bước kiểm tra cuối cùng là xem cả ba điểm có cùng cao hay không. Các ngưỡng dưới đây cũng là giá trị khuyến nghị.
- Điểm tổng hợp từ 60 trở lên
- Cả ba điểm Neighborhood Stability, Tính nhất quán của lợi thế và Top-N Consistency đều từ 40 trở lên
- Ít nhất một nửa số tổ hợp vượt mức hòa vốn trong Tính nhất quán của lợi thế
- Không có tham số nào bị đánh dấu "Rất nhạy cảm" trong bảng Độ nhạy tham số
- Có ít nhất 30 kết quả để điểm số đủ tin cậy
Kết quả có cả ba điểm đều cao nhiều khả năng giữ được hiệu suất tương tự khi giai đoạn dữ liệu thay đổi. Chúng khác với một thiết lập được chỉnh để khớp với một cây nến sốc duy nhất, chẳng hạn ngày 5/8/2024 khi giao dịch carry trade đồng yên bị đóng hàng loạt và BTC giảm từ 58.161 USD xuống 49.000 USD. Nên tin thiết lập nào trong hai thiết lập có cùng lợi nhuận được quyết định bằng ba điểm số này cùng với kết quả xung quanh từng ứng viên.