AI量化学院AIQUANT ACADEMY
菜单

组合稳定性与滚动排序验证

比较多路径组合衰减,以及Ridge与LightGBM的排序能力和跨时点稳定性。

组合稳定性滚动排序模型比较

来源:科学评估课 · Module 4 / 6 · AI量化邹老师

科学评估课程:两个教学节选

从组合的样本外稳定性,到因子排序模型的滚动验证,看看评估如何进入实际研究决策。

节选一 · Module 4,第20—23页 · 组合稳定性验证

组合在样本外仍然为正,就说明它可靠吗?

课件给出的反例是:样本内 Sharpe 为5,样本外降至0.2。虽然样本外仍为正,但只保留了样本内的4%。只判断“是否大于零”,会漏掉严重的相对衰减。

把验证对象对准实际决策

原始 PBO 关注从候选中选出的样本内冠军在样本外是否掉队;这里研究的是多个因子组成的组合。课件保留 CSCV 的对称时间切分框架,每轮固定当前因子池、构造等权组合,再比较该组合的 IS 与 OOS 表现。

同时检验绝对表现和相对衰减

每个切分计算样本内 Sharpe、样本外 Sharpe,以及 OOS / IS。若 OOS 低于绝对门槛,或衰减比低于相对门槛,则记为失败;IS 接近零时,比例不稳定,需单独处理。

Failᵦ = 1{SR_OOS,ᵦ < θ_abs 或 SR_OOS,ᵦ / SR_IS,ᵦ < θ_ratio}
Risk = 失败切分数 / 全部切分数

课件示意:100个切分中25个触发失败条件,Risk 为25%。随后还要比较 OOS 与衰减比分布的尾部:表现集中、尾部较短的“高原型”,与少数切分亮眼、换切分就塌陷的“悬崖型”,不能只凭一个平均数视为同样稳健。

这里的 Risk 是给定历史、切分与门槛下的失败占比,区别于原始基于排名的 PBO;25%是课件方法示意,不能直接解释为未来实盘亏损概率。

节选二 · Module 6,滚动训练、IC、分桶与稳定性章节 · 课件实验结果

Ridge 与 LightGBM,应该按哪个指标选?

任务是在每个 asof_date,用当时可见的因子状态特征,预测下一期 OOS 表现并排序。训练样本的未来标签必须已在预测时点兑现;课件依次检验截面 Spearman IC、Q1—Q5分桶,以及跨滚动时点的稳定性,而不是只比较训练误差。

检验指标RidgeLightGBM
平均截面 IC0.07080.0788
正 IC 时点占比100%(8/8)87.5%(7/8)
Q1 平均未来 Sharpe0.70260.6414
Q5 平均未来 Sharpe1.01871.0568
平均 Q5−Q1 差值0.31610.4154
正分桶差值时点占比100%(8/8)87.5%(7/8)

区分能力与时间一致性一起看

在这组课件结果中,LightGBM 的平均 IC 与头尾分离更强;Ridge 的正 IC、正分桶差值覆盖全部8个时点。更强的平均排序能力与更高的时间一致性,是两个需要同时比较的维度。

排序输出还要经过组合层

pred_score 表示相对优先级,不等于资金权重。排序之后还需要候选筛选、相关性与风险暴露控制、权重分配,才能进入实际组合。

以上数字引用所提供课件中的实验表,不是本网页重新回测的结果。分桶差值是未来 Sharpe 的差值,不是收益率;8个滚动时点的观察需结合更多样本与独立验证解释。