科学评估

这个专题解决什么问题

科学评估关注研究结果在独立条件下是否仍有证据支持。需要说明样本如何划分、候选如何选择、试验做过多少次，以及成本和风险如何计算。

建议检查顺序

1. 在选择模型之前固定评估指标和时间划分。

2. 分开调参与最终检验，记录候选数量和失败结果。

3. 检查样本外、成本后表现及参数和市场变化下的敏感性。

适用边界

统计指标依赖数据与假设，不能用单个分数证明未来盈利。时间序列划分也不会自动消除标签重叠或多次试验偏差。

相关文章

• AI策略赚了钱，靠的是择时还是持仓方向？ ↗

  一项403次策略与资产审计发现，AI策略的优势可能只是多头暴露。把同一策略的持仓区块打乱再比较，才能更接近择时贡献；检验本身也要接受校准。

• 从会跑回测到专业研究：量化人才的四项核心能力 ↗

  10月31日20:00—21:00，AI量化邹老师带你梳理因子工程、科学评估、Alpha协同与系统化交易。用一个研究案例，讲清四项能力怎样衔接。

• AI组合跑赢了，优势究竟来自哪里？ ↗

  OpenPM把证据、组合决策与执行拆开比较：同池等权是硬基准，换手会吞掉优势，风控需要程序落实。44个交易日的结果仍不能当成稳定Alpha。

• 协整检验通过了，为什么配对交易还是失效？ ↗

  一篇PEP/KO研究显示：历史协整、参数稳定与可交易性之间，还隔着时间检验。看清901次择优、收益集中和样本外无法退出的问题。

• 别急着删除高相关因子：先看它给组合留下了什么 ↗

  高相关不必然等于冗余，单因子IC很低也不必然没有组合价值。结合KDD 2023论文的对照实验与具体案例，讨论因子入池应怎样评价边际贡献，以及这种做法的适用边界。

• LLM挖出的因子，为什么要先审计再谈收益？ ↗

  一篇因子挖掘审计论文发现：统计总体混用、按样本外结果删记录，会让漂亮报告失去解释力。本文结合原表，讨论完整队列、指标口径与增量价值该怎样核验。

• 公开课预告｜专业机构量化人才培养：四大核心能力进阶 ↗

  10月31日20:00—22:00，AI量化邹老师带来公开课《专业机构量化人才培养：四大核心能力进阶》。从因子工程、科学评估，到Alpha协同与系统化交易，梳理下一阶段的研究路径。

• 为什么“因子工程科学评估大乘班”是 AI量化系列里最关键的一次跃迁 ↗

  从课程总览视角讲清 AI量化全流程高级班、因子工程设计卓越班与因子工程科学评估大乘班的递进关系，解释为什么第三门课代表的是研究层级的升级。

• 从“回测好看”到“预测未来”：大乘班真正升级了什么 ↗

  拆解因子工程科学评估大乘班最核心的两次升级，解释为什么量化研究必须从看曲线走向看概率，从研究产物走向可运营资产。

• 评价和预测为什么必须分开做 ↗

  系统解释为什么因子评价与未来预测是两件完全不同的事，以及各自应该由什么样的工具和流程来回答。

• Bootstrap、CSCV、PBO、DSR 到底各自解决什么问题 ↗

  从实战视角讲解 Bootstrap、CSCV、PBO 与 DSR 各自负责识别什么风险，以及它们如何共同构成因子评估的统计概率判决书。

• 第一场公开课暴露的 5 个回测陷阱 ↗

  总结第一场公开课里最值得警惕的回测误区，包括数据切分、市场中性误解、绩效错读与未来函数风险。

• 为什么简单因子在样本外，常常比复杂模型更稳 ↗

  结合第三场公开课，解释为什么复杂模型与简单因子的对比，最终常常回到可解释性、搜索空间和样本外稳健性问题。

• Bootstrap 的真正价值：把一次回测，变成一片分布 ↗

  解释第三场公开课里 Bootstrap 的核心意义，帮助学习者理解为什么稳定性评估必须从单点结果转向分布视角。

• PBO 和结构性死亡，其实是两种不同的警报 ↗

  结合第三场公开课，解释 PBO 与结构性死亡为什么必须分开看，以及这两类信号如何共同构成高级评估框架。

• 统计过拟合为什么是量化交易里最危险的隐形杀手 ↗

  系统解释统计过拟合为什么是量化交易中的隐形杀手，帮助学习者理解回测漂亮却实盘失真的根本原因。

• 为什么回测越完美，越可能是策略失败的开始 ↗

  分析为什么“回测完美”常常意味着更高的失败风险，帮助研究者重建对回测结果的正确理解。

• 小样本诅咒：为什么几十笔信号就足以把人骗得很深 ↗

  讲解小样本诅咒如何在量化研究中制造伪规律，帮助研究者重新理解样本量与统计可信度。

• 过滤器挖掘：很多“聪明规则”其实只是对历史做后视镜裁剪 ↗

  分析过滤器挖掘为何会制造伪稳健策略，帮助研究者识别那些只在历史上好看的过滤条件。

• 参数孤岛：为什么只有 MA(20) 有效，通常不是发现了规律 ↗

  解释参数孤岛为什么是过拟合的重要信号，帮助研究者学会用邻域稳定性判断策略可靠度。

• 调仓频率到底怎么选？日频、周频、月频不是越快越好 ↗

  讲解量化策略调仓频率的选择逻辑，帮助学习者理解信号更新节奏、成本约束和组合稳定性的平衡方法。

• 回测里基准到底怎么选？很多策略从比较对象开始就错了 ↗

  分析量化回测中基准选择的常见误区，帮助研究者为不同策略挑选更合理的比较对象。

• Walk-forward 测试到底在解决什么问题？为什么很多回测离实盘还差这一层 ↗

  讲解 walk-forward 测试的作用与实践方式，帮助研究者更真实地评估参数滚动更新和策略上线表现。

• 为什么做机器学习量化时，嵌套验证比普通调参更靠谱 ↗

  讲解嵌套验证在机器学习量化中的意义，帮助研究者避免把测试集当成调参工具而导致过拟合。

• PBO 到底在告诉你什么？为什么很多好看的回测其实只是参数幻觉 ↗

  讲解 PBO 在量化策略评估中的含义，帮助研究者理解回测冠军偏差与参数选择风险。

• 交易成本模型到底该做到什么程度，才不会把回测做成纸上富贵 ↗

  讲解量化回测中交易成本模型的关键组成部分，帮助研究者提高回测与实盘的一致性。

• 滑点模型为什么不能随手填一个数？它决定了你有多接近真实市场 ↗

  讲解滑点模型的设计思路，帮助研究者理解成交冲击、流动性状态和撮合方式对回测结果的影响。

• Alpha 挖掘里最容易忽略的风险：你可能只是挖到了假发现 ↗

  讲解 Alpha 挖掘中的假发现风险，帮助研究者理解多重测试和大规模搜索下的统计陷阱。

• 事件驱动回测和向量化回测怎么选？不要把框架之争变成立场之争 ↗

  比较事件驱动与向量化回测框架的优缺点，帮助研究者为不同策略选择更合适的研究工具。

• 回测前数据 QA 应该检查什么？很多策略一开始就输在这张清单没做 ↗

  整理回测前的数据 QA 清单，帮助学习者降低时间对齐、缺失和口径混乱带来的研究风险。

• 为什么很多 CTA 策略回测很好，一到实盘就失真 ↗

  分析 CTA 策略为何常出现回测与实盘偏差，重点讲解执行滑点、参数脆弱性、品种切换和风控约束对策略表现的影响。

• 回测系统应该先做到什么程度，再谈优化和复杂功能 ↗

  分析量化回测系统的优先级，帮助学习者理解回测框架最先需要具备哪些能力，以及哪些复杂功能可以后置。

• 做量化求职时，作品集应该怎么准备，才不会只剩几张回测图 ↗

  讲解量化求职作品集的准备思路，包括项目结构、研究过程展示、策略复盘和工程表达，帮助学习者更有效展示能力。

• 从零开始做量化，最容易踩的 7 个坑 ↗

  总结量化新手最常见的 7 个坑，包括只看收益曲线、忽视数据问题、不会样本外验证、不重视风控和部署等，帮助学习者少走弯路。

• 如何判断一个因子是不是过拟合了 ↗

  介绍量化因子过拟合识别思路，包括样本切分、Bootstrap、PBO、未来验证与概率评估框架，帮助更科学地判断因子稳定性。

原始方法资料

以下文档解释相关工具和方法，不构成对本站课程或交易效果的认可。

• scikit-learn：交叉验证与评估 ↗
• scikit-learn：时间序列划分 ↗

关联课程

• 因子工程评估大乘班 ↗