API回测一场梦本地数据才是真WorkBuddy如何帮我构建高效策略回测体系写在前面做量化的人都有过回测跑一天的经历。写好一个策略想看看历史表现结果从API拉数据就花了半天。如果要跑多个策略、多只股票、多个时间段时间成本更高。更头疼的是API有频率限制拉数据拉太快会被限流只能慢慢等。后来我开始用本地数据落盘方案把历史数据存储在本地文件中才发现回测原来可以这么快——WorkBuddy直接读本地文件分钟级完成回测效率提升了几十倍。今天想分享的就是WorkBuddy如何结合本地数据ig50构建一套高效的策略回测体系。第一阶段API回测的痛点典型的回测流程用API做回测典型流程是这样的1. WorkBuddy调API获取股票列表 2. WorkBuddy调API获取第一只股票的历史K线 3. WorkBuddy运行策略计算收益 4. WorkBuddy调API获取第二只股票的历史K线 5. WorkBuddy运行策略计算收益 6. ... 重复几百次 ...每个API调用都要经过网络请求、数据返回、数据解析整个过程通常需要几百毫秒到几秒。如果要回测100只股票光拉数据就要几分钟到十几分钟。真实的时间消耗我之前用API跑过一个均线策略的回测回测50只股票、1年历史数据步骤时间消耗拉取50只股票的历史K线约8分钟运行策略计算收益约2分钟汇总分析结果约1分钟总计约11分钟而且这还是顺利的情况中间如果遇到API限流时间会更长。第二阶段本地数据让回测分钟级完成WorkBuddy读本地文件的速度换成本地数据方案之后回测的速度提升了一个量级读本地的速度取决于你的CPU、内存和硬盘速度如果再用多线程并行读取回测速度还能进一步提升。importjsonimportpandasaspdfrompathlibimportPathfromconcurrent.futuresimportThreadPoolExecutor DATA_DIRPath(/data)defload_kline_data(args):WorkBuddy多线程读取单只股票历史K线code,start_date,end_dateargs kline_pathDATA_DIR/stock-a/历史K线/codetry:withopen(kline_path,r,encodingutf-8)asf:datajson.load(f)except:returnNonedfpd.DataFrame(data)df[日期]pd.to_datetime(df[日期])dfdf[(df[日期]start_date)(df[日期]end_date)]returncode,df# WorkBuddy多线程批量读取历史K线stock_codes[000001,000002,600036,600519]args[(code,2024-01-01,2024-12-31)forcodeinstock_codes]withThreadPoolExecutor(max_workers8)asexecutor:kline_resultslist(executor.map(load_kline_data,args))# 过滤空数据kline_results[rforrinkline_resultsifrisnotNone]同样的回测任务用本地数据步骤API回测耗时本地单线程回测耗时本地多线程回测耗时读取50只股票的历史K线约8分钟约5秒约1秒运行策略计算收益约2分钟约2分钟约2分钟汇总分析结果约1分钟约1分钟约1分钟总计约11分钟约3分钟约2分钟回测时间从11分钟缩短到2分钟效率提升近6倍。在CPU、内存、硬盘足够的情况下多线程读取数据的速度上限取决于你的硬件配置。WorkBuddy可以批量读取数据更关键的是用本地数据之后WorkBuddy可以批量读取多只股票的数据defbatch_backtest(stock_codes,strategy_func,start_date,end_date):WorkBuddy批量回测results[]# WorkBuddy批量读取数据forcodeinstock_codes:# 读取历史K线本地毫秒级kline_pathDATA_DIR/stock-a/历史K线/codetry:withopen(kline_path,r,encodingutf-8)asf:datajson.load(f)except:continuedfpd.DataFrame(data)df[日期]pd.to_datetime(df[日期])dfdf[(df[日期]start_date)(df[日期]end_date)]ifdf.empty:continue# WorkBuddy运行策略signalsstrategy_func(df)# WorkBuddy计算收益profitcalculate_profit(signals,df)win_ratecalculate_win_rate(signals,df)max_drawdowncalculate_max_drawdown(signals,df)results.append({code:code,profit:profit,win_rate:win_rate,max_drawdown:max_drawdown})returnpd.DataFrame(results)# WorkBuddy回测50只股票resultsbatch_backtest(stock_codes,ma_strategy,2024-01-01,2024-12-31)WorkBuddy可以在几分钟内完成50只股票的回测这在用API的时候是不可想象的。第三阶段多策略并行回测WorkBuddy可以同时跑多个策略用API的时候跑多个策略很麻烦——每个策略要单独拉数据重复的API调用浪费大量时间。用本地数据之后WorkBuddy可以一次读取数据运行多个策略defmulti_strategy_backtest(stock_codes,strategies,start_date,end_date):WorkBuddy多策略并行回测all_results[]forcodeinstock_codes:# WorkBuddy读取数据只读一次kline_pathDATA_DIR/stock-a/历史K线/codetry:withopen(kline_path,r,encodingutf-8)asf:datajson.load(f)except:continuedfpd.DataFrame(data)df[日期]pd.to_datetime(df[日期])dfdf[(df[日期]start_date)(df[日期]end_date)]ifdf.empty:continue# WorkBuddy运行多个策略forstrategy_name,strategy_funcinstrategies.items():signalsstrategy_func(df)profitcalculate_profit(signals,df)win_ratecalculate_win_rate(signals,df)max_drawdowncalculate_max_drawdown(signals,df)all_results.append({code:code,strategy:strategy_name,profit:profit,win_rate:win_rate,max_drawdown:max_drawdown})returnpd.DataFrame(all_results)# WorkBuddy同时跑3个策略strategies{均线策略:ma_strategy,布林带策略:bollinger_strategy,动量策略:momentum_strategy}resultsmulti_strategy_backtest(stock_codes,strategies,2024-01-01,2024-12-31)# WorkBuddy对比不同策略的表现comparisonresults.groupby(strategy).agg({profit:mean,win_rate:mean,max_drawdown:mean}).sort_values(profit,ascendingFalse)print(comparison)WorkBuddy可以在几分钟内跑完多个策略、多只股票的回测然后对比不同策略的表现策略 平均收益 平均胜率 平均最大回撤 布林带策略 15.2% 55.3% -8.2% 均线策略 12.5% 52.1% -10.5% 动量策略 8.3% 48.7% -15.2%这让策略优化的效率大大提升。第四阶段分钟级回测WorkBuddy可以回测分钟级策略做日内交易的人需要回测分钟级策略。但分钟级数据量很大——一只股票1年的分钟K线就有几万条记录。用API拉这些数据非常慢。用本地数据之后WorkBuddy可以快速读取分钟级数据defminute_level_backtest(code,strategy_func,start_date,end_date):WorkBuddy分钟级回测# WorkBuddy读取分钟级K线本地毫秒级minute_pathDATA_DIR/stock-a/历史K线分钟级/codewithopen(minute_path,r,encodingutf-8)asf:datajson.load(f)dfpd.DataFrame(data)df[时间]pd.to_datetime(df[时间])dfdf[(df[时间]start_date)(df[时间]end_date)]# WorkBuddy运行分钟级策略signalsstrategy_func(df)# WorkBuddy计算分钟级收益profitcalculate_minute_profit(signals,df)returnprofit# WorkBuddy回测1分钟策略profitminute_level_backtest(000001,minute_strategy,2024-01-01,2024-12-31)分钟级回测的数据量是日线级的几十倍用API几乎跑不动但用本地数据WorkBuddy可以轻松完成。分钟级回测的价值分钟级回测解决了日内交易最大的痛点策略验证难。很多日内策略看起来逻辑完美但实际跑起来效果很差。因为日内交易的细节很多——滑点、流动性、盘口变化这些都要在分钟级数据上验证。WorkBuddy可以做分钟级回测让策略在上实盘之前充分验证大大降低风险。第五阶段融合多数据源的回测WorkBuddy可以融合多个数据源高级一点的策略会结合多个数据源——比如结合主力资金流向、北向资金、龙虎榜等数据。用API做这种回测要调多个API非常慢。用本地数据之后WorkBuddy可以融合多个数据源做回测defmulti_source_backtest(code,start_date,end_date):WorkBuddy融合多数据源回测# WorkBuddy读取历史K线kline_pathDATA_DIR/stock-a/历史K线/codewithopen(kline_path,r,encodingutf-8)asf:kline_datajson.load(f)df_klinepd.DataFrame(kline_data)# WorkBuddy读取主力资金流向fund_pathDATA_DIR/stock-a/主力资金流向withopen(fund_path,r,encodingutf-8)asf:fund_datajson.load(f)df_fundpd.DataFrame([itemforiteminfund_dataifitem[股票代码]code])# WorkBuddy读取北向资金north_pathDATA_DIR/stock-center/北向资金withopen(north_path,r,encodingutf-8)asf:north_datajson.load(f)df_northpd.DataFrame([itemforiteminnorth_dataifitem[股票代码]code])# WorkBuddy融合数据df_mergedpd.merge(df_kline,df_fund,on日期,howleft)df_mergedpd.merge(df_merged,df_north,on日期,howleft)# WorkBuddy运行融合策略signalsfusion_strategy(df_merged)# WorkBuddy计算收益profitcalculate_profit(signals,df_merged)returnprofit# WorkBuddy融合多数据源回测profitmulti_source_backtest(000001,2024-01-01,2024-12-31)WorkBuddy可以一次读取多个数据源融合分析这在用API的时候几乎做不到。第六阶段踩坑与优化教训一数据格式要统一不同数据源的字段名称、日期格式可能不一样WorkBuddy读取之后要做统一处理defstandardize_data(df):WorkBuddy统一数据格式# 统一日期格式df[日期]pd.to_datetime(df[日期])# 统一数值类型forcolindf.columns:if涨幅incolor比例incol:df[col]pd.to_numeric(df[col],errorscoerce)returndf教训二数据质量要检查本地数据虽然快但也要检查数据质量——比如是否有缺失、异常值等defcheck_data_quality(df):WorkBuddy检查数据质量# 检查缺失值missingdf.isnull().sum()ifmissing.any():print(f⚠️ 数据存在缺失{missing[missing0]})# 检查异常值forcolin[收盘价,成交量]:ifcolindf.columns:z_score(df[col]-df[col].mean())/df[col].std()outliersdf[abs(z_score)3]iflen(outliers)0:print(f⚠️{col}存在异常值{len(outliers)}个)教训三回测不是实盘回测的目的是验证策略逻辑不是追求回测收益。过度优化回测参数容易导致过拟合——回测表现很好实盘表现很差。我的原则是回测验证逻辑实盘验证策略。总结从API回测到本地回测用WorkBuddy结合本地数据做回测的这段时间我的策略开发效率提升了一个量级之前API回测拉数据慢回测一场要等半天多策略回测要重复拉数据分钟级回测几乎做不了多数据源融合很麻烦现在本地回测读本地文件回测分钟级完成一次读取多策略运行分钟级回测轻松完成多数据源融合很简单从API回测一场梦到本地回测分钟完成策略开发效率提升了10倍以上。给同路人的建议如果你也想用WorkBuddy做回测建议从这几步开始确定回测粒度日线级还是分钟级确定数据源单数据源还是多数据源融合确定策略类型趋势跟踪、均值回归、还是动量策略把这些问题想清楚再构建你的WorkBuddy回测体系。回测是验证工具你的策略逻辑才是核心。gitee开源地址github开源地址