一、因子相关性检验的原因：多重共线性

我们通过单因子测试部分筛选出一批有效因子，但以上因子不能直接入库。因子本身可以根据具体的经济含义进行大类划分，同类型的因子间存在较强的相关性，若不经相关性筛选直接入库，根据不同因子进行多元线性回归求预期收益率时，会出现多重共线性问题。计量经济学中，多重共线性是指回归模型中的一些或全部解释变量存在“完全”或准确的线性关系（各变量间高度相关）。

因此，有效因子筛选出后，首先需要根据大类对因子的相关性进行T检验，对于相关性较高的因子，要么舍弃显著性较低的因子，要么进行因子合成。

多重共线性的数学解释如下：

Y=β₁+β₂X₂ᵢ+β₃X₃ᵢ+…+βₖXₖᵢ+μᵢ,i=1,2,…,n

会存在两种情况：

1.C₂X₂ᵢ+C₃X₃ᵢ+…+CₖXₖᵢ=常数向量，Cᵢ不全为0→Xᵢ 间存在完全共线

2.C₂X₂ᵢ+C₃X₃ᵢ+…+CₖXₖᵢ+Vᵢ=常数向量，Cᵢ不全为0，Vᵢ为随机误差项，→Xᵢ间存在完全共线

多重共线性导致的后果：

1.完全共线性下参数估计量不存在

2.近似共线性下OLS估计量非有效

我们首先定义方差膨胀因子（variance- inflating factor, VIF）为 VIF=1/(1−rᵢⱼ) ，指参数估计量的方差由于出现多重共线性而膨胀，随着相关系数增加，VIF显著增加。

以二元线性模型为例：Y=β₁+β₂X₂ᵢ+β₃X₃ᵢ+μᵢ

相关系数的平方和

• 完全不共线（完全不相关）：

• 近似共线：

，越接近1，方差↑

• 完全共线：

，方差无限大

3.参数估计量经济含义不合理

4.变量的显著性检验（t检验）失去意义

5.模型的预测功能失效：通过多元线性模型拟合出的预测收益率极其不准确，模型失效。

二、步骤一：同类型因子的相关性检验

检验新求出的因子与已入库因子的相关性。通常来说，有两类数据求相关性：

1.根据所有token在回测期间的因子值求相关

2.根据所有token在回测期间的因子超额收益值求相关

超额收益=多头组收益−基准收益，收益=ln(closeₜ/close₋₁)

我们所求的每个因子对token的收益率都有一定的贡献和解释能力。进行相关性检验**，是为了找到对策略收益有不同解释和贡献的因子，策略的最终目的是收益**。如果两个因子对收益的刻画是相同的，即使两个因子值存在很大差别也无意义。因此，我们并不是想找到因子值本身差异大的因子，而是想找到因子对收益刻画不同的因子，所以最终选择了用因子超额收益值求相关。

我们的策略是日频，所以按回测区间的日期计算因子超额收益之间的相关系数矩阵

编程求解与库内相关最高的前n个因子：

def get_n_max_corr(self, factors, n=1):

factors_excess = self.get_excess_returns(factors)

save_factor_excess = self.get_excess_return(self.factor_value, self.start_date, self.end_date)

        if len(factors_excess) < 1:

return factor_excess, 1.0, None factors_excess[self.factor_name] = factor_excess['excess_return']

factors_excess = pd.concat(factors_excess, axis=1)

factors_excess.columns = factors_excess.columns.levels[0] # get corr matrix

factor_corr = factors_excess.corr()

factor_corr_df = factor_corr.abs().loc[self.factor_name]

max_corr_score = factor_corr_df.sort_values(ascending=False).iloc[1:].head(n)

return save_factor_excess, factor_corr_df, max_corr_score

三、步骤二：因子取舍、因子合成

对于相关性较高的因子集合，可以采取两种方式处理：

（1）因子取舍

根据因子本身的ICIR值、收益率、换手率、Sharpe 比率，挑选某维度下最有效的因子进行保留，删除其他因子。

（2）因子合成

对因子集合中的因子进行合成，截面上尽可能多的保留有效信息

F=w₁∗f₁+w₂∗f₂+…+wₙ∗fₙ，F为最终的合成因子，f为需要进行合成的因子

假设当前有3个待处理的因子矩阵：

synthesis = pd.concat([a,b,c],axis = 1) 

synthesis

a b c

BTC.BN 0.184865 -0.013253 -0.001557

ETH.BN 0.185691 0.022708 0.031793

BNB.BN 0.242072 -0.180952 -0.067430

LTC.BN 0.275923 -0.125712 -0.049596

AAVE.BN 0.204443 -0.000819 -0.006550

... ... ... ...

SOC.BN 0.231638 -0.095946 -0.049495

AVAX.BN 0.204714 -0.079707 -0.041806

DAO.BN 0.194990 0.022095 -0.011764

ETC.BN 0.184236 -0.021909 -0.013325

TRX.BN 0.175118 -0.055077 -0.039513

2.1 等权加权

各因子权重相等（w=1/因子个数），综合因子=各因子值加总求平均。

Eg.动量类因子，一个月收益率、两个月收益率、三个月收益率、六个月收益率、十二个月收益率，这六个因子的因子载荷各占1/6的权重，合成新的动量因子载荷，然后再重新进行标准化处理。

synthesis1 = synthesis.mean(axis=1) # 按行求均值

2.2 历史IC加权、历史ICIR、历史收益加权

用回测期的IC值（ICIR值、历史收益值）对因子进行加权。过去有很多期，每一期都有一个IC值，所以用它们的均值作为因子的权重。通常使用回测期IC的均值（算数平均值）作为权重。

# 权重归一化（后文中的因子加权方式也基本都需要进行权重归一化）

w_IC = ic.mean() / ic.mean().sum()

w_ICIR = icir.mean() / icir.mean().sum()

w_Ret = Return.mean() / Return.mean().sum()

synthesis2 = (synthesis * w_IC).sum(axis=1)

synthesis2 = (synthesis * w_ICIR).sum(axis=1)

synthesis2 = (synthesis * w_Ret).sum(axis=1)

2.3历史IC半衰加权、历史ICIR半衰加权

2.1与2.2都是计算算数平均值，回测期的每一次IC、ICIR对于因子的作用被默认为相同。

但现实中，回测期的每一期对于当期的影响程度不完全相同，存在时间上的衰减。越接近当前期的时期，影响越大，越远影响越小。在此原理，求IC权重前首先定义一个半衰权重，距离当期越近的权重值越大、越远权重越小。

半衰权重数学推导：

* 半衰期H：每向前推H期，权重值以指数下降的方式降低一半* T：考虑回测的期数

# 半衰权重

def Decay(H,T):

t = np.arange(T+1)[1:]

wt = 2**((t-T-1)/H) #半衰权重

decay = wt/wt.sum() #归一化

return decay

# 历史IC半衰加权

w_bs = Decay(6,12) # 假设T=12，H=6

ic_bs = ic.mul(w_bs,axis=0)

w = ic_bs.mean()/ic.mean().sum()

synthesis3 = (synthesis * w).sum(axis=1)

# 历史ICIR半衰加权

# 历史ICIR半衰加权在历史IC半衰加权的基础上，除以IC值的标准差。

w_bs = bs(6,12)

ic_bs = ic.mul(w_bs,axis=0)

ir_bs = ic_bs.mean()/ic.std()

w = ir_bs.mean()/ir_bs.mean().sum()

synthesis3 = (synthesis * w).sum(axis=1)

2.4 最大化ICIR加权

通过求解方程，计算最优因子权重w使得ICIR最大化

协方差矩阵的估计问题：协方差矩阵用于衡量不同资产之间的关联性。统计学中常以样本协方差矩阵代替总体协方差矩阵，但在样本量不足时，样本协方差矩阵与总体协方差矩阵的差异会很大。所以有人提出了压缩估计的方法，原理是使估计协方差矩阵与实际协方差矩阵之间的均方误差最小

方式：

1.样本协方差矩阵

# 最大化ICIR加权(样本协方差)

ic_cov = np.array(ic.cov())

inv_ic_cov = np.linalg.inv(ic_cov)

ic_vector = np.mat(ic.mean())

w = inv_ic_cov * ic_vector.T

w = w / w.sum()

synthesis4 = (synthesis * pd.DataFrame(w,index=synthesis.columns)[0]).sum(axis=1)

2.Ledoit-Wolf收缩：引入一个缩小系数，将原始的协方差矩阵与单位矩阵进行混合，以减少噪音的影响。

# 最大化ICIR加权(Ledoit-Wolf压缩估计协方差)

from sklearn.covariance import LedoitWolf

model=LedoitWolf()

model.fit(ic)

ic_cov_lw = model.covariance_

inv_ic_cov = np.linalg.inv(ic_cov_lw)

ic_vector = np.mat(ic.mean())

w = inv_ic_cov*ic_vector.T

w = w/w.sum()

synthesis4 = (synthesis * pd.DataFrame(w,index=synthesis.columns)[0]).sum(axis=1)

3.Oracle近似收缩：对Ledoit-Wolf收缩的改进，目标是通过对协方差矩阵进行调整，从而在样本大小较小的情况下更准确地估计真实的协方差矩阵。（编程实现与Ledoit-Wolf收缩同理）

2.5 主成分分析PCA

主成分分析（Principal Component Analysis，PCA）是一种用于降维和提取数据主要特征的统计方法。其目标是通过线性变换，将原始数据映射到一个新的坐标系，使得数据在新坐标系下的方差最大化。

具体而言，PCA首先找到数据中的主成分，也就是数据中方差最大的方向。然后，它找到与第一个主成分正交（无关）且具有最大方差的第二个主成分。这个过程一直重复，直到找到数据中所有的主成分。

# 主成分分析(PCA)

from sklearn.decomposition import PCA

model1 = PCA(n_components=1)

model1.fit(f)

w=model1.components_

w=w/w.sum()

weighted_factor=(f*pd.DataFrame(w,columns=f.columns).iloc[0]).sum(axis=1)