Press "Enter" to skip to content

自监督对比学习——InfoNCE及其在金融中的应用

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

我们知道,深度学习技术的发展一定程度上依赖于数据集的规模,然而随着数据集的规模不断变大,对其中的样本进行标注将变得越来越昂贵。而自监督学习方法就是针对这一问题的,该类方法无需标注数据,可以直接从样本数据自身中学习出一些有效的表征,而这些样本的表征则可以继续帮助下游任务的训练。由于自监督学习可以很好地利用海量的无标注样本,这类方法目前已经成为了深度学习领域的一大热点。

 

对比学习(contrastive learning)是自监督学习的一大分支,它通过构造不同的样本对,来让模型在对比中学习到样本之间的差异,进而获得对于样本的表征。这次我们就介绍一种对比学习方法, Contrastive Predictive Coding (CPC),以及它所提出的InfoNCE损失函数在金融数据中的应用。

 

Contrastive Predictive Coding

 

首先说一下CPC方法的大体思路:CPC希望能从序列样本中提取出一种共享信息(shared information),这种信息是随着序列 缓慢变化 并 贯穿始终 的,因此论文中也称其为“slow features”。举一些例子,比如一段讲话的语音序列,讲话的语调可以看做是slow feature,再比如一段文本的中心思想等,它们一般都不会在序列中剧烈变化。如果能够捕捉到这类信息,那幺就可以很好地用于对未来序列的预测。

 

要想提取这类信息,一种容易想到的做法就是构建一个encoder-dedcoder架构,通过重构(或生成)序列,来得到encoder对于序列的表征。然而,这种方法通常是利用mean-squared error或者cross-entropy这类loss函数,去精确地生成样本序列的每一个局部细节,这样不仅要求模型要足够复杂,还可能导致模型将建模能力花费在对于局部细节的生成上,而忽略了序列中的slow features,使得最终的效果并不一定好。也就是说,对于目标样本x,像encoder-dedcoder架构那样, 直接通过模型从表征c中重构x并不一定是最优的 。因此CPC换了一个思路,我们先不用提取到的表征c去生成样本x,而是 让c和x之间的相关性更大 ,这样我们就认为提取到的c包含了更多的共享信息。

 

具体来说,CPC的任务如上图所示,对于一个序列 ,目标是根据从 中提取出的表征 (先提取出 的局部表征 ,然后用RNN聚合得到 的全局表征 ),然后从中预测未来的序列 。为了抽取到对于预测有效的表征,CPC通过 互信息 (mutual Information, MI)来度量 和 之间相关性,公式如下式所示,并希望的两者的互信息最大:

 

 

InfoNCE

 

CPC的目标是最大化互信息,然而在实际中我们是很难通过上式直接计算互信息的,因为实际的 和 往往是高维连续的变量,这样我们就无法通过有限的样本集去准确估计密度比 。因此,在这里CPC直接用一个神经网络 去近似这个密度比,即

 

 

这里的 代表正比于,考虑到密度比大于零,这里的 采用一个简单log-bilinear形式:

 

 

其中 代表从未来样本 中提取的局部表征,该函数形式可以理解为:将表征的线性变换 作为对于未来的某种预测,我们用这个预测和未来表征 之间的内积来估计互信息,并希望它越大越好。

 

有了函数 来估计密度比,我们就可以按照机器学习的方式,通过构造loss函数来对 进行优化,从而实现最大化互信息的目标,CPC构建的loss函数叫做InfoNCE(NCE代表Noise Contrastive Estimation),形式如下:

 

 

其中样本集 是N个随机挑选的样本,包含1个从 采样的正样本(即 就是表征 对应的未来序列),和N-1个从分布 中采样的负样本(即样本 是从样本集的第 个step中随机挑选的)。

 

接下来,我们就证明,对InfoNCE进行优化,其实是在 增大互信息 的下界 ,即

 

 

Step1 : 证明对于最优的InforNCE中函数 ,满足

 

先看一下这个loss的形式,可以发现它类似于一个分类问题的交叉熵 ,可以把 看做是 通过一个softmax预测出分类为正样本的概率 (即 ),那幺对InfoNCE进行优化,其实就是在优化一个分类问题(N个样本可以看作是N个类,我们的目标是最大化正样本类的预测概率),当InfoNCE loss达到最优时,这个 softmax概率就应该为正样本的实际概率 ,因为样本集 中有且仅有1个正样本,根据概率论可知, 中第 个样本 为 所对应的正样本 的概率为:

 

 

可以看出, 为正样本的实际概率同样可以写成softmax的形式。当InfoNCE达到最优时, 应该等于该实际概率,这时有 。

 

Step2 :证明对于最优的InfoNCE loss,满足

 

根据step1的结论,最优的InfoNCE loss可以写做

 

 

其中第2步到第3步是因为 是从整个数据集中随机挑选的,样本服从数据集的先验分布,因此这里可以近似为样本 的期望,又因为 和 相互独立,因此 ,可以推出第4步;而对于正样本 ,应该满足 (即 和 的共同出现的可能性更大,因为 本身就是 的历史表征),可以推出第5步;最后整理可以推出不等式 。

 

通过上面的证明我们发现,InfoNCE其实就是在优化互信息 的下界,用于step2中的第3步是对于期望的估计,因此 InfoNCE在N越大时估计的下界就越精确 。

 

InfoNCE与MINE的联系

 

接下来我们将分析InfoNCE与另外一项互信息方面的重要工作( Mutual Information Neural Estimation , Mine)之间的联系。先介绍一下MINE这项工作,前面已经提过了,对于高维连续的变量,通过有限数量的样本是很难直接估计他们的互信息的,而MINE则利用了一种神经网络的方法实现了估计。下面将简要介绍MINE的做法,想深入了解的同学可以看原论文。

 

回忆一下,变量 和 的互信息形式为:

 

 

接下来通过推导给出互信息的另外一种表示形式。

 

我们知道对于两个分布 和 ,其KL散度(Kullback-Leibler divergence)可以写做:

 

这里引入KL散度的 Donsker-Varadhan (DV) 表示形式,KL散度还可以写成下面的形式:

 

 

其中 是从变量空间到实数域的一个任意函数,而互信息就是通过该函数所能达到的上确界。关于该形式的证明这里就不展开了,感兴趣的同学可以看这篇文章。

 

到这里可能大家已经想到MINE是怎幺用神经网络来估计互信息 了,如果我们令 是联合分布 , 是边缘分布乘积 ,那幺互信息 就有如下形式:

 

 

其中 是神经网络的参数空间, 是以 为参数的神经网络。MINE的做法就是将一个神经网络作为函数 ,然后通过梯度上升来逼近上确界,从而实现对于互信息的估计。

 

现在来看InfoNCE和MINE之间的联系,对于InfoNCE loss 中的函数 ,我们令 ,则有

 

 

由于样本集 中有1个正样本和N-1个负样本,因此可以得到第2步;由 恒大于等于0可以得到第3步;最后整理可以得到第4步的形式,若将该式中的求和平均看成是取期望,然后与MINE的公式进行对比,发现只相差了一个常数(感觉这里有些疑问,因为MINE中是 ,而这里推出来的是 , 和 是否可以直接交换?),这意味着其实 对InfoNCE loss进行优化,在本质上等价于在MINE中用梯度上升去估计上确界 。

 

InfoNCE在金融中的应用

 

这里再介绍一篇将InfoNCE应用于股票预测的工作,这篇论文的出发点是在股票的低频预测(例如预测日频涨跌)中如何更好地结合高频数据(例如分钟数据)。我们知道高频数据的量很大。其中会包含一些低频数据中没有的细节信息,但是相对应的噪声也很大,如果能从高频数据中提取出一些有效的细节信息补充到低频数据中,那对于模型预测一定是有帮助的。而接下来介绍的这篇工作 Contrastive Multi-Granularity Learning Framework (CMLF)就利用对比学习的思想,通过基于InfoNCE的loss来学习高频数据的有效表征。

 

该论文的整体思路如下图所示,论文提出了两种对比学习机制: 跨粒度对比 (cross-granularity contrast)和 跨时间对比 (cross-temporal contrast)。简单来说,跨粒度对比是为了学习不同粒度数据之间的一致性(比如日频和分钟频数据虽然粒度不同,但是走势应该是一致的);跨时间对比是为了学习历史与当前数据的相关性(和上面CPC的思路类似)。

 

模型设计

 

现在具体介绍模型中对比学习机制的设计,如上图所示,其中 和 分别是粗粒度和细粒度数据,模型的目标通过feature encoder分别从粗细粒度的数据中学习到好的表征。

 

1. 跨粒度对比

 

跨粒度对比从 粗粒度-细粒度样本对 中来学习数据的一致性,首先利用encoder分别从粗粒度和细粒度数据中抽取特征:

 

 

然后基于InfoNCE构建跨粒度对比的loss函数

 

 

其中 , 是随机挑选的 个样本集合(encoder 在t时刻从随机细粒度样本 中提取的特征)。

 

2. 跨时间对比

 

类似于CPC,跨时间对比学习从 历史-当前样本对 中学习数据的时间相关性,为了提取历史数据的表征,这里用了一个自回归模型(例如RNN)来聚合历史信息 ,其中 表示历史特征, 代表粗粒度和细粒度特征的拼接。那幺对比loss是

 

 

其中

 

3. 多粒度特征融合

 

在通过前面的对比学习方法抽取到不同粒度数据的特征后,我们需要将特征融合在一起,然后用于接下来的预测,容易想到的方式有相加、拼接等方法,这里CMLF自定义了一套特征融合机制,借助于一些技术面指标和自定义指标,通过学习门控函数来实现特征的融合。具体如下:

 

 

其中 是一些技术面指标的集合,CMLF用到的有:Upper and lower band of Bollinger Bands、Money Flow Index 、 Moving Average Convergence Divergence。另外 和 是论文提出的指标,其实就是上面两个对比学习中正样本在训练好的判别器 上输出的值,具体如下式所示,我们认为这两个指标是discriminative scores,分别代表了在跨粒度和跨时间上的相关性,其中 通过度量不同粒度数据的一致性,反映了价格的短期波动情况(越不一致,代表当前的价格波动越大), 通过度量历史和当前数据的相关性,反映了长期波动情况。

 

 

用一个RNN将每个step的融合特征 再聚合起来,就可以得到表征 ,最后让 过一个线性层就可以得到对于股票收益率 的预测。

 

4. 目标函数

 

和其它模型类似,CMLF也是按照pre-training + fine-tuning的方式进行训练,不过有别于CPC,CMLF在预训练的时候除了上面的对比loss以外,还加入了对于未来序列的预测,如下式所示。这样其实也可以将预训练看成是 加了对比学习正则项的监督学习训练 。

 

 

在微调阶段,模型固定encoder 和 、以及判别器 和 ,然后继续通过监督学习去预测未来的收益率。

 

 

实验

 

下面介绍实验部分,CMLF在真实股票市场数据上进行了实验,实验数据设定如下:

数据:日频(粗粒度)、15分钟频率(细粒度)的价量数据
标的:三个主要市场指数CSI300(沪深300)、CSI800(中证800)和NASDAQ100的成分股
特征:high, open, low, close, volume-weighted average price and trading volume

1. 股票趋势预测

 

模型在股票价格预测上的表现如下表所示,通过与其它baseline以及CMLF的一些变体的比较,我们可以看出CMLF中各个模块的有效性。

Coarse/Fine/Multi-Grained RNN 代表直接用粗/细/拼接数据来训练模型,模型架构与CMLF相同,但是没有引入对比学习来辅助训练。
CMLF w/o CT(CG) 代表在预训练时移去对应的cross-granularity (cross-temporal) 对比loss项,并相应地在特征融合时令 ( )为0。
CMLF w/o AMFM 代表不做特征融合, w/o MII代表在融合只用技术面指标,不用论文提出 和 指标。

2. 市场模拟交易

 

为了进一步说明模型的有效性,该论文还根据模型的预测结果构建了交易策略,在历史数据上做了回测模拟。这里采用的投资策略是 TopK-Drop ,基本思路是每个交易日根据模型的预测结果,等权重持有top K分数的股票,卖出Drop支最差的股票,策略的具体流程可以看这个文档。回测时考虑了交易手续费、涨跌停等实际情况,细节可以看论文实验部分,最终的结果如下所示,其中benchmark代表CSI300指数的收益。

 

3. 股票表征可视化

 

为了证明对比学习可以抽取出有效的股票特征,论文随机选择了测试集的一个交易日,然后利用t-SNE方法可视化了该交易日一些股票的特征表示,如下图所示,图中画出了CSI300股票中当日收益率排在top 20%和bottom 20%的股票的特征表示,相比于没有使用对比学习的Multi-Grained RNN,CMLF抽取的特征可以更好地区分不同趋势的股票。

 

总结

 

这篇文章主要介绍了对比学习中InfoNCE的原理及其在股票预测中的相关工作,正如CPC论文中说的那样,作为一种自监督学习方法,对比学习不需要像生成式模型那样去重构样本的每一个细节,而是将目标放在分辨正负样本上面,这样就可以减小模型的负担、避免过拟合;而CMLF则利用InfoNCE,通过在原有的预测loss上面增加对比学习正则项的方式,使得模型可以更好地从多粒度数据中抽取出有效的表征,从实验结果可以看出,如果能找到合适的正负样本对,对比学习可以有效地提升模型在金融数据上的训练效果。

 

参考资料

 

[1] Oord A, Li Y, Vinyals O. Representation learning with contrastive predictive coding[J]. arXiv preprint arXiv:1807.03748, 2018.

 

[2] Hou M, Xu C, Liu Y, et al. Stock Trend Prediction with Multi-granularity Data: A Contrastive Learning Approach with Adaptive Fusion[C]//Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021: 700-709.

 

[3] Belghazi M I, Baratin A, Rajeshwar S, et al. Mutual information neural estimation[C]//International Conference on Machine Learning. PMLR, 2018: 531-540.

 

[4] Blog: Explanation of Mutual Information Neural Estimation

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注