本文共 1202 字,大约阅读时间需要 4 分钟。
https://zhuanlan.zhihu.com/p/27305237?utm_source=tuicool&utm_medium=referral
欧氏距离
定义在两个向量(两个点)上:点和点的欧氏距离为:
闵可夫斯基距离
Minkowski distance, 两个向量(点)的阶距离:
当时就是曼哈顿距离,当时就是欧氏距离。
马氏距离
定义在两个向量(两个点)上,这两个点在同一个分布里。点和点的马氏距离为:
其中,是这个分布的协方差。
当时,马氏距离退化为欧氏距离。
互信息
定义在两个概率分布上,.它们的互信息为:
余弦相似度
衡量两个向量的相关性(夹角的余弦)。向量的余弦相似度为:
理解:向量的内积除以向量的数量积。
皮尔逊相关系数
衡量两个随机变量的相关性。随机变量的Pearson相关系数为:
理解:协方差矩阵除以标准差之积。
范围:[-1,1],绝对值越大表示(正/负)相关性越大。
Jaccard相关系数
对两个集合,判断他们的相关性,借用集合的手段:
理解:两个集合的交集除以并集。
扩展:Jaccard距离=1-J。
KL散度
Kullback–Leibler divergence,相对熵,衡量两个概率分布的距离:
这是一个非对称距离:.
JS距离
Jensen–Shannon divergence,基于KL散度发展而来,是对称度量:
其中。
MMD距离
Maximum mean discrepancy,度量在再生希尔伯特空间中两个分布的距离,是一种核学习方法。两个随机变量的距离为:
其中是映射,用于把原变量映射到高维空间中。
理解:就是求两堆数据在高维空间中的均值的距离。
Principal angle
也是将两个分布映射到高维空间(格拉斯曼流形)中,在流形中两堆数据就可以看成两个点。Principal angle是求这两堆数据的对应维度的夹角之和。对于两个矩阵,计算方法:首先正交化(用PCA)两个矩阵,然后:
其中分别是两个矩阵的维度,是两个矩阵第$i$个维度的夹角,是两个矩阵SVD后的角度:
HSIC
希尔伯特-施密特独立性系数,Hilbert-Schmidt Independence Criterion,用来检验两组数据的独立性:
其中是两堆数据的kernel形式。
Earth Mover’s Distance
推土机距离,度量两个分布之间的距离,又叫Wasserstein distance。以最优运输的观点来看,就是分布能够变换成分布所需要的最小代价:
一个二分图上的流问题,最小代价就是最小流,用匈牙利算法可以解决。
References
[1]
[2]
[作者简介]王晋东(不在家),中国科学院计算技术研究所博士生,目前研究方向为机器学习、迁移学习、人工智能等。作者联系方式:微博@ ,个人网站。
转载地址:http://irjgi.baihongyu.com/