内积——描述相似性的工具

两点的相似程度

这个内积表达的是两个数据点间的相似关系。考察中 $R^{n}$ 两个点的相似程度，可以采用 $\lVert x\rVert$ ， $\lVert x_{i} \rVert$ ， $\lVert x-x_{i}\rVert$ 及其夹角 $\beta$ 。

$\lVert x\rVert=\sqrt{(x\cdot x)}$ ， $\lVert x_{i}\rVert=\sqrt{(x_{i}\cdot x_{i})}$

$\lVert x-x_{i}\rVert=\sqrt{(x-x_{i})\cdot (x-x_{i})}$

$cos\beta=\frac{(x\cdot x_{i})} {\lVert x\rVert \cdot \lVert x_{i}\rVert}=\frac{(x\cdot x_{i})}{\sqrt{({x\cdot x})({x_{i}\cdot x_{i})}}}$

一个三点相似问题

设 $R^{n}$ 中有三个点 $x_{+},x_{-},x$ 。考虑如下分类问题：设已知模式 $x_{+}$ 属于正类， $x_{-}$ 属于负类，自然的想法就是如果 $\lVert x-x_{+}\rVert<\lVert x-x_{-}\rVert$ ，则认为 $x$ 与 $x_{+}$ 更相似，因而判定 $x$ 属于正类。容易证明，我们让 $w=(x_{+}-x_{-})$ ， $m=(x_{+}+x_{-})/2$ ，则 $\lVert x-x_{+}\rVert<\lVert x-x_{-}\rVert$ 等价于 $w$ 和 $x-m$ 呈锐角。这样我们也就得到了决策函数：

$y=sgn((x-w) \cdot w)$

注意： $((x-w) \cdot w)=((x-x_{+}/2-x_{-}/2) \cdot (x_{+}-x_{-})=(x\cdot x_{+})-\frac{1}{2}(x_{+}\cdot x_{+})-\frac{1}{2}(x_{-}\cdot x_{+})-(x\cdot x_{-})+\frac{1}{2}(x_{+}\cdot x_{-})+\frac{1}{2}(x_{-}\cdot x_{-})$