1. 基本概念回顾
我们知道世界上的一切都可以被分解为基本元素的组合。例如，水是氢和氧的组合。同样，在数学中，基底用于以简单和统一的方式表示各种事物。
在Rn空间中，我们可以使用n个独立向量通过线性组合来表示任意向量。这n个独立向量可以看作是一组基。在Rn空间中有无限个基集合。其中，彼此正交的基向量具有特殊的意义。例如，{ei}i=1n是一个特殊的基向量集合，其中的基向量彼此正交且长度相同，其中ei是一个向量，除了第ii个分量为1外，其余分量均为零。
内积运算符用于衡量向量之间的相似性。对于两个向量 x\mathbf{x} 和 y\mathbf{y} ，内积是一个向量在另一个向量上的投影。
<x,y>=∣x∣∣y∣cosθ<\mathbf{x},\mathbf{y}>=|\mathbf{x}||\mathbf{y}|\cos\theta
如果 x=(x1,⋯ ,xn) 和 y=(y1,⋯ ,yn)，我们可以得到
<x,y> = ∑i=1nxiyi<\mathbf{x},\mathbf{y}>=\sum_{i=1}^n x_i y_i
直到现在这是对向量基础的回顾。这些知识也可以扩展到函数和函数空间。
2. 函数基础
函数是一个无限向量。如下图所示
对于定义在区间[a,b][a,b]上的函数，我们通过间隔Δx\Delta x取样。如果我们在点a,x1,⋯ ,xn,b处对函数f(x)f(x)进行采样，那么我们可以将函数转换为一个向量(f(a),f(x1),⋯ ,f(xn),f(b))^T。当Δx→0\Delta x\rightarrow 0时，这个向量应该越来越接近函数，最终变得无穷大。
上述分析假定 xx 是一个实数。但当 xx 是一个向量时，结论仍然成立。在本文中，我们使用粗体字体，如 x\mathbf{x}，表示 Rn\mathcal{R}^n 空间中的向量；使用 ff 表示函数本身，即无限向量；使用 f(x)f(\mathbf{x}) 表示在点 x\mathbf{x} 处对函数的求值。函数的求值应该是一个实数。
由于函数与向量非常接近，我们也可以类似地定义函数的内积。对于两个由间隔 Δx\Delta x 进行采样的函数 ff 和 gg，内积可以定义为
<f,g>=limΔx→0∑if(xi)g(xi)Δx=∫f(x)g(x)dx<f,g>=\lim_{\Delta x\rightarrow 0}\sum_{i} f(x_i) g(x_i)\Delta x=\int f(x)g(x)dx
对于向量，维度是离散的。我们只有第一、第二个维度...但没有0.5、1.5个维度。然而，对于函数，维度是连续的。因此，我们使用相邻维度之间的差异（即Δx）进行归一化。
函数内积的表达式随处可见。在不同的上下文中，它有着不同的含义。例如，如果 XX 是一个具有概率密度函数 f(x)f(x) 的连续随机变量，即 f(x)>0f(x)>0 且 ∫f(x)dx=1，则期望值
E[g(x)]=∫f(x)g(x)dx=<f,g>E[g(x)]=\int f(x) g(x) dx=<f,g>
类似于向量基，我们可以使用一组函数来表示其他函数。不同之处在于在向量空间中，我们只需要有限的向量来构建完整的基底集，但在函数空间中，我们可能需要无限的基函数。如果两个函数的内积为零，则它们可以被视为正交的。在函数空间中，我们也可以有一组相互正交的函数基。
3. 例子: Fourier级数
让基函数 {hp}p=−∞+∞,(p{h_p}_{p=-\infty}^{+\infty}, (p 为整数)
hp(x) = e^{i2\pi p x/T}
定义在区间 \[0,T]\[0, T] 上。这里 ii 代表虚数。这些函数构成一个函数空间，区间 \[0,T]\[0, T] 上定义的任何函数都可以表示为基函数的线性组合。我们可以证明任意两个基函数是正交的（对于复数，计算内积时后一项应取共轭转置）。
<hp,hq>=∫0Thp(x)hˉq(x)dx=∫0Tei2πpx/Te−i2πqx/Tdx=0<h_p, h_q>=\int_0^T h_p (x) \bar{h}_q(x) dx=\int_0^T e^{i2\pi p x/T} e^{-i2\pi q x/T} dx=0
当p≠q时，a+bi的共轭为a-bi。基的“长度”是
∣hp∣2=<hp,hp>=T|h_p|^2=<h_p,h_p>=T
如果定义在区间 [0,T] 上的函数 ff 属于该空间，则可以写成
f(x)=\sum_p c_p h_p(x)=\sum_p c_p e^{i2\pi px/T}
自从
<f,hp>=<∑qcqhq,hp>=∑qcq<hq,hp>=cp<hp,hp>=cpT<f,h_p>=<\sum_q c_q h_q,h_p>=\sum_q c_q < h_q,h_p>=c_p < h_p,h_p>=c_p T
系数可以计算为
cp=1T<f,hp>=1T∫f(x)hˉp(x)dx=1T∫0Tf(x)e−i2πpxdxc_p=\frac{1}{T} <f,h_p>=\frac{1}{T} \int f(x) \bar{h}_p(x) dx=\frac{1}{T} \int_0^T f(x) e^{-i2\pi p x} dx
傅立叶级数。
4. 示例：小波分析
将函数 ψ(x) 在实数集 R 上定义为
ψ(x)={10≤x<12,−112≤x<10otherwise\psi(x)= \begin{cases} 1 \quad & 0 \leq x < \frac{1}{2},\ -1 & \frac{1}{2} \leq x < 1\ 0 & \text{otherwise} \end{cases}
为每一对整数 n,kn,k 定义一系列函数
ψn,k(x)=2n/2ψ(2nx−k),x∈R\psi_{n,k}(x) = 2^{n / 2} \psi(2^n x-k), \quad x \in \mathbf{R}
也就是说，我们通过2^n重新调整ψ(x)\psi(x)，并通过2^{-n}k进行偏移。我们可以展示
<ψn1,k1,ψn2,k2> = ∫ψn1,k1(x),ψn2,k2(x)dx = {1n1=n2,k1=k20otherwise<ψn1,k1>,<ψn2,k2> = ∫ψn1,k1(x),ψn2,k2(x) dx = \begin{cases} 1 \quad & n1=n2, k1=k2 \ 0 \quad & \text{otherwise} \end{cases}
任何函数都可以表示为{ψn,k}n,k的线性组合。通过与前一个示例相同的技术，我们还可以获得每个基函数的系数的解析表达式，这就是哈尔小波分析。
在接下来的部分，将讨论有关核函数和核方法的基础知识。