Funzione positiva-definita — ingegnerismo.it

Una funzione positiva-definita è una funzione che, valutata su un insieme finito di punti, genera sempre una matrice semidefinita positiva. È il concetto che collega teorema di Bochner, funzioni caratteristiche, funzioni di covarianza e metodi kernel.

Nel caso più generale si considera un insieme $S$ e una funzione

K:S\times S\to\mathbb C.

La funzione $K$ è positiva-definita se, per ogni scelta finita di punti $x_1,\ldots,x_n\in S$ e coefficienti complessi $c_1,\ldots,c_n$ , vale

\sum_{j=1}^n\sum_{k=1}^n c_j\overline{c_k}\,K(x_j,x_k)\ge0.

Definizione tramite matrice finita

La condizione si legge costruendo la matrice di Gram

G_{jk}=K(x_j,x_k).

Il requisito è che $G$ sia semidefinita positiva per ogni campione finito di punti:

c^*Gc\ge0.

Oggetto	Formula	Interpretazione
Punti di prova	$\displaystyle x_1,\ldots,x_n\in S$	Campione finito del dominio.
Kernel	$\displaystyle K(x_j,x_k)$	Misura di compatibilità tra due punti.
Matrice di Gram	$\displaystyle G_{jk}=K(x_j,x_k)$	Matrice generata dal kernel sui punti scelti.
Positiva-definitezza	$\displaystyle c^*Gc\ge0$	Energia quadratica non negativa per ogni coefficiente.

Caso invariante per traslazione

Molte funzioni positive-definite dipendono solo dalla differenza tra due punti. Se $\psi:\mathbb R^d\to\mathbb C$ , si definisce

K(s,t)=\psi(s-t).

Allora $\psi$ è positiva-definita se il kernel $K$ lo è, cioè se

\sum_{j=1}^n\sum_{k=1}^n c_j\overline{c_k}\,\psi(t_j-t_k)\ge0

per ogni scelta finita di $t_1,\ldots,t_n\in\mathbb R^d$ . Questa è la forma usata nel teorema di Bochner.

Nei metodi kernel, questa forma è anche il punto di partenza delle Random Fourier features: una funzione positiva-definita invariante per traslazione viene rappresentata tramite una misura spettrale e approssimata con feature sinusoidali finite.

Proprietà essenziali

Proprietà	Formula	Conseguenza
Simmetria hermitiana	$\displaystyle K(x,y)=\overline{K(y,x)}$	La matrice di Gram è hermitiana.
Diagonale non negativa	$\displaystyle K(x,x)\ge0$	Ogni punto ha autocompatibilità non negativa.
Disuguaglianza di Cauchy-Schwarz	$\displaystyle \lvert K(x,y)\rvert^2\le K(x,x)K(y,y)$	Le correlazioni indotte sono limitate.
Caso traslazionale normalizzato	$\displaystyle \psi(0)=1$	Si ottiene $\displaystyle \lvert\psi(t)\rvert\le1$ .

La positiva-definitezza non significa che $K(x,y)$ sia positivo per ogni coppia di punti. Significa che tutte le forme quadratiche finite costruite da $K$ sono non negative.

Collegamento con Bochner

Nel teorema di Bochner una funzione $\varphi:\mathbb R^d\to\mathbb C$ è una funzione caratteristica multivariata se e solo se è normalizzata, continua e positiva-definita:

\varphi(0)=1, \qquad \varphi\text{ continua}, \qquad \sum_{j,k}c_j\overline{c_k}\,\varphi(t_j-t_k)\ge0.

La positiva-definitezza deriva direttamente dalla probabilità. Se $\varphi(t)=\mathbb E[e^{i\,t^T X}]$ , allora

\sum_{j,k}c_j\overline{c_k}\,\varphi(t_j-t_k) = \mathbb E\!\left[ \left\lvert \sum_{j=1}^n c_j e^{i\,t_j^T X} \right\rvert^2 \right] \ge0.

Funzioni di covarianza e processi gaussiani

Le funzioni di covarianza sono esempi naturali di funzioni positive-definite. Se $X_t$ è un processo stocastico con media finita, la funzione

K(s,t)=\operatorname{Cov}(X_s,X_t)

è positiva-definita perché, per coefficienti reali $a_1,\ldots,a_n$ ,

\sum_{j=1}^n\sum_{k=1}^n a_ja_k K(t_j,t_k) = \operatorname{Var}\!\left(\sum_{j=1}^n a_jX_{t_j}\right) \ge0.

Per un processo gaussiano, una funzione media e una funzione di covarianza positiva-definita determinano le distribuzioni finite-dimensionali del processo.

Schema operativo

Passo	Controllo	Esito
1	Scegliere punti $\displaystyle x_1,\ldots,x_n$	Si lavora su un sottoinsieme finito.
2	Costruire $\displaystyle G_{jk}=K(x_j,x_k)$	Si ottiene la matrice di Gram.
3	Verificare $\displaystyle G=G^*$	La matrice deve essere hermitiana.
4	Controllare $\displaystyle c^*Gc\ge0$	La matrice è semidefinita positiva.
5	Ripetere idealmente per ogni scelta finita	Il kernel è positivo-definito sul dominio.

Differenza da una matrice definita positiva

Oggetto	Che cosa si controlla	Livello
Matrice semidefinita positiva	$\displaystyle c^*Ac\ge0$ per una matrice fissata $\displaystyle A$	Controllo finito.
Funzione positiva-definita	$\displaystyle c^*G c\ge0$ per tutte le matrici generate da $\displaystyle K$	Controllo su ogni insieme finito di punti.
Funzione caratteristica	Positiva-definitezza più continuità e normalizzazione	Controllo probabilistico via Bochner.
Funzione di covarianza	Positiva-definitezza delle matrici di covarianza finite	Coerenza di un processo aleatorio.

Errori comuni

Confondere positivo punto per punto e positivo-definito: un kernel può avere valori negativi e restare positivo-definito.
Controllare un solo insieme di punti: la definizione richiede ogni scelta finita di punti.
Dimenticare la simmetria hermitiana: senza simmetria non si ottiene una forma quadratica reale non negativa.
Confondere funzione e matrice: la matrice è generata dopo aver scelto i punti; la funzione deve funzionare per tutte le scelte finite.

Vedi anche: matrice di Gram, teorema di Bochner, Random Fourier features, spazio di Hilbert a kernel riproducente, funzione caratteristica, funzione caratteristica multivariata, processo gaussiano, matrice di covarianza, forma quadratica.