El régimen de muchas copias

El teorema de equipartición no es magia: es la ley de los grandes números disfrazada. Para verlo, hay que mirar la cantidad que decide todo en el régimen de muchas copias — la razón de verosimilitud logarítmica— y observar cómo, al sumar copias independientes, deja de fluctuar y se planta en su valor medio.

La razón de verosimilitud logarítmica

Para distinguir un estado de otro, la cantidad natural es cuánto más «probable» hace cada resultado bajo $p$ que bajo $q$ . Por símbolo, eso es la razón de verosimilitud logarítmica razón de verosimilitud logarítmica $\log_2 \frac{p(x)}{q(x)}$ . Para $n$ copias independientes, la razón total es simplemente la suma de las individuales:

\mathrm{LLR}_n = \sum_{i=1}^{n} \log_2 \frac{p(x_i)}{q(x_i)}.

Y aquí aparece la conexión clave. La media de la razón por símbolo, tomada según $p$ , es exactamente la entropía relativa:

\mathbb{E}_{p}\!\left[\log_2 \frac{p(x)}{q(x)}\right] = \sum_x p(x)\log_2 \frac{p(x)}{q(x)} = D(p\|q).

La concentración

$\mathrm{LLR}_n$ es una suma de $n$ términos independientes, así que la ley de los grandes números ley de los grandes números se aplica sin más: el promedio por copia converge a la media,

\frac{1}{n}\,\mathrm{LLR}_n \;\xrightarrow[n\to\infty]{}\; D(p\|q),

y las fluctuaciones alrededor de ese valor se encogen como $1/\sqrt{n}$ (teorema central del límite). Sube el número de copias y observa cómo la distribución de $\mathrm{LLR}_n/n$ se estrecha en torno a $D(p\|q)$ , alejándose del extremo $D_{\max}$ :

El promedio se concentra (ley de los grandes números)

Con n = 12 copias, LLRₙ/n se agolpa cerca de su media D(p‖q) = 0.000, lejos del extremo D_max = 0.000.

Sube n y observa cómo la distribución se estrecha en torno a la media. Esa es la razón de que regularizar funcione.

p(0) 0.50

q(0) 0.20

n (copias) 12

Típico frente a atípico

Esta imagen explica el mecanismo entero. El valor extremo $D_{\max} = \log_2 \max_i p_i/q_i$ se alcanza solo en las secuencias atípicas, aquellas formadas casi por completo por el símbolo de peor cociente. Al crecer $n$ , esas secuencias se vuelven exponencialmente raras: casi toda la probabilidad se concentra en las secuencias típicas, cuya razón por copia ronda $D(p\|q)$ .

Y ahí encaja el suavizado. Permitir un error $\varepsilon$ es, precisamente, poder descartar la pequeña cola atípica —la que sostiene el peor caso— por un coste $\varepsilon$ . Lo que queda es el bloque típico, gobernado por la media. Por eso la entropía suavizada, regularizada, aterriza en $D(p\|q)$ y no en $D_{\max}$ .

Ejemplos resueltos

Ejemplo resuelto 1 · La media es la entropía relativa

Problema. Con $p = (0.5,\ 0.5)$ y $q = (0.25,\ 0.75)$ , calcula la razón por símbolo en cada resultado y su media bajo $p$ .

Solución. El símbolo $0$ aporta $\log_2\tfrac{0.5}{0.25} = 1$ y el símbolo $1$ , aporta $\log_2\tfrac{0.5}{0.75} = \log_2\tfrac23 \approx -0.585$ . Su media según $p$ :

\mathbb{E}_p[\mathrm{LLR}] = 0.5\cdot 1 + 0.5\cdot(-0.585) \approx 0.207 = D(p\|q).

La media de la razón coincide con la entropía relativa, como debía. El extremo, en cambio, es $\max(1,\ -0.585) = 1 = D_{\max}$ : solo lo ve quien saca puros ceros.

Ejemplo resuelto 2 · Cómo se desvanece lo atípico

Problema. Para esas mismas distribuciones, ¿qué probabilidad tiene la secuencia «todo ceros» (la que alcanza $D_{\max}$ ) cuando $n = 10$ y cuando $n = 50$ ?

Solución. Bajo $p$ , cada símbolo es $0$ con probabilidad $0.5$ , así que «todo ceros» tiene probabilidad $0.5^{n}$ : unas $10^{-3}$ para $n = 10$ y $\sim 10^{-15}$ para $n = 50$ .

La secuencia que sostiene el peor caso se vuelve astronómicamente rara. Con un presupuesto $\varepsilon$ fijo, tarde o temprano cabe entera dentro de la cola que podemos descartar — y con ella se va $D_{\max}$ , dejando solo el promedio.

Ejercicios

Ejercicio 1

Comprueba que la razón por copia promedio nunca es negativa para dos distribuciones distintas, es decir, $D(p\|q) \ge 0$ , aunque algunos términos individuales sí lo sean.

Solución

Aunque un símbolo con $p(x) < q(x)$ aporte un log-cociente negativo, la media $D(p\|q) = \sum_x p(x)\log_2\frac{p(x)}{q(x)}$ es siempre $\ge 0$ por la desigualdad de Gibbs (o Jensen aplicada a $-\log$ ), con igualdad solo si $p = q$ . En el ejemplo, el término $-0.585$ del símbolo $1$ queda compensado de sobra por el $+1$ del símbolo $0$ .

Ejercicio 2

¿Por qué las fluctuaciones de $\mathrm{LLR}_n/n$ se encogen como $1/\sqrt{n}$ y no, por ejemplo, como $1/n$ ?

Solución

$\mathrm{LLR}_n$ es una suma de $n$ términos i.i.d. con varianza finita $\varsigma^2$ . La varianza de la suma es $n\varsigma^2$ , así que su desviación típica es $\varsigma\sqrt{n}$ . Al dividir por $n$ , la desviación típica de $\mathrm{LLR}_n/n$ es $\varsigma/\sqrt{n}$ — el ritmo $1/\sqrt{n}$ del teorema central del límite.