La definición es, leída con cuidado, un programa de optimización: minimizamos una función sobre un conjunto de estados. La buena noticia es que tanto la función como el conjunto son convexos y, mejor aún, representables como una SDP. El título del módulo —«suavizado y optimización»— es, en el fondo, una sola idea.
El suavizado es una optimización convexa
Desmontemos el problema en sus dos ingredientes. El primero es el objetivo, la propia . Ya vimos en el Módulo 02 que , así que minimizarla equivale a buscar el menor con — una restricción afín en operadores.
El segundo es el dominio, la bola . Como , pedir es lo mismo que pedir , una cota inferior sobre la fidelidad fidelidad. Y aquí está el hecho clave: la fidelidad es representable como SDP. Existe un programa semidefinido cuyo óptimo es exactamente , de modo que «la fidelidad es al menos » se traduce en restricciones lineales de operadores sobre variables auxiliares.
Juntando ambos ingredientes, la entropía max-relativa suavizada es el valor de una programa semidefinido SDP: minimizar sobre la variable sujeta a
Con esto, la dualidad fuerte dualidad, los certificados y toda la maquinaria del Módulo 01 quedan a nuestra disposición para calcular entropías suavizadas — no solo para definirlas.
El significado del error ε
Merece la pena insistir en qué es ese . No es un artificio matemático: es el error tolerado ε error que la tarea admite. Las entropías suavizadas caracterizan las tareas de una toma con ese margen: cuántos bits se pueden comprimir permitiendo una probabilidad de error , cuánta aleatoriedad se extrae con una desviación respecto de la uniforme, y así sucesivamente. La versión cruda () corresponde a exigir perfección; el mundo real vive en , y por eso son las cantidades suavizadas las que aparecen en los teoremas operacionales.
Ejemplos resueltos
Problema. Con y , plantea el suavizado como una optimización explícita en una variable y resuélvelo para (distancia de traza).
El problema. Con y , minimizamos
La estructura. Una rama crece con y la otra decrece; su máximo se minimiza donde se cruzan, en (ahí ambas valen y ). Como partimos de y el cruce está por debajo, conviene bajar todo lo posible.
La solución. El presupuesto solo deja llegar a . Ahí la rama creciente domina, así que bits (frente a sin suavizar). El óptimo cae en el borde de la bola — la firma de que esto es, en efecto, una optimización con restricción activa.
Problema. Empareja el programa de la entropía suavizada con el programa cónico general del Módulo 01: ¿cuál es la variable, cuál el objetivo y cuáles las restricciones?
Solución. Las variables son el par con (viven, pues, en ). El objetivo es lineal: minimizar (después tomamos , que es monótono y no altera el minimizador). Las restricciones son todas de tipo cónico o afín:
- (la parte de );
- (la bola), a su vez una SDP en variables auxiliares;
- (subnormalización), lineal.
Todo encaja en la plantilla del programa semidefinido: objetivo lineal, cono , restricciones afines. Suavizar es, literalmente, resolver una SDP.
Ejercicios
Explica por qué tomar al final no cambia cuál es el estado óptimo , y por qué eso permite trabajar con la SDP «sin logaritmo» minimizando .
Solución
El logaritmo es una función estrictamente creciente, así que minimizar y minimizar se alcanzan en el mismo . Conviene resolver la SDP «sin logaritmo» —que es lineal en — y aplicar al valor óptimo al terminar. Es el mismo truco que usamos en el Módulo 02 para escribir la min-entropía como .
En el ejemplo resuelto 1, ¿qué habría pasado si el presupuesto hubiera sido en lugar de ?
Solución
Con podríamos bajar de hasta , pero el cruce óptimo está en : pasarse de largo no ayuda (la rama decreciente empezaría a subir el máximo). Nos detenemos en el cruce , donde y . La restricción de la bola deja de estar activa: el óptimo cae en el interior.
Y de aquí, al Módulo 04. Ya tenemos una cantidad robusta y calculable. La siguiente pregunta es qué ocurre al regularizar: promediar la max-relativa suavizada sobre muchas copias y dejar . Ahí es donde el régimen de una toma reconecta con las cantidades asintóticas de las que partimos.