Familia exponencial, GLM e introducción a estimación
Apuntes, tema 3 · 3.4 a 3.4.5: familia exponencial, Poisson, normales uniparamétricas, binomial, GLM y estimación introductoriaAbrir el PDF en la página 19
Objetivos de la lección
- Reconocer la estructura de una familia exponencial.
- Situar GLM y verosimilitud sin atribuirles garantías automáticas.
Apartado 1 de 6
Una estructura compartida por varios modelos
Transcripción
Hola.
Familia exponencial no es otro nombre para tiempos de espera exponenciales.
Es una estructura común de masas o densidades que separa qué depende del dato y qué del parámetro.
Empezaremos con Poisson de media lambda positiva y soporte fijo: los enteros no negativos, independientemente de cuál sea esa media.
En la masa Poisson, uno entre equis factorial depende del recuento observado, pero no de lambda.
Lo dejamos en hache de equis, la pieza que no cambia cuando comparamos medias candidatas para el mismo dato.
No desaparece: sigue siendo necesaria para dar el peso correcto a cada recuento.
La potencia lambda a la equis puede escribirse como exponencial de equis por logaritmo de lambda.
Ahí el dato interactúa con el parámetro mediante te de equis, que en este caso es el propio recuento.
Te es el estadístico: una función del dato, no otro parámetro libre.
Llamamos eta al logaritmo de lambda para escribir esa interacción como eta por te.
Eta es el parámetro natural, la pieza que el PDF llama cu del parámetro.
Como lambda recorre los positivos, eta recorre toda la recta: no es una probabilidad ni tiene que ser positivo.
Queda la exponencial de menos lambda que normalizaba Poisson.
Escribimos lambda como exponencial de eta y llamamos a de eta a esa cantidad.
Al restar a dentro del exponente recuperaremos el factor normalizador.
La ce multiplicativa del PDF corresponde a exponencial de menos a, no a a por sí sola.
Reunimos hache por exponencial de eta por te menos a.
Sustituir las cuatro piezas devuelve exactamente la masa Poisson original: no hemos cambiado probabilidades, solo su organización.
Esta separación permite estudiar propiedades comunes, siempre bajo sus hipótesis; no hace equivalentes todas las distribuciones ni permite ignorar soporte y dominio.
Palabras y símbolos de esta lección
- h(x), T(x), η, A(η) · Piezas de una familia exponencial
Se lee: hache de x; te de x; eta; a de eta.
h depende de los datos; T los resume para esta representación; η es una forma de escribir el parámetro; A ajusta el total de probabilidad a uno. No son cuatro variables observadas.
Ejemplo: En Poisson: h(x) = 1/x!, T(x) = x, η = log λ y A(η) = λ.
- L(θ), ℓ(θ), θ̂ · Verosimilitud y estimación
Se lee: ele de theta; ele minúscula de theta; theta estimada.
L compara valores de un parámetro con los datos ya fijados. ℓ es el logaritmo natural de L. El acento o sombrero indica un valor estimado con los datos.
Ejemplo: Con recuentos 0, 1 y 2, la media observada es 1; en un modelo Poisson es la estimación de λ.
- g(μᵢ) = xᵢᵀβ · Enlace de un GLM
Se lee: ge de mu sub i es el producto de los predictores por sus coeficientes beta.
Un GLM es un modelo lineal generalizado. Relaciona la media de una respuesta con medidas explicativas, por ejemplo una dosis. El enlace g transforma esa media; los coeficientes β ponderan los predictores.
Ejemplo: Con enlace logarítmico, una predicción η da una media exp(η), siempre positiva.
- ∏ᵢ aᵢ · Productorio
Se lee: producto de a sub i.
La pi grande pide multiplicar, no sumar, todos los términos indicados por el índice.
Ejemplo: Si los términos son 2, 3 y 5, el producto es 30.
- ∑ᵢ aᵢ · Sumatorio
Se lee: suma de a sub i.
La sigma grande pide sumar términos. El índice i es un contador; las etiquetas inferiores y superiores indican dónde empieza y termina.
Ejemplo: Sumar a₁, a₂ y a₃, con valores 2, 3 y 5, da 10.
- log(x), ln(x) · Logaritmo natural
Se lee: logaritmo natural de x.
Pregunta a qué exponente hay que elevar e para obtener x. En este curso log y ln significan lo mismo; x debe ser positivo.
Ejemplo: log(1) = 0 porque e⁰ = 1. No es el logaritmo en base diez.
- eˣ, exp(x) · Exponencial natural
Se lee: e elevado a x; exponencial de x.
Son dos escrituras de la misma función. La base e vale aproximadamente 2,71828. Una calculadora científica permite evaluarla.
Ejemplo: e⁰ = 1; exp(−1) es aproximadamente 0,3679.
¿Por qué varios modelos comparten una misma estructura?
Familia exponencial no significa la distribución exponencial de tiempos. Es una manera común de escribir modelos como Poisson, binomial y ciertas normales. Separamos una parte que depende de los datos, una que los resume y otras que dependen del parámetro que queremos comparar.
En Poisson, x es el recuento, T(x) = x lo resume, eta = log lambda reescribe la media y A(eta) = lambda ajusta el total. El factor h(x) = 1/x! depende solo del dato. Estas letras organizan la misma probabilidad Poisson ya estudiada; no añaden cuatro nuevas observaciones.
Una estructura compartida, no una sola distribución
Familia exponencial no significa distribución exponencial de tiempos. Es una forma de escribir masas o densidades separando un término de datos, un estadístico y términos del parámetro. El estadístico concentra la parte de los datos que interactúa con el parámetro en esa representación, siempre bajo las condiciones del modelo.
La Poisson puede usar el recuento como estadístico y el logaritmo de su media como parámetro natural. La binomial con tamaño fijo usa el recuento y el logaritmo de las odds. En una normal, fijar la varianza y variar la media da una familia uniparamétrica; fijar la media y variar la varianza usa un estadístico cuadrático. No se confunden esos dos casos.
Poisson y binomial: identificar las cuatro piezas
En Poisson con lambda positiva, el factor de datos es , el estadístico es , y . Así la exponencial reúne . En la binomial con n fijo y p estrictamente entre cero y uno, el factor de datos es el coeficiente binomial y el estadístico vuelve a ser x. y . La normalización devuelve las masas originales. Los casos p cero y uno se tratan como límites degenerados, no con un logit finito.
Fórmulas del apartado
Se lee: Efe de x con parámetro eta es hache de x por la exponencial de eta por te de x menos a de eta. Hache usa datos, te los resume y a normaliza el modelo.
Esta forma uniparamétrica separa estadístico T, parámetro natural eta y normalizador A; se declaran soporte y dominio.
Una estructura compartida, no una sola distribución
Familia exponencial no significa distribución exponencial de tiempos. Es una forma de escribir masas o densidades separando un término de datos, un estadístico y términos del parámetro. El estadístico concentra la parte de los datos que interactúa con el parámetro en esa representación, siempre bajo las condiciones del modelo.
La Poisson puede usar el recuento como estadístico y el logaritmo de su media como parámetro natural. La binomial con tamaño fijo usa el recuento y el logaritmo de las odds. En una normal, fijar la varianza y variar la media da una familia uniparamétrica; fijar la media y variar la varianza usa un estadístico cuadrático. No se confunden esos dos casos.
Poisson y binomial: identificar las cuatro piezas
En Poisson con lambda positiva, el factor de datos es , el estadístico es , y . Así la exponencial reúne . En la binomial con n fijo y p estrictamente entre cero y uno, el factor de datos es el coeficiente binomial y el estadístico vuelve a ser x. y . La normalización devuelve las masas originales. Los casos p cero y uno se tratan como límites degenerados, no con un logit finito.
Una estructura compartida, no una sola distribución
Familia exponencial no significa distribución exponencial de tiempos. Es una forma de escribir masas o densidades separando un término de datos, un estadístico y términos del parámetro. El estadístico concentra la parte de los datos que interactúa con el parámetro en esa representación, siempre bajo las condiciones del modelo.
La Poisson puede usar el recuento como estadístico y el logaritmo de su media como parámetro natural. La binomial con tamaño fijo usa el recuento y el logaritmo de las odds. En una normal, fijar la varianza y variar la media da una familia uniparamétrica; fijar la media y variar la varianza usa un estadístico cuadrático. No se confunden esos dos casos.
Normal: qué parámetro se mantiene fijo
Si la varianza es conocida y la media varía, expande . El término de interacción es : y . El factor h contiene la normal de media cero con la escala conocida; A es la varianza conocida por eta al cuadrado dividido entre dos.
Si la media es conocida y varía la varianza, conserva . Eta es menos uno entre dos veces la varianza, por lo que debe ser negativo. Puedes usar h igual a uno entre raíz de dos pi y A igual a menos un medio del logaritmo de menos dos eta. La normalización produce la desviación en el denominador. Son dos familias de un parámetro; variar media y varianza a la vez exige una extensión que no desarrolla este temario.
Hacer la cuenta y entender el resultado
Con recuentos fijos 0, 1 y 2, la media observada es uno. La verosimilitud compara medias candidatas del modelo viendo qué probabilidad asignan a esos datos. En el modelo Poisson común, el máximo está en uno. Tomar logaritmos convierte productos en sumas y facilita localizar ese máximo mediante derivadas.
Un modelo lineal generalizado o GLM añade predictores, como una dosis. Un enlace logarítmico relaciona su combinación con el logaritmo de una media; aplicar exp devuelve una media positiva. Una estimación o un enlace no prueba que el modelo ni una interpretación causal sean correctos. Los detalles de cada representación se desarrollan a continuación.
Qué anticipa el documento
Los modelos lineales generalizados relacionan la media de una respuesta con predictores mediante una función de enlace. Una respuesta binaria puede usar un enlace logit; un recuento Poisson, uno logarítmico. No se trata de aplicar una regresión normal a cualquier respuesta sin cambiar sus supuestos. Esta es una introducción conceptual, no un curso completo de ajuste o diagnóstico de GLM.
El Tema 3 también introduce estimación en esta familia. La verosimilitud considera los datos observados fijos y compara parámetros; no es una probabilidad posterior de esos parámetros. Maximizarla busca el parámetro que mejor sostiene los datos dentro del modelo. Pertenecer a la familia no garantiza que cualquier estimador sea insesgado, preciso o adecuado. Intervalos de confianza, contrastes y teorema central del límite quedan fuera de este bloque suministrado.
Un máximo y un enlace, paso a paso
Para recuentos Poisson independientes, la log-verosimilitud es . La derivada es . Si el total es positivo, igualar a cero da ; la segunda derivada negativa confirma el máximo. Si todos los recuentos son cero, el máximo está en el límite , no en un punto interior positivo.
En un GLM Poisson, un predictor lineal se transforma en media . Como ejemplo ilustrativo, y dan medias 2, 3 y 4,5 para dosis 0, 1 y 2. En un GLM binario con logit, la media es ; produce y produce . Estos coeficientes se eligen para explicar el enlace, no se estiman de datos ni prueban efecto causal.
Fórmulas del apartado
Se lee: Verosimilitud de theta con los datos observados: multiplicamos la probabilidad o densidad de cada observación bajo ese mismo theta. El productorio recorre observaciones independientes.
El producto es una verosimilitud bajo observaciones independientes; una muestra dependiente requiere su distribución conjunta.
Desarrollo escrito del ejemplo
Un laboratorio registra detecciones bacterianas en ventanas de un minuto de igual exposición. Se supone una muestra iid Poisson con media λ común desconocida.
- h(x), T(x), η, A(η) · Piezas de una familia exponencial
Se lee: hache de x; te de x; eta; a de eta.
h depende de los datos; T los resume para esta representación; η es una forma de escribir el parámetro; A ajusta el total de probabilidad a uno. No son cuatro variables observadas.
Ejemplo: En Poisson: h(x) = 1/x!, T(x) = x, η = log λ y A(η) = λ.
- L(θ), ℓ(θ), θ̂ · Verosimilitud y estimación
Se lee: ele de theta; ele minúscula de theta; theta estimada.
L compara valores de un parámetro con los datos ya fijados. ℓ es el logaritmo natural de L. El acento o sombrero indica un valor estimado con los datos.
Ejemplo: Con recuentos 0, 1 y 2, la media observada es 1; en un modelo Poisson es la estimación de λ.
- ∏ᵢ aᵢ · Productorio
Se lee: producto de a sub i.
La pi grande pide multiplicar, no sumar, todos los términos indicados por el índice.
Ejemplo: Si los términos son 2, 3 y 5, el producto es 30.
- ∑ᵢ aᵢ · Sumatorio
Se lee: suma de a sub i.
La sigma grande pide sumar términos. El índice i es un contador; las etiquetas inferiores y superiores indican dónde empieza y termina.
Ejemplo: Sumar a₁, a₂ y a₃, con valores 2, 3 y 5, da 10.
- log(x), ln(x) · Logaritmo natural
Se lee: logaritmo natural de x.
Pregunta a qué exponente hay que elevar e para obtener x. En este curso log y ln significan lo mismo; x debe ser positivo.
Ejemplo: log(1) = 0 porque e⁰ = 1. No es el logaritmo en base diez.
- eˣ, exp(x) · Exponencial natural
Se lee: e elevado a x; exponencial de x.
Son dos escrituras de la misma función. La base e vale aproximadamente 2,71828. Una calculadora científica permite evaluarla.
Ejemplo: e⁰ = 1; exp(−1) es aproximadamente 0,3679.
Datos y supuestos
- Recuentos observados enteros: [3, 2, 4, 1, 5]; n=5 ventanas.
- λ>0 se mide en detecciones esperadas por ventana; para evaluar la log-verosimilitud se propone λ₀=1.
- Las ventanas son independientes y tienen la misma exposición y media Poisson.
- Se mantienen fijos los datos y n al comparar λ; la suma observada es positiva y el máximo es interior.
Calcula T=Σx_i, el estadístico suficiente para λ con n fijo.
Identificar la pregunta y justificar el método
Calcula T=Σx_i, el estadístico suficiente para λ con n fijo. Las observaciones Poisson independientes producen un producto de probabilidades. Su logaritmo convierte el producto en suma. Dejamos fijos los recuentos y buscamos qué media candidata da el mayor valor; derivar es una herramienta para localizar ese máximo. Para este apartado: Agrupa los exponentes de λ en el producto de masas Poisson.
Factorizar la muestra
La independencia permite multiplicar las masas de todas las ventanas. Cada masa aporta una exponencial de menos lambda, una potencia de lambda con su recuento y un factorial en el denominador. Agrupar las potencias concentra los datos en su suma; los factoriales son constantes cuando comparamos parámetros.
Identificar la información del parámetro
Sumamos los recuentos 3, 2, 4, 1, 5 y obtenemos T igual a 15. El parámetro natural es el logaritmo de lambda; para una observación, el normalizador es la exponencial del parámetro natural, es decir, lambda.
Comprobar e interpretar
El resultado es 15 detecciones. Revisamos que la respuesta use la unidad pedida y tenga sentido en el contexto. Con n fijo, la parte de la verosimilitud que depende de λ usa los datos solo mediante T; no se afirma que el modelo sea verdadero.
Con n fijo, la parte de la verosimilitud que depende de λ usa los datos solo mediante T; no se afirma que el modelo sea verdadero.
Calcula el estimador de máxima verosimilitud de λ.
Identificar la pregunta y justificar el método
Calcula el estimador de máxima verosimilitud de λ. Las observaciones Poisson independientes producen un producto de probabilidades. Su logaritmo convierte el producto en suma. Dejamos fijos los recuentos y buscamos qué media candidata da el mayor valor; derivar es una herramienta para localizar ese máximo. Para este apartado: Deriva la log-verosimilitud respecto a λ con los datos fijos.
Derivar e igualar a cero
Al tomar logaritmos, el producto se convierte en suma. La derivada del total por log lambda es el total dividido entre lambda; la del término menos n por lambda es menos n. Los factoriales no varían con lambda. Igualar la derivada a cero y despejar da el total dividido entre n.
Sustituir la muestra
Dividimos el total 15 entre las 5 ventanas: la media estimada es 3 detecciones por ventana.
Comprobar que es máximo
La segunda derivada es menos el total dividido entre lambda al cuadrado. Como el total es 15, positivo, y lambda también es positivo, esa derivada es negativa. La log-verosimilitud es cóncava y el punto calculado es su máximo único.
Comprobar e interpretar
El resultado es 3 detecciones esperadas por ventana. Revisamos que la respuesta use la unidad pedida y tenga sentido en el contexto. La media estimada puede ser fraccionaria aunque todas las observaciones sean enteras; no es una probabilidad posterior de λ.
La media estimada puede ser fraccionaria aunque todas las observaciones sean enteras; no es una probabilidad posterior de λ.
Un máximo y un enlace, paso a paso
Para recuentos Poisson independientes, la log-verosimilitud es . La derivada es . Si el total es positivo, igualar a cero da ; la segunda derivada negativa confirma el máximo. Si todos los recuentos son cero, el máximo está en el límite , no en un punto interior positivo.
En un GLM Poisson, un predictor lineal se transforma en media . Como ejemplo ilustrativo, y dan medias 2, 3 y 4,5 para dosis 0, 1 y 2. En un GLM binario con logit, la media es ; produce y produce . Estos coeficientes se eligen para explicar el enlace, no se estiman de datos ni prueban efecto causal.
Desarrollo escrito del ejemplo
Un laboratorio registra detecciones bacterianas en ventanas de un minuto de igual exposición. Se supone una muestra iid Poisson con media λ común desconocida.
- h(x), T(x), η, A(η) · Piezas de una familia exponencial
Se lee: hache de x; te de x; eta; a de eta.
h depende de los datos; T los resume para esta representación; η es una forma de escribir el parámetro; A ajusta el total de probabilidad a uno. No son cuatro variables observadas.
Ejemplo: En Poisson: h(x) = 1/x!, T(x) = x, η = log λ y A(η) = λ.
- L(θ), ℓ(θ), θ̂ · Verosimilitud y estimación
Se lee: ele de theta; ele minúscula de theta; theta estimada.
L compara valores de un parámetro con los datos ya fijados. ℓ es el logaritmo natural de L. El acento o sombrero indica un valor estimado con los datos.
Ejemplo: Con recuentos 0, 1 y 2, la media observada es 1; en un modelo Poisson es la estimación de λ.
- ∏ᵢ aᵢ · Productorio
Se lee: producto de a sub i.
La pi grande pide multiplicar, no sumar, todos los términos indicados por el índice.
Ejemplo: Si los términos son 2, 3 y 5, el producto es 30.
- ∑ᵢ aᵢ · Sumatorio
Se lee: suma de a sub i.
La sigma grande pide sumar términos. El índice i es un contador; las etiquetas inferiores y superiores indican dónde empieza y termina.
Ejemplo: Sumar a₁, a₂ y a₃, con valores 2, 3 y 5, da 10.
- log(x), ln(x) · Logaritmo natural
Se lee: logaritmo natural de x.
Pregunta a qué exponente hay que elevar e para obtener x. En este curso log y ln significan lo mismo; x debe ser positivo.
Ejemplo: log(1) = 0 porque e⁰ = 1. No es el logaritmo en base diez.
- eˣ, exp(x) · Exponencial natural
Se lee: e elevado a x; exponencial de x.
Son dos escrituras de la misma función. La base e vale aproximadamente 2,71828. Una calculadora científica permite evaluarla.
Ejemplo: e⁰ = 1; exp(−1) es aproximadamente 0,3679.
Datos y supuestos
- Recuentos observados enteros: [3, 2, 4, 1, 5]; n=5 ventanas.
- λ>0 se mide en detecciones esperadas por ventana; para evaluar la log-verosimilitud se propone λ₀=1.
- Las ventanas son independientes y tienen la misma exposición y media Poisson.
- Se mantienen fijos los datos y n al comparar λ; la suma observada es positiva y el máximo es interior.
Calcula ℓ(λ₀), incluyendo el término de los factoriales y usando logaritmos naturales.
Identificar la pregunta y justificar el método
Calcula ℓ(λ₀), incluyendo el término de los factoriales y usando logaritmos naturales. Las observaciones Poisson independientes producen un producto de probabilidades. Su logaritmo convierte el producto en suma. Dejamos fijos los recuentos y buscamos qué media candidata da el mayor valor; derivar es una herramienta para localizar ese máximo. Para este apartado: Incluye −Σlog(x_i!), aunque ese término no cambie el máximo.
Convertir el producto en suma
La log-verosimilitud suma tres contribuciones: el total observado por el logaritmo natural de la media candidata, menos el número de ventanas por esa media, menos la suma de logaritmos de los factoriales observados. Para cero, el factorial es uno y su logaritmo es cero. La biblioteca usa la función gamma para evaluar esos mismos factoriales sin desbordamiento.
Sustituir todos los términos
El primer término es 15 por el logaritmo natural de 1, que vale 0. Restamos 5 por 1, es decir, 5, y después 10,45045 por los factoriales. El resultado es -15,45045. No es una probabilidad y puede ser negativo.
Comprobar e interpretar
El resultado es -15,45045 log-verosimilitud sin unidades. Revisamos que la respuesta use la unidad pedida y tenga sentido en el contexto. La familia exponencial es una estructura de modelos; este ejemplo trata recuentos Poisson, no tiempos exponenciales.
La familia exponencial es una estructura de modelos; este ejemplo trata recuentos Poisson, no tiempos exponenciales.
Qué anticipa el documento
Los modelos lineales generalizados relacionan la media de una respuesta con predictores mediante una función de enlace. Una respuesta binaria puede usar un enlace logit; un recuento Poisson, uno logarítmico. No se trata de aplicar una regresión normal a cualquier respuesta sin cambiar sus supuestos. Esta es una introducción conceptual, no un curso completo de ajuste o diagnóstico de GLM.
El Tema 3 también introduce estimación en esta familia. La verosimilitud considera los datos observados fijos y compara parámetros; no es una probabilidad posterior de esos parámetros. Maximizarla busca el parámetro que mejor sostiene los datos dentro del modelo. Pertenecer a la familia no garantiza que cualquier estimador sea insesgado, preciso o adecuado. Intervalos de confianza, contrastes y teorema central del límite quedan fuera de este bloque suministrado.
Un máximo y un enlace, paso a paso
Para recuentos Poisson independientes, la log-verosimilitud es . La derivada es . Si el total es positivo, igualar a cero da ; la segunda derivada negativa confirma el máximo. Si todos los recuentos son cero, el máximo está en el límite , no en un punto interior positivo.
En un GLM Poisson, un predictor lineal se transforma en media . Como ejemplo ilustrativo, y dan medias 2, 3 y 4,5 para dosis 0, 1 y 2. En un GLM binario con logit, la media es ; produce y produce . Estos coeficientes se eligen para explicar el enlace, no se estiman de datos ni prueban efecto causal.
Fórmulas del apartado
Se lee: En Poisson, eta es logaritmo de lambda y a de eta es exponencial de eta. En un GLM, ge transforma la media mu sub i; los predictores x sub i se combinan con coeficientes beta.
El primer caso es Poisson; la última expresión ilustra un GLM con media mu y enlace g.
Comparar medias de un modelo ficticio
Tres recuentos independientes son 0, 1 y 2. En un modelo Poisson común, su verosimilitud es . Se maximiza en , la media observada. Esto compara parámetros del modelo, pero no demuestra que las observaciones fueran Poisson ni publica un procedimiento de la PEC.