Pasando a temas un poco más jocosos, imagine que usted recibe una carta de un amigo suyo. Usted lee la carta y con escepticismo se da cuenta que es un escrito estructurado, que se han tomado harto tiempo para escribirlo y que, a pesar de su gran sorpresa, usted cree que es un sutil insulto. Pues bien, a simple vista la carta contiene poca información pero detalladamente, usted se da cuenta que es un acróstico y que su amigo lo está mandando al carajo. Eso suena muy real después de que el gobernador de California, el carismático Arnoldo Suarez enviara una misiva respondiendo negativamente a una petición. Al mirar detalladamente el mensaje, es fácil darse cuenta que se trata de una composición casi poética que contiene un mensaje claro y directo: FUCK YOU.

Por supuesto, el gobernador de California niega estar detrás de este desagradable incidente y toda la culpa se la atribuye a una desafortunada coincidencia perpetrada por el desatino del destino. Sin embargo, Philip B. Stark, a través de numerosos escenarios, demuestra que la probabilidad de tal casualidad es casi nula. Entre algunos de los escenarios están:

1. Si se digita un escrito de siete líneas y cada letra es elegida al azar, de forma independiente, a partir de las 26 letras del alfabeto inglés (ignorando mayúsculas y minúsculas, espacios, números y puntuación), la probabilidad de que la primera letra de las siete líneas forme este acróstico es (1/26)^7 = 1.245e-10.
2. No todas las letras del alfabeto tienen la misma frecuencia de uso. Así, la letra c tiene una frecuencia de 0.03511, la letra f de 0.03779, la letra k de 0.00690, la letra o de 0.06264, la letra u de 0.01487, la letra y de 0.01620. De esta manera, la probabilidad buscada es de 0.03779 × 0.01487 × 0.03511 × 0.00690 × 0.01620 × 0.06264 × 0.01487 = 2.054e-12.

Pues bien, fíjese usted qué fácil es insultar sutilmente. Desde ahora en adelante  lea bien, muy bien.

Por email
Enviado desde mi BlackBerry de Movistar

En las últimas décadas, la teoría estadística se ha visto enriquecida por un nuevo tipo de pensamiento, que según David Salsburg (The Lady Testing Tea), fue desechado llevado al punto en que el investigador que manifestara su gusto por esta corriente era directamente discriminado y tildado de no riguroso. Pues bien lo tiempos han cambiado, y la verdad sea dicha, la estadística Bayesiana se ha convertido en un baluarte gigante de los métodos cuantitativos.

Algunas personas me han escrito desde diferentes países de Latino-américa y en cierta forma algunos de esos correos buscan algún tipo de dirección en cuanto a estadística bayesiana se refiere. La verdad sea dicha, en muchos casos el investigador que intenta usar un método bayesiano en un área de aplicación debe sacar lo mejor de sí y ponerse en la tarea de aprender de forma individual. Para todos aquellos (no estadísticos) que están interesados, de alguna manera muy apasionados, por aprender estadística bayesiana, les digo que sí es posible hacerlo. En realidad, por el momento, no existe algún texto estándar porque el subjetivismo juega parte importante en el aprendizaje de esta materia. De hecho, valdría la pena publicar un libro en español de análisis bayesiano que estuviera enfocado en métodos aplicados a problemas del día a día (Ver más abajo). Mientras alguien se anima les dejo dos herramientas de trabajo para su quehacer autodidacta. Se trata de dos solucionarios: el primero, escrito por Andrew Gelman para la segunda edición de Bayesian Data Analysys, el segundo escrito por Robert & Marin para su libro The Bayesian Core.

PD1: Confieso que desde hoy me pondré a la tarea de terminar esta grandiosa idea de plasmar en un texto académico mi visión de la estadística bayesiana.

PD2: En pocos días saldrá al mercado mi primer libro. Gracias a todos ustedes por interesarse tanto en el muestreo. De veras, infinitas gracias.

http://stata.com/meeting/colombia09/

Announcement

The first Colombian Stata Users Group meeting will be embedded within the Universidad Santo Tomas’ “First International Workshop on Applied Statistics”. During the conference, we will have four Stata presentations plus a Stata Press books presentation and one basic 16-hour Stata training.

Stata users from all disciplines are invited to attend.

Registration

The meeting is free to those registered for the First International Workshop on Applied Statistics.

Organizers

The meeting is organized by SOFTWARE shop, the distributor of Stata in Bolivia, Chile, Colombia, Ecuador, Peru, and Venezuela. To view proceedings from previous Stata Users Group meetings, visit

www.stata.com/meeting/proceedings.html.

La prueba Ji-cuadrado (más conocida como el test de Pearson) usualmente tiene dos connotaciones prácticas importantes en el día a día del oficio del estadístico. Una de ellas es chequear la bondad del ajuste de una distribución propuesta a los datos reales y la otra se trata de probar la independencia de dos variables aleatorias categóricas cuyos conteos se reúnen en una tabla de contingencia. Sin embargo, esta prueba utiliza resultados de teoría asintótica y por tanto sólo debe ser utilizada cuando el total de conteos marginales es grande (¿qué es grande? algunos autores afirman que es inapropiado utilizar esta prueba cuando los valores esperados por cada celda son menores que diez). Por otra parte, tampoco es apropiado utilizarlo en tablas de contingencia 2X2 puesto que, en este caso particular, la estadística de prueba “asintótica” tendría un solo grado de libertad.

Se cuenta que Fisher pensó en este problema cuando una señorita afirmó (The lady tasting tea) que era capaz de discernir cuándo el té inglés era preparado adicionando primero la leche, luego el té y revolviendo o viceversa. La solución de Fisher fue la prueba exacta que lleva su nombre (Fisher’s exact test) la cual guía a la probabilidad exacta, basada en una distribución hipergeométrica, de obtener un arreglo particular en unta tabla 2X2. Sin embargo, el bayesiano Andrew Gelman afirma:

Yo odio el Fisher’s exact test puesto que tiene problemas de orden práctico, citando a Agresti & Coull, y que la presunción de que es “exacta” se da en circunstancias muy raras. O, para decirlo de otra manera, es una solución exacta a un problema que nunca se verá.

Gelman también propone un método bayesiano directo y sencillo (basado en la diferencia de dos proporciones inducida por la tabla 2X2) que es práctico en los problemas fáciles y se generaliza rápidamente a problemas más complejos. Curiosamente, el método del análisis de la diferencia de proporciones fue uno de mis primeros acercamientos a la teoría bayesiana y hace poco tiempo, en este blog, publiqué un artículo que trata de cómo realizar un análisis de este tipo en R. En resumidas cuentas, la técnica se trata de suponer que las entradas de la tabla vienen de distribuciones binomiales “independientes” (Nótese el símil con la hipótesis nula de independencia), una con parámetro y la otra con parámetro . Estos parámetros, que se asumen variables aleatorias, tienen asignada una función de probabilidad a priori, que usualmente es Beta puesto que admite varios casos particulares como la uniforme. Como se asume independencia, entonces la densidad a posteriori de los parámetros será Beta. En resumen se tienen dos densidades a posteriori para las cuales se simulan un número grande (digamos dos mil) observaciones para tener dos vectores de tamaño 2000. Por la independencia, un vector de observaciones provenientes de la distribución a posteriori de está dada por la resta de los anteriores vectores. Las inferencias estarán dadas en términos de este nuevo vector. Eso es todo.

Sin embargo, una cosa es que la diferencia de los parámetros de las binomiales sea igual a cero con una credibilidad muy alta y otra es que las filas y las columnas en la tabla 2X2 sean independientes. Luego, lo que Gelman no responde es ¿de qué manera se relacionan estas dos situaciones? Pues bien, la respuesta está en este sencillo documento (¿página 189?) que encuentro muy didáctico. Con esto simplemente se conlcuye que si o si es muy grande, entonces no existe independencia entre las filas y columnas de la tabla de contingencia.

Ahora que está claro que sí existe una relación directa entre los dos análisis entonces no queda nada más sino bajar las funciones y el documento y realizar la inferencia, obviamente bayesiana, en las tablas 2X2 que son tan usadas por este gremio.

Con la nueva tecnologia, es posible escribir mis apuntes de estadistica cuando los tengo en mente.

En agosto de este año recibí, como de costumbre, el magazín AMSTAT-News (publicación de ASA: American Statistical Association). Después de ojearla por encima y hojearla rápidamente, me di cuenta que el magazín, además de contener valiosas ofertas laborales y oportunidades de estudio para los gringos, contenía bastante publicidad de software y, más bien, poca información. Así que la remití a mi compañero de oficina para que le echara un vistazo. Algunos días después, mi avezado colega me recomendó la lectura de un artículo de Keith Crank, director de la sección de investigaciones y posgrados de la ASA, titulado Why We Need Data on Our Profession? (¿Por qué necesitamos de los datos en nuestra profesión?). A simple vista, el título del artículo se me antojaba aburrido, soso y hasta redundante. Pues un estadístico de profesión necesita datos, de la misma manera que un médico necesita enfermos o un carpintero necesita madera.

Sin embargo, hice caso a esta recomendación y me aventuré en la tarea de entender esta lectura, que en su primer párrafo advertía que la crisis económica en Estados Unidos había impactado directamente en la educación estadística y había impulsado el cierre de varios departamentos de estadística pues definitivamente no son un buen negocio. Con tremenda introducción me dispuse a leer el artículo completo (ver acá) y, al finalizar la lección, tuve una incómoda sensación de preocupación. Las cosas son claras, en una sociedad como la de Estados Unidos, que tiene la asociación de estadísticos más fuerte e influyente del mundo moderno (los integrantes de ASA incluyen miembros del senado, cámara y directores de entidades gubernamentales) se están cerrando las puertas a la educación estadística con la excusa (¿pretexto?) de la coyuntura económica.

Unos días después me enteré que los rectores de las universidades públicas colombianas estaban dando de qué hablar y no propiamente en el ámbito académico. Resulta que la coyuntura económica llegó con fuerza a Colombia y ahora no hay recursos para el fomento de la educación pública (aunque paradójicamente sí hay recursos para el fomento de la guerra, el odio entre compatriotas y la protección económica de terratenientes ricos que el estado subsidia con recursos del pueblo). El gobierno pide a las universidades auto-sostenibilidad y las universidades han implementado planes en esta dirección, pero el ejecutivo no incrementa el rubro presupuestal para alivianar las cargas de la educación colombiana. Sin embargo, el tema que realmente me preocupa es que los rectores de las universidades empiecen a tomar medidas parecidas a las que tomó, por ejemplo, la Universidad Central de Florida al eliminar su departamento de estadística.

Pensemos un poco en las implicaciones que tendría esta medida. Voy a referirme a la perla de la corona en materia de educación estadística en Colombia: El Departamento de Estadística de la Universidad Nacional de Colombia (del cual soy orgullosamente egresado y al cual orgullosamente pertenezco como estudiante de posgrado). En sus más de 50 años de historia, este departamento ha logrado tener una gran visibilidad a nivel internacional y, sin temor a equivocarme, sus docentes han conseguido alcanzar un nivel muy alto en la calidad de la educación que imparten. Además de ser el semillero para que otras instituciones (públicas y privadas) inicien la difícil tarea de la educación e investigación estadística, el departamento ha logrado posicionarse con su Simposio de Estadística (el encuentro más importante de estadísticos a nivel Colombia y uno de los más reconocidos en Latino-América), con la Revista Colombiana de Estadística (publicación indexada en las más prestigiosas bases de datos bibliográficas) y con sus programas de posgrado (a nivel de especialización, maestría y doctorado). Pues bien, si las cosas siguen así, es posible que estos entes desaparezcan. Y si desaparece el departamento, seguro desaparecerán otras carreras públicas y, siendo así, no le queda mucha esperanza a las emergentes facultades de estadística en el sector privado.

Como diría mi primer jefe… “no se preocupe, más bien ocúpese”. Y es que la responsabilidad de hacerle frente a un problema tan grave como este no está sólo en manos del director del departamento o del decano de la facultad. Seguramente, esta responsabilidad debe ser compartida por todos nosotros. Estoy seguro que algunos lectores, porque seguramente los hay, dirán que esta entrada raya en lo amarillista. A esos lectores les digo, sobre todo si son comentarios en la academia, que es mejor la seguridad que la policía, la prevención que las lamentaciones. Si pasó en Estados unidos, puede pasar en Colombia. La solución no está en quedarse callado o en tomar las vías de hecho. La solución tampoco está en los argumentos que expone Crank en su artículo. La solución está en usted y en lo que, desde su sitio de confort, sea capaz de hacer.

Con gran sorpresa me enteré que el libro The elements of statistical learning de Trevor Hastie, Robert Tibshirani y Jerome Friedman se encuentra disponible de manera gratuita. Este libro trata de minería de datos, inferencia y predicción estadística. en palabras de los autores:

Los desafíos en el aprendizaje a partir de datos han conducido a una revolución en la ciencia estadística. Dado que la computación juega un papel clave, no es sorprendente que gran parte de este nuevo desarrollo haya sido realizado por investigadores de otros campos como las ciencias de la computación (computer sciences) y la ingeniería.

Además, los retos en la áreas de almacenamiento de datos, la organización y la búsqueda han llevado al nuevo campo de la “minería de datos”; los problemas de estadística e informática en el campo de la biología y de la medicina han creado “bioinformática”. Enormes cantidades de datos se están generado en muchos campos, y la tarea del estadístico es darle sentido a estos datos y extraer los patrones y tendencias, y entender lo que dicen los datos. A esto lo llamamos “aprendizaje a partir de los datos”.

Es cierto, a veces algunas técnicas estadísiticas fallan. Más aun, a veces fallan técnicas que, por ser consideradas clásicas y robustas, no deberían de hacerlo. Es bien sabido que, con repecto a la diferencia de dos proporciones, los intervalos de confianza de Wald no son la mejor opción. Pues bien, el mismo espíritu de pensamiento que concibió estos intervalos es el que está detrás de la prueba de hipótesis clásica para dos proporciones: sí, la prueba aquella de dos colas que utiliza la normalidad, la prueba clásica, la del Canavos,  la del comando prop.test en R.

Imagínese que a usted lo contratan en un juicio de discriminación racial. Una gran compañía metalúrgica enfrentada contra un sindicato de trabajadores de raza negra. La información es la siguiente: en el último periodo de contratación, de 80 personas de raza blanca, 41 fueron admitidos y 39 fueron rechazados; mientras que de 44 personas de raza negra, 14 fueron admitidos y 30 fueron rechazados. La proporción de admitidos de raza blanca es de casi el 50%, pero la proporción de admitidos de raza negra es de apenas el 30%.

Si utilizamos una prueba de proporciones clásica, llegaríamos a la conclusión de que la diferencia de proporciones es estadísticamente igual a cero. Por tanto, concluiríamos que no existe evidencia de discriminación racial. Sin emabargo, al utilizar un enfoque bayesiano, las conclusiones y el resultado final cambiarían la historia del juicio rotundamente (si quiere conocer el final de la historia de clic acá).

El objetivo de esta entrada es introducir al lector a un conjunto de soluciones computacionales, programadas en el ambiente de R, que permiten analizar, de forma bayesiana, los problemas concernientes al juzgamiento de hipótesis para dos proporciones. El conjunto de funciones (paquete propbayes) está disponible gratuitamente acá junto con un conjunto de ejemplos que le permitirán analizar de manera consistente sus datos.

Hace mucho tiempo que Bogotá no era la sede de un evento que reuniera a varios de los más prestigiosos estadísticos de Colombia y el mundo. En esta ocasión la novel Facultad de Estadística de la Universidad Santo Tomás coadyuvada por su Centro de Investigaciones y Estudios Estadísticos (CIEES) serán los organizadores del First International Workshop on Applied Statistics (clic acá para mayor información) que se realizará en las instalaciones de la Universidad Santo Tomás (sede Bogotá) del 9 al 12 de Noviembre del presente año.

Lo más interesante del evento es su mecánica. En esta oportunidad todos los invitados internacionales, además de conferencias darán cursillos intensivos de 18 horas sobre temas de punta en la investigación de la estadística aplicada. Lo anterior es muy interesante puesto que el participante no será bombardeado con un arsenal de conferencias que le será difícil asimilar, sino por el contrario, el participante será educado personalmente por los mejores estadísticos del mundo. Siendo esa la filosofía del evento, me parece que es pertinente invitar a toda la comunidad nacional e internacional a hacerse partícipe de este taller. Entre los invitados internacionales y sus cursillos se presentan a continuación:

1. Pedro Silva (Universidad de Southampton, Inglaterra) – Cursillo: Análisis avanzado de datos muestrales (clic acá para obtener una descripción).
2. Víctor Guerrero (UNAM, México) – Cursillo: Estimación de tendencias de series de tiempo mediante mínimos cuadrados penalizados (clic acá para obtener una descripción).
3. Julio Singer (Brasil, Universidad de Sao Paulo) – Cursillo: Introducción a la teoría asintótica.

Además, el evento cuenta con la participación de varios estadísticos reconocidos a nivel nacional, no sólo de Bogotá, sino también de varias escuelas regionales en estadística. Otro tópico impresionante son las bajas tarifas del evento que se encuentran entre los cien y doscientos mil pesos.

Docente -Profesional $     200.000,00

Estudiantes Pregrado $     120.000,00

Estudiantes Posgrado $     180.000,00

El lector interesado puede comunicarse al siguiente correo electrónico para obtener más información (sanderrangel@usantotomas.edu.co).

Inscripciones aquí