Un proceso de Bernoulli es la repetición de un ensayo de Bernoulli. Por ejemplo, de una moneda estaremos estudiando cuántas veces sale "cara" o cuántas veces sale "cruz", o la probabilidad de que salga "cara", al menos una vez, de un número n de intentos. Es importante que se cumpla que:

1. La probabilidad de éxito permanece constante ensayo tras ensayo.
2. Los ensayos deben de ser independientes entre sí.

Los procesos de Bernoulli son un caso concreto de proceso estocástico de tiempo discreto. Según el problema que nos planteemos sobre el resultado de un proceso de Bernoulli pueden surgir distintas distribuciones asociadas:

• Si nos preguntamos sobre la probabilidad de obtener r éxitos en n ensayos, la probabilidad de que suceda en un ensayo es p, corresponde la llamada distribución binomial:

${\displaystyle {\frac {n!}{r!(n-r)!}}p^{r}(1-p)^{n-r}}$

• Si queremos saber la probabilidad de necesitar exactamente n ensayos para obtener r éxitos, debemos usar la distribución binomial negativa o la distribución de Pascal:

${\displaystyle {\frac {(n-1)!}{(r-1)!(n-r)!}}p^{r}(1-p)^{n-r}}$

La distribución de Pascal es un caso particular de la distribución binomial negativa que requiere que los valores de n y r sean enteros, mientras que en la distribución binomial negativa r puede ser real mayor que cero y n-r entero no negativo (la fórmula que figura más arriba corresponde a la distribución de Pascal).

Cuando r=1 se obtiene la distribución geométrica.

Un proceso de Bernoulli es una secuencia finita o infinita de variables aleatorias independientes ${\displaystyle X_{1},X_{2},X_{3}...}$, tales que

Para cada variable, el valor de ${\displaystyle x_{i}}$es 0 o 1; Para todos los valores de ${\displaystyle i}$, la probabilidad de que ${\displaystyle X_{i}=1}$ sea el mismo número ${\displaystyle p}$. En otras palabras, un proceso de Bernoulli es una secuencia de ensayos independientes de Bernoulli distribuidos de forma idéntica.

La independencia de los ensayos implica que el proceso no tiene memoria. Dado que la probabilidad ${\displaystyle p}$ es conocida, los resultados pasados no proporcionan información sobre los resultados futuros. (Si ${\displaystyle p}$ es desconocido, sin embargo, el pasado informa sobre el futuro indirectamente, a través de inferencias acerca de ${\displaystyle p}$.)

Si el proceso es infinito, entonces, de cualquier punto los ensayos futuros constituyen un proceso de Bernoulli idéntico al proceso entero.

Los dos valores posibles de cada ${\displaystyle X_{i}}$ se llaman a menudo "éxito" y "fracaso". Así, cuando se expresa como un número 0 o 1, el resultado puede llamarse el número de éxitos en el i-ésimo "juicio".

Otras dos interpretaciones comunes de los valores son verdaderas o falsas y sí o no. Bajo cualquier interpretación de los dos valores, las variables individuales ${\displaystyle X_{i}}$pueden denominarse ensayo de Bernoulli con el parámetro ${\displaystyle p}$.

En muchas aplicaciones, el tiempo pasa entre ensayos a medida que aumenta el índice ${\displaystyle i}$. En efecto, los ensayos ${\displaystyle X_{1},X_{2},...,X_{i}...}$ suceden en "puntos en el tiempo" ${\displaystyle 1,2,...,i,...}$ Ese paso del tiempo y las nociones asociadas de "pasado" Y "futuro" no son necesarios, sin embargo. En general, cualquier ${\displaystyle X_{i}}$ y ${\displaystyle X_{j}}$ en el proceso son simplemente dos de un conjunto de variables aleatorias indexadas por ${\displaystyle \{1,2,...,n\}}$ o por ${\displaystyle \{1,2,3,...\}}$, en los casos finito e infinito, respectivamente.

Múltiples variables aleatorias y distribuciones de probabilidad junto con las de Bernoulli pueden derivarse del proceso de Bernoulli:

El número de éxitos en los primeros ${\displaystyle n}$ ensayos, que tiene una distribución binomial ${\displaystyle B(n,p)}$ El número de ensayos necesarios para obtener ${\displaystyle r}$ éxitos, que tiene una distribución binomial negativa ${\displaystyle NB(r,p)}$ El número de ensayos necesarios para obtener un éxito, que tiene una distribución geométrica ${\displaystyle NB(1,p)}$, un caso especial de la distribución binomial negativa. Las variables binomiales negativas pueden interpretarse como tiempos de espera aleatorios.

El proceso de Bernoulli puede formalizarse en el lenguaje de los espacios de probabilidad como una secuencia aleatoria de realizaciones independientes de una variable aleatoria que puede tomar valores de cara o cruz. El espacio de estados para un valor individual se denomina ${\displaystyle 2=\{H,T\}.}$

Específicamente, se considera el producto infinito contable de las copias de ${\displaystyle 2=\{H,T\}}$. Es común examinar el conjunto unilateral ${\displaystyle \Omega =2^{\mathbb {N} }=\{H,T\}^{\mathbb {N} }}$ o el conjunto de dos caras ${\displaystyle \Omega =2^{\mathbb {Z} }}$. Hay una topología natural en este espacio, llamada topología del producto. Los conjuntos en esta topología son secuencias finitas de lanzamientos de moneda, es decir, cadenas de longitud finita de H y T, con el resto de secuencia (infinitamente largo) tomada como "no importa". Estos conjuntos de secuencias finitas se denominan conjuntos de cilindros en la topología del producto. El conjunto de todas esas cadenas forman un álgebra sigma, específicamente, un álgebra de Borel. Esta álgebra se escribe comúnmente como ${\displaystyle (\Omega ,{\mathcal {F}})}$ donde los elementos de ${\displaystyle {\mathcal {F}}}$ son las secuencias de longitud finita de lanzamientos de monedas (los conjuntos de cilindros).

Si las posibilidades de lanzar valores de cara o cruz son dadas por las probabilidades ${\displaystyle \{p,1-p\}}$, entonces se puede definir una medida natural en el espacio del producto dada por ${\displaystyle P=\{p,1-p\}^{\mathbb {N} }}$ o por ${\displaystyle P=\{p,1-p\}^{\mathbb {Z} }}$ para el proceso de dos caras). Dado un conjunto de cilindros, es decir, una secuencia específica de resultados de lanzamientos de moneda ${\displaystyle [\omega _{1},\omega _{2},\cdots \omega _{n}]}$ a veces${\displaystyle 1,2,\cdots ,n}$ la probabilidad de observar esta secuencia particular viene dada por

${\displaystyle P([\omega _{1},\omega _{2},\cdots ,\omega _{n}])=p^{k}(1-p)^{n-k}}$ Donde k es el número de veces que H aparece en la secuencia y n-k es el número de veces que T aparece en la secuencia. Hay varias clases de notaciones para lo anterior; Una común es escribir

${\displaystyle P(X_{1}=\omega _{1},X_{2}=\omega _{2},\cdots ,X_{n}=\omega _{n})=p^{k}(1-p)^{n-k}}$ Donde cada ${\displaystyle X_{i}}$ es una variable aleatoria de valor binario. Es común escribir ${\displaystyle x_{i}}$ para ${\displaystyle \omega _{i}}$. Esta probabilidad P se denomina comúnmente la medida de Bernoulli. Nótese, que la probabilidad de que haya cualquier secuencia especifica infinitamente larga de lanzamientos de monedas es exactamente cero; Esto se debe a que${\displaystyle \lim _{n\to \infty }p^{n}=0}$ para cualquier ${\displaystyle 0\leq p<1}$. Dice que cualquier secuencia infinita dada tiene una medida cero. Sin embargo, todavía se puede decir que algunas clases de secuencias infinitas de lanzamientos de monedas son mucho más probables que otras, esto es dado por la propiedad de equipartición asintótica.

Para concluir la definición formal, un proceso de Bernoulli se da entonces por la probabilidad triple ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ definidos anteriormente.

Supongamos el proceso canónico con ${\displaystyle H}$ representado por ${\displaystyle 1}$ y ${\displaystyle T}$ representado por ${\displaystyle 0}$. La ley de los números grandes establece que, en el promedio de la secuencia, es decir, ${\displaystyle {\bar {X}}_{n}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$, acercará el valor esperado casi con certeza, es decir, los eventos que no satisfacen este límite tienen probabilidad cero. El valor esperado de sacar cara, asumido que viene representado por 1, viene dado por ${\displaystyle p}$ p. De hecho, tenemos:

${\displaystyle \mathbb {E} [X_{i}]=\mathbb {P} ([X_{i}=1])=p,}$ Para cualquier variable aleatoria dada ${\displaystyle X_{i}}$ de la secuencia infinita de ensayos de Bernoulli que componen el proceso de Bernoulli.

A menudo es interesante saber con qué frecuencia se observará H en una secuencia de n lanzamientos de moneda. Esto se da por el simple recuento: Dado n lanzamientos de moneda sucesivos, es decir, dado el conjunto de todas las cadenas posibles de longitud n, el número N (k, n) de tales cadenas que contienen k ocurrencias de H es dado por el coeficiente binomial

${\displaystyle N(k,n)={n \choose k}={\frac {n!}{k!(n-k)!}}}$

Si la probabilidad de sacar cara es dada por p, entonces la probabilidad total de ver una cadena de longitud n con k valores de cara es${\displaystyle S_{n}=\sum _{i=1}^{n}X_{i}}$

${\displaystyle \mathbb {P} ([S_{n}=k])={n \choose k}p^{k}(1-p)^{n-k}}$

Esta probabilidad se conoce como la Distribución binomial.

De particular interés es la cuestión del valor de ${\displaystyle S_{n}}$ para secuencias suficientemente largas de lanzamientos de monedas, es decir, para el límite ${\displaystyle n\to \infty }$ En este caso, se puede hacer uso de la aproximación de Stirling al factorial, y escribir

${\displaystyle n!={\sqrt {2\pi n}}\;n^{n}e^{-n}\left(1+{\mathcal {O}}\left({\frac {1}{n}}\right)\right)}$

Insertando esto en la expresión para P (k, n), uno obtiene la distribución Normal; Este es el contenido del teorema del límite central, y este es el ejemplo más simple de ello.

La combinación de la ley de los grandes números, junto con el teorema del límite central, conduce a un resultado interesante y quizás sorprendente: la propiedad equipartición asintótica. Puesto de manera informal, se observa que, sí, sobre muchos lanzamientos de monedas, se observará H exactamente p fracción del tiempo, y que esto corresponde exactamente con el pico de Gauss. La propiedad de equipartición asintótica afirma esencialmente que este pico es infinitamente agudo, con una caída infinita a ambos lados. Es decir, dado el conjunto de todas las posibles cadenas infinitamente largas de H y T que ocurren en el proceso de Bernoulli, este conjunto se divide en dos: las cadenas que ocurren con la probabilidad 1 y las que ocurren con la probabilidad 0. Esta partición se conoce como Ley cero-uno de Kolmogorov.

El tamaño de este conjunto es interesante, también, y puede determinarse explícitamente: el logaritmo de este es exactamente la entropía del proceso de Bernoulli. Una vez más, considere el conjunto de todas las cadenas de longitud n. El tamaño de este conjunto es ${\displaystyle 2^{n}}$. De estos, sólo un cierto subconjunto es probable; El tamaño de este conjunto es ${\displaystyle 2^{nH}}$ for ${\displaystyle H\leq 1}$. Usando la aproximación de Stirling, poniéndolo en la expresión para P (k , N), resolviendo la localización y el ancho del pico, y finalmente tomando${\displaystyle n\to \infty }$ uno encuentra que

${\displaystyle H=-p\log _{2}p-(1-p)\log _{2}(1-p)}$

Este valor es la Entropía de Bernoulli de un proceso de Bernoulli. Aquí, H significa entropía; No lo confunda con el mismo símbolo H que representa los valores de cara.

John von Neumann planteó una pregunta curiosa sobre el proceso de Bernoulli: ¿es posible que un proceso determinado sea isomorfo a otro, en el sentido del isomorfismo de los sistemas dinámicos? La pregunta desafió largamente el análisis, pero fue finalmente y completamente contestada con el teorema del isomorfismo de Ornstein. Este avance resultó en la comprensión de que el proceso de Bernoulli es único y universal; En cierto sentido, es el proceso más aleatorio posible; Nada es "más" aleatorio que el proceso de Bernoulli (aunque hay que tener cuidado con esta declaración informal, ciertamente, los sistemas que se mezclan son en cierto sentido "más fuertes" que el proceso de Bernoulli, que es meramente ergódico pero no mezclado. Sin embargo, tales procesos no consisten en variables aleatorias independientes: de hecho, muchos sistemas puramente determinísticos, no aleatorios pueden ser mezclados).

El proceso de Bernoulli también puede ser entendido como un Sistema dinámico, específicamente, un sistema dinámico que preserva la medida. Esto se debe a que hay una versión natural simétrica en el espacio de producto (bilateral) ${\displaystyle \Omega =2^{\mathbb {Z} }}$ Dado por el operador de cambio

${\displaystyle TX_{i}=X_{i+1}}$

La medida es invariante a la versión; Es decir, dado cualquier conjunto de cilindros ${\displaystyle \omega \in \Omega }$, se ha

${\displaystyle P(T\omega )=P(\omega )}$

Y por lo tanto la medida de Bernoulli es una Medida de Haar.

El operador de cambio debe ser entendido como un operador que actúa sobre el álgebra sigma ${\displaystyle (\Omega ,{\mathcal {F}})}$,

${\displaystyle (\Omega ,{\mathcal {F}})}$ En esta forma, el operador de cambio es conocido como el Operador de transferencia o el Operador de Ruelle-Frobenius-Perron. Es interesante considerar las funciones propias de este operador, y cómo difieren cuando se restringen a diferentes subespacios de ${\displaystyle (\Omega ,{\mathcal {F}})}$. Cuando se limita a la topología estándar de los números reales, las funciones propias son curiosamente los Polinomios Bernoulli. Esta coincidencia de nombre era presumiblemente desconocido para Bernoulli.

• Esta obra contiene una traducción derivada de «Bernoulli process» de Wikipedia en inglés, concretamente de esta versión, publicada por sus editores bajo la Licencia de documentación libre de GNU y la Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.