In den folgenden Ausführungen wird die klassische Wahrscheinlichkeitsdefinition verwendet, wonach die Wahrscheinlichkeit $P(A)$ für das Auftreten des Ereignisses $A$ durch $$\begin{equation} P(A)=\frac{n(A)}{n},\label{eq:URE:DefinitionWahrscheinlichkeit} \end{equation}$$ gegeben ist. Es ist $n(A)$ die Anzahl der für $A$ günstigen Versuchsausgänge (Elementarereignisse) und $n$ die Anzahl aller möglichen Elementarereignisse. Für die praktische Untersuchungen ist es zweckmäßig, die Wahrscheinlichkeit als Grenzwert der relativen Häufigkeit anzusehen. Nach dieser Häufigkeitsinterpretation ist $$\begin{equation} P(A)=\lim_{N\rightarrow\infty}\frac{N(A)}{N},\label{eq:URE:LimesDefinitionWahrscheinlichkeit} \end{equation}$$ wobei $N(A)$ die Anzahl der Versuchsausgänge mit dem Ereignis $A$ ist, d. h. dessen absolute Häufigkeit und $N$ die Gesamtzahl der Experimente. Der Ausdruck $N(A)/N$ wird als relative Häufigkeit von $A$ bei $N$ Versuchen bezeichnet. Sie ist ein Schätzwert für die Wahrscheinlichkeit nach Definition (\ref{eq:URE:DefinitionWahrscheinlichkeit}↓). Die Wahrscheinlichkeit besitzt die Eigenschaft $$\begin{equation} 0\leq P(A)\leq1.\label{eq:URE:Wahrscheinlichkeit:Grenzen} \end{equation}$$ Für das unmögliche Ereignis (leere Menge) $A=\emptyset$ ist stets $P(\emptyset)=0$ und für das sichere Ereignis (Gesamtmenge) $A=\Omega$ ist stets $P(\Omega)=1$ . In Verbindung mit einer Ereignisalgebra $\mathcal{A}$ , d. h. einem System von Teilmengen der Menge $\Omega$ , die alle möglichen zusammengesetzten Ereignisse beschreibt, bezeichnet das Tripel $(\Omega,\mathcal{A},P)$ den Wahrscheinlichkeitsraum. Für die zufällige Größe $X$ mit $x\in(-\infty,\infty)$ lässt sich die Verteilungsfunktion

$$\begin{equation} F_{X}(x)=P(X<x)\label{eq:URE:Verteilungsfunktion} \end{equation}$$ definieren. Sie gibt die Wahrscheinlichkeit an, dass $X$ Werte im Intervall $(-\infty,x)$ annimmt und ist eine monoton nicht-fallende Funktion mit den Grenzeigenschaften $\lim_{x\rightarrow-\infty}F_{X}(x)=0$ und $\lim_{x\rightarrow\infty}F_{X}(x)=1$ . Existiert die Ableitung von $F_{X}(x)$ , so bezeichnet $$\begin{equation} f_{X}(x)=\frac{\mathrm{d}F_{X}(x)}{\mathrm{d}x}\label{eq:URE:Wahrscheinlichkeitsdichte} \end{equation}$$ die Wahrscheinlichkeitsdichte bzw. Verteilungsdichte. Für diskrete zufällige Größen $X$ mit den endlich (oder abzählbar unendlich) vielen Werte $x_{1},x_{2},\ldots,x_{k},\ldots$ und den Einzelwahrscheinlichkeiten $P(X=x_{k})=p_{k}$ gilt stets $\sum_{k}p_{k}=1$ .

Von besonderer Bedeutung zur Charakterisierung sind die Erwartungswerte bestimmter Funktionen der Zufallsgröße $X$ , insbesondere ihre Potenzen bzw. die Momente. Der Erwartungswert (Mittelwert) $\mathrm{E}X$ oder $\left\langle X\right\rangle$ oder auch $\bar{X}$ bzw. das erste Moment $m_{1}$ der Zufallsgröße $X$ ist gegeben durch $$\begin{equation} m_{1}=\mathrm{E}X=\intop_{-\infty}^{\infty}\mathrm{d}F(x)\,x=\intop_{-\infty}^{\infty}\mathrm{d}x\,x\,f_{X}(x)\label{eq:URE:erstesMoment} \end{equation}$$ bzw. im Falle diskreter Ereignisse durch die mit der Wahrscheinlichkeit gewichtete Summe $$\mathrm{E}X=\sum_{k}p_{k}x_{k}.$$ Allgemeiner sind die höheren Momente $m_{l}$ der Zufallsgröße in der Potenz $l$ gegeben durch $$\begin{equation} m_{l}=\mathrm{E}X^{l}=\intop_{-\infty}^{\infty}\mathrm{d}F(x)\,x^{l}=\intop_{-\infty}^{\infty}\mathrm{d}x\,x^{l}\,f_{X}(x)\label{eq:URE:Moment:allgemein} \end{equation}$$ bzw. im diskreten Fall durch $$m_{l}=\sum_{k}p_{k}x_{k}^{l}.$$ Von Interesse sind auch die zentralen um den Mittelwert $\mathrm{E}X$ zentrierten Momente $$\begin{equation} \mu_{l}=\mathrm{E}(X-\mathrm{E}X)^{l},\label{eq:URE:Moment:zentrales} \end{equation}$$ womit die Abweichungen von diesem Mittelwert bestimmt werden. Für physikalische Anwendungen, so in der Diffusionstheorie, ist das zweite zentrale Moment $\mu_{2}$ bzw. die Streuung (auch mittleres Schwankungsquadrat, mittlere quadratische Abweichung, Varianz $\mathrm{var}(X)$ oder Dispersion genannt) $\sigma^{2}$ mit $$\begin{equation} \sigma^{2}=\mu_{2}=\mathrm{var}(X)=\mathrm{E}(X-\mathrm{E}X)^{2}=\mathrm{E}X^{2}-\left(\mathrm{E}X\right)^{2}.\label{eq:URE:Varianz} \end{equation}$$ von besonderer Bedeutung. Die positive Quadratwurzel hieraus bezeichnet man als Standardabweichung.

Oftmals ist es vorteilhafter nicht die Wahrscheinlichkeitsdichte $f_{X}(x)$ sondern ihre Fourier-Transformierte, d. h. die charakteristische Funktion $\hat{\varphi}(k)$  [A]  [A] Zur besseren Kennzeichnung transformierter Funktionen werden diese oftmals durch ein „Dach“, Tilden oder anderen Verzierungen versehen. mit der komplexzahligen Variablen $k$ , zu betrachten. Diese ist durch $$\begin{equation} \hat{\varphi}_{X}(k)=\mathrm{E}e^{ikX}=\intop_{-\infty}^{\infty}\mathrm{d}x\,\mathrm{e}^{ikx}\,f_{X}(x)\label{eq:URE:charakteristischeFunktion} \end{equation}$$ oder im diskreten Fall durch $$\hat{\varphi}_{X}(k)=\sum_{l}p_{l}\mathrm{e}^{ix_{l}k}$$ definiert. Man erhält hieraus spektrale Eigenschaften der Zufallsgröße $X$ .

Werden zwei oder mehrere Zufallsgrößen miteinander verglichen, so ist die Korrelation oder Kovarianz ein Maß für deren gegenseitige Abhängigkeit. Sind $X_{1}$ und $X_{2}$ zwei zufällige Größen mit den Erwartungswerten $\mathrm{E}X_{1}$ bzw. $\mathrm{E}X_{2}$ und der Verteilungsfunktion $F(x_{1},x_{2})$ bzw. falls existent, der Wahrscheinlichkeitsdichte $f(x_{1},x_{2})$ , so ist die Kovarianz durch $$\begin{eqnarray} \mathrm{cov}(X_{1},X_{2}) & = & \sigma^{2}(X_{1},X_{2})=\mathrm{E}(X_{1}-\mathrm{E}X_{1})(X_{2}-\mathrm{E}X_{2})\nonumber \\ & = & \intop_{-\infty}^{\infty}\intop_{-\infty}^{\infty}\mathrm{d}F(x_{1},x_{2})\,(x_{1}-\mathrm{E}X_{1})(x_{2}-\mathrm{E}X_{2})\nonumber \\ & = & \intop_{-\infty}^{\infty}\intop_{-\infty}^{\infty}\mathrm{d}x_{1}\mathrm{d}x_{2}\,(x_{1}-\mathrm{E}X_{1})(x_{2}-\mathrm{E}X_{2})\,f(x_{1},x_{2})\label{eq:URE:Kovarianz} \end{eqnarray}$$ mit der Symmetrieeigenschaft $\mathrm{cov}(X_{1},X_{2})=\mathrm{cov}(X_{2},X_{1})$ gegeben. Für diskrete zufällige Größen mit den Einzelwahrscheinlichkeiten $P(X_{1}=x_{i}^{(1)},X_{2}=x_{k}^{(2)})=p_{ik}$ und den Erwartungswerten $m_{1}^{(1)}=\mathrm{E}X_{1}=\sum_{i}x_{i}^{(1)}p_{i}^{(1)}$ bzw. $m_{1}^{(2)}=\mathrm{E}X_{2}=\sum_{k}x_{k}^{(2)}p_{k}^{(2)}$ ist diese durch $$\mathrm{cov}(X_{1},X_{2})=\sum_{i}\sum_{k}p_{ik}(x_{i}^{(1)}-m_{1}^{(1)})(x_{k}^{(2)}-m_{1}^{(2)})$$ gegeben. Im Falle von $n$ zufällige Größen, welche einen $n$ -dimensionalen zufälligen Vektor $\mathbf{X}=(X_{1},X_{2},\ldots,X_{n})^{T}$ mit dem Erwartungswertevektor $\mathrm{E}\mathbf{X}=(\mathrm{E}X_{1},\mathrm{E}X_{2},\ldots,\mathrm{E}X_{n})^{T}$ bilden, lässt sich allgemeiner die Kovarianzmatrix $$\begin{equation} \mathbf{B}=\mathrm{E}(\mathbf{X}-\mathrm{E}\mathbf{X})^{T}(\mathbf{X}-\mathrm{E}\mathbf{X})\label{eq:URE:Kovarianzmatrix} \end{equation}$$ mit den Matrixelementen $B_{ik}=\mathrm{cov}(X_{i},X_{k})=\mathrm{E}(X_{i}-\mathrm{E}X_{i})(X_{k}-\mathrm{E}X_{k}),\:i,k=1,\ldots,n$ definieren. Ihre Diagonalelemente $B_{ii}=\sigma_{i}^{2}$ sind die Streuungen der zufälligen Größe $X_{i}$ .