みなさん，こんにちは
おかしょです．
カルマンフィルタの参考書を読んでいると「和の平均値や分散はこうなので…」というような感じで結果のみを用いて解説されていることがあります．
この記事では和の平均と分散がどのような計算で求められるのかを解説していきたいと思います．共分散についても少しだけ触れます．
この記事を読むと以下のようなことがわかる・できるようになります．
- 確率変数の和の平均・分散の導出方法
- 共分散の求め方
この記事を読む前に
この記事では確率変数の和と分散を導出します．
そもそも「確率変数とは何か」や「平均・分散の求め方」を知らない方は以下の記事を参照してください．
また，周辺分布や同時分布についても触れているので以下を読んで理解しておいてください．
確率変数の和の平均の導出方法
例えば，二つの確率変数XとYがあったとします．
Xの情報だけで求められる平均値を\(E_{X} (X)\)，Yの情報だけで求められる平均値を\(E_{Y} (Y)\)で表すとします．
この平均値は以下のように確率変数の値xとその値が出る確率\(p_{x}\)によって求めることができます．
$$ E_{X} (X) =\displaystyle \sum_{i=1}^n p_{xi} \times x_{i} $$
このとき，XとYの二つの確率変数に対してXのみしか見ていないので，これは周辺分布の平均値であるということができます．
周辺分布というのは同時分布から求めることができるので，上の式によって求められる平均値と同時分布によって求められる平均値は一致するはずです．
つまり，同時分布から求められる平均値を\(E_{XY} (X)\)，\(E_{XY} (Y)\)とすると，以下のような関係になります．
$$ E_{X} (X) =E_{XY} (X),\ \ E_{Y} (Y) =E_{XY} (Y) $$
このような関係を頭に入れて，確率変数の和の平均値を求めます．
確率変数の和の平均値\(E_{XY} (X+Y)\)は先ほどと同様に，確率変数の値\(x,\ y\)とその値が出る確率\(p_{XY} (x,\ y)\)を使って以下のように求められます．
$$ E_{XY} (X+Y) =\displaystyle \sum_{i=1,\ j=1}^{} p_{XY} (x_{i},\ y_{j}) \times (x_{i}+y_{j})$$
この式を展開すると
$$ E_{XY} (X+Y) =\displaystyle \sum_{i=1,\ j=1}^{} p_{XY} (x_{i},\ y_{j}) \times x_{i}+\displaystyle \sum_{i=1,\ j=1}^{} p_{XY} (x_{i},\ y_{j}) \times y_{j})$$
ここで，同時分布で求められる確率\(\displaystyle \sum_{j=1}^{} p_{XY} (x_{i},\ y_{j})\)と周辺分布の確率\(p_{XY} (x_{i})\)は等しくなるので
$$ E_{XY} (X+Y) =\displaystyle \sum_{i=1}^{} p_{XY} (x_{i}) \times x_{i}+\displaystyle \sum_{j=1}^{} p_{XY} (y_{j}) \times y_{j}$$
そして，先程の関係（周辺分布の平均値と同時分布によって求められる平均値は一致する）から
$$ E_{XY} (X+Y) =E_{X} (X)+E_{Y} (Y)$$
となります．
このように確率変数の和の平均は，それぞれの確率変数の周辺分布の平均値を足し合わせたものとなることがわかりました．
確率変数の和の分散の導出方法
次に，分散を求めていきます．
こちらも先程の平均と同じように，周辺分布の分散をそれぞれ\(V_{X} (X)\)，\(V_{Y} (Y)\)，同時分布から求められる分散を\(V_{XY} (X)\)，\(V_{XY} (Y)\)とします．
確率変数の和の分散は，分散の公式を使用すると以下のようにして求められます．
$$ V_{XY} (X+Y) = E_{XY} ((X+Y)^{2})-(E_{XY} (X+Y))^{2} $$
右辺第1項は展開，第2項は先ほどの平均の式を利用すると
$$ V_{XY} (X+Y) = E_{XY} (X^{2}+2XY+Y^{2})-(E_{X} (X)+ E_{Y} (Y))^{2} $$
となります．これをさらに展開します．
$$ V_{XY} (X+Y) = E_{XY} (X^{2})+2E_{XY} (XY)+E_{XY} (Y^{2})-E_{X}^{2} (X) – 2E_{X} (X)\cdot E_{Y} (Y) – E_{Y}^{2} (Y) $$
先程の確率変数の平均と同じように，分散も周辺分布の分散と同時分布によって求められる分散は一致するので，上の式を整理すると以下のようになります．
$$ V_{XY} (X+Y) = V_{X} (X)+V_{Y} (Y) +2(E_{XY} (XY)-E_{X} (X)\cdot E_{Y} (Y)) $$
このようにして，確率変数の和の分散を求めることができます．
ここで，上式の右辺第3項にある\(E_{XY} (XY)\)に注目します．
この平均値は確率変数の積の平均値です．
そのため，先程の和の平均値のように周辺分布の情報のみで求めることができません．
つまり，確率変数の和の分散を求めるには同時分布の情報が必ず必要になるということです．
このように，同時分布が必要な第3項と第4項をまとめて共分散\(Cov(X,\ Y)\)と呼びます．
$$ Cov(X,\ Y) = E_{XY} (XY)-E_{X} (X)\cdot E_{Y} (Y) $$
この共分散は確率変数XとYの関係性を表す一つの指標として扱われます．
まとめ
この記事では，確率変数の和の平均と分散を求めました．
以下に，それぞれについてまとめます．
- 確率変数の和の平均はそれぞれの確率変数の周辺分布の平均の和
- 確率変数の和の分散は周辺分布だけでは求めることができず，同時分布の情報も必要
カルマンフィルタの理論導出では，今回の和の平均や分散が非常に重要なのでしっかり押さえておきましょう
続けて読む
このブログでは確率統計学についての記事を公開しています．
特にカルマンフィルタの学習をしている方は以下の記事で解説している確率変数の独立性について理解していなければならないので，続けて読んでみてください．
ここでは深くは触れなかった共分散について解説した記事は以下になります．
Twitterでは私の活動の進捗や記事の更新情報などをつぶやいているので，良ければフォローお願いします．
それでは，最後まで読んでいただきありがとうございました．
コメント