1. 分岐のアルゴリズム:決定木

機械学習において、「もしも」の構造を最も直感的に表すモデルが**決定木(Decision Tree)**です。
決定木は、データを特徴量に基づいて再帰的に分割し、最終的にクラスや値を予測します。

1.1 決定木の構造

        [Feature A > 5?]
       /              \
    Yes               No
    /                   \
[Feature B > 3?]     [Output: 0]
   /      \
 Yes       No
 /          \
[Output: 1] [Output: 2]

この構造は、自然言語の「もしPならばQ、そうでなければR」という構造と完全に一致します。

1.2 情報利得と分岐の選択

決定木は、どの特徴量で分岐するかを情報利得(Information Gain)またはジニ不純度(Gini Impurity)に基づいて選択します。
これは、第4章で述べた
エントロピーの減少
を最大化する操作です。

「もし特徴量Aで分岐したら、不確実性がどれくらい減るか?」
この問いが、アルゴリズムによって自動的に「もしも」の構造を構築します。

2. 決定木と論理式

決定木は、論理式に変換できます。
上記の決定木は、以下のような論理式に対応します。

これは、第1章で述べた述語論理の一種です。
決定木は、データから「もしも」の論理式を抽出する機械です。

3. 決定木の限界とアンサンブル

決定木は解釈性が高いですが、過学習(Overfitting)しやすいという欠点があります。
これを解決するために、複数の決定木を組み合わせたアンサンブル学習が用いられます。

3.1 ランダムフォレスト

複数の決定木を訓練し、その平均(回帰)または多数決(分類)を取ります。
「もしも」の構造が複数存在し、それらの合意形成によって予測を行います。

3.2 グラディエントブースティング

誤差を小さくする方向に決定木を追加していきます。
各木は、前の木の残差(エラー)を説明する「もしも」を学習します。

4. 第8章のまとめ:構造化された「もしも」

第8章では、決定木を通じて、「もしも」がアルゴリズム的に構築される過程を示しました。
「もしも」は、人間の直感ではなく、データの構造に基づいて最適化されます。

しかし、決定木は限られた特徴量しか扱えません。
より複雑な「もしも」を扱うためには、ニューラルネットワークという別のアプローチが必要です。