重回帰分析入門！複数の要因を組み合わせて予測精度を上げる方法を解説

y = β₀ + β₁x₁ + β₂x₂ + β₃x₃ + ... + βₙxₙ + ε

価格 = 切片 + (係数 × 広さ)

価格 = 切片 + (係数₁ × 広さ) + (係数₂ × 築年数) + (係数₃ × 駅からの距離)

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# 日本語表示の設定
plt.rcParams['font.sans-serif'] = ['DejaVu Sans']

# サンプルデータの作成
np.random.seed(42)
n_samples = 100

# 説明変数の生成
study_hours = np.random.uniform(1, 10, n_samples)      # 勉強時間（時間/日）
sleep_hours = np.random.uniform(5, 9, n_samples)       # 睡眠時間（時間/日）
attendance_rate = np.random.uniform(60, 100, n_samples) # 出席率（%）

# 目的変数の生成（テストの点数）
# 勉強時間が多いほど点数が上がり、睡眠時間も適度に必要、出席率も影響する
test_score = (
    30 +                              # ベースライン
    5 * study_hours +                 # 勉強時間の影響
    2 * sleep_hours +                 # 睡眠時間の影響
    0.3 * attendance_rate +           # 出席率の影響
    np.random.normal(0, 5, n_samples) # ランダムなノイズ
)

# データフレームの作成
df = pd.DataFrame({
    '勉強時間': study_hours,
    '睡眠時間': sleep_hours,
    '出席率': attendance_rate,
    'テスト点数': test_score
})

print(df.head())
print(f"\nデータの形状: {df.shape}")

# 説明変数と目的変数に分割
X = df[['勉強時間', '睡眠時間', '出席率']]
y = df['テスト点数']

# 訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 重回帰モデルの作成と学習
model = LinearRegression()
model.fit(X_train, y_train)

# 予測の実行
y_pred = model.predict(X_test)

print("=== モデルの係数 ===")
print(f"切片: {model.intercept_:.2f}")
for feature, coef in zip(X.columns, model.coef_):
    print(f"{feature}の係数: {coef:.2f}")

# モデルの評価
r2 = r2_score(y_test, y_pred)
rmse = np.sqrt(mean_squared_error(y_test, y_pred))

print(f"\n=== モデルの評価 ===")
print(f"決定係数(R²): {r2:.4f}")
print(f"RMSE: {rmse:.2f}")

# 予測値と実測値の比較
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, alpha=0.6)
plt.plot([y_test.min(), y_test.max()], 
         [y_test.min(), y_test.max()], 
         'r--', linewidth=2)
plt.xlabel('Actual Test Score')
plt.ylabel('Predicted Test Score')
plt.title('Multiple Regression: Actual vs Predicted')
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()

# 新しい学生のデータで予測
new_student = pd.DataFrame({
    '勉強時間': [6.5],
    '睡眠時間': [7.0],
    '出席率': [85.0]
})

predicted_score = model.predict(new_student)
print(f"\n=== 新しい学生の予測 ===")
print(f"勉強時間: {new_student['勉強時間'].values[0]}時間/日")
print(f"睡眠時間: {new_student['睡眠時間'].values[0]}時間/日")
print(f"出席率: {new_student['出席率'].values[0]}%")
print(f"予測されるテスト点数: {predicted_score[0]:.1f}点")

テスト点数 = 30 + 5.0×勉強時間 + 2.0×睡眠時間 + 0.3×出席率

import statsmodels.api as sm

# statsmodelsを使った詳細な統計情報の取得
X_with_const = sm.add_constant(X_train)
model_sm = sm.OLS(y_train, X_with_const).fit()
print(model_sm.summary())

from statsmodels.stats.outliers_influence import variance_inflation_factor

# VIFの計算
vif_data = pd.DataFrame()
vif_data["説明変数"] = X.columns
vif_data["VIF"] = [variance_inflation_factor(X.values, i) 
                   for i in range(len(X.columns))]

print("\n=== 多重共線性のチェック（VIF） ===")
print(vif_data)
print("\nVIFの目安:")
print("- VIF < 5: 問題なし")
print("- 5 ≤ VIF < 10: 注意が必要")
print("- VIF ≥ 10: 多重共線性の可能性が高い")

# 外れ値の確認
print("\n=== データの基本統計量 ===")
print(df.describe())

# 箱ひげ図で外れ値を視覚化
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
for idx, column in enumerate(df.columns):
    row = idx // 2
    col = idx % 2
    axes[row, col].boxplot(df[column])
    axes[row, col].set_title(column)
    axes[row, col].grid(True, alpha=0.3)
plt.tight_layout()
plt.show()

from sklearn.feature_selection import RFE

# 重要な変数の選択（RFE: Recursive Feature Elimination）
selector = RFE(model, n_features_to_select=2)
selector.fit(X_train, y_train)

print("\n=== 変数の重要度 ===")
for feature, selected in zip(X.columns, selector.support_):
    print(f"{feature}: {'選択' if selected else '非選択'}")