母集団と標本 - なぜ一部のデータから全体がわかるのか？初心者向けデータサイエンス入門

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 日本語フォントの設定
plt.rcParams['font.sans-serif'] = ['Hiragino Sans', 'Yu Gothic', 'Meiryo', 'MS Gothic']
plt.rcParams['axes.unicode_minus'] = False

# 母集団の作成（1000人の生徒の身長データ）
np.random.seed(42)  # 再現性のため
population_size = 1000
population_height = np.random.normal(165, 10, population_size)  # 平均165cm、標準偏差10cm

print(f"母集団のサイズ: {len(population_height)}人")
print(f"母集団の平均身長: {population_height.mean():.2f}cm")
print(f"母集団の標準偏差: {population_height.std():.2f}cm")

母集団のサイズ: 1000人
母集団の平均身長: 164.97cm
母集団の標準偏差: 10.08cm

# 標本サイズ30で無作為抽出
sample_size = 30
sample_height = np.random.choice(population_height, sample_size, replace=False)

print(f"\n標本のサイズ: {len(sample_height)}人")
print(f"標本の平均身長: {sample_height.mean():.2f}cm")
print(f"標本の標準偏差: {sample_height.std():.2f}cm")

# 母集団と標本の差
print(f"\n平均値の差: {abs(population_height.mean() - sample_height.mean()):.2f}cm")

標本のサイズ: 30人
標本の平均身長: 165.23cm
標本の標準偏差: 9.87cm

平均値の差: 0.26cm

# 異なる標本サイズで複数回抽出してみる
sample_sizes = [10, 30, 50, 100, 200]
num_trials = 1000  # 各サイズで1000回抽出

results = []

for size in sample_sizes:
    sample_means = []
    for _ in range(num_trials):
        sample = np.random.choice(population_height, size, replace=False)
        sample_means.append(sample.mean())
    
    # 標本平均の平均と標準偏差を記録
    results.append({
        'サイズ': size,
        '標本平均の平均': np.mean(sample_means),
        '標本平均の標準偏差': np.std(sample_means)
    })

# 結果を表示
results_df = pd.DataFrame(results)
print(results_df.to_string(index=False))

サイズ  標本平均の平均  標本平均の標準偏差
   10      164.98         3.18
   30      164.97         1.84
   50      164.97         1.42
  100      164.97         1.01
  200      164.97         0.71

# 母集団と標本の分布を比較
fig, axes = plt.subplots(1, 2, figsize=(12, 5))

# 母集団の分布
axes[0].hist(population_height, bins=30, alpha=0.7, color='blue', edgecolor='black')
axes[0].axvline(population_height.mean(), color='red', linestyle='--', linewidth=2, label=f'平均: {population_height.mean():.2f}cm')
axes[0].set_title('母集団の身長分布（n=1000）', fontsize=14)
axes[0].set_xlabel('身長（cm）', fontsize=12)
axes[0].set_ylabel('人数', fontsize=12)
axes[0].legend()
axes[0].grid(True, alpha=0.3)

# 標本の分布
axes[1].hist(sample_height, bins=15, alpha=0.7, color='green', edgecolor='black')
axes[1].axvline(sample_height.mean(), color='red', linestyle='--', linewidth=2, label=f'平均: {sample_height.mean():.2f}cm')
axes[1].set_title('標本の身長分布（n=30）', fontsize=14)
axes[1].set_xlabel('身長（cm）', fontsize=12)
axes[1].set_ylabel('人数', fontsize=12)
axes[1].legend()
axes[1].grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

from scipy import stats

# 標本データから95%信頼区間を計算
confidence_level = 0.95
sample_mean = sample_height.mean()
sample_std = sample_height.std(ddof=1)  # 不偏標準偏差
sample_size = len(sample_height)

# t分布を使った信頼区間の計算
confidence_interval = stats.t.interval(
    confidence_level,
    df=sample_size - 1,  # 自由度
    loc=sample_mean,     # 平均
    scale=sample_std / np.sqrt(sample_size)  # 標準誤差
)

print(f"標本平均: {sample_mean:.2f}cm")
print(f"95%信頼区間: [{confidence_interval[0]:.2f}cm, {confidence_interval[1]:.2f}cm]")
print(f"母集団の真の平均: {population_height.mean():.2f}cm")

# 母集団の平均が信頼区間に含まれているか確認
if confidence_interval[0] <= population_height.mean() <= confidence_interval[1]:
    print("→ 母集団の平均は信頼区間に含まれています！")
else:
    print("→ 母集団の平均は信頼区間に含まれていません")

標本平均: 165.23cm
95%信頼区間: [161.49cm, 168.97cm]
母集団の真の平均: 164.97cm
→ 母集団の平均は信頼区間に含まれています！

# 100回標本抽出して、それぞれの信頼区間を計算
num_samples = 100
intervals_contain_true_mean = 0

for i in range(num_samples):
    sample = np.random.choice(population_height, 30, replace=False)
    sample_mean = sample.mean()
    sample_std = sample.std(ddof=1)
    
    ci = stats.t.interval(
        0.95,
        df=len(sample) - 1,
        loc=sample_mean,
        scale=sample_std / np.sqrt(len(sample))
    )
    
    # 信頼区間が母集団の平均を含むかチェック
    if ci[0] <= population_height.mean() <= ci[1]:
        intervals_contain_true_mean += 1

coverage_rate = (intervals_contain_true_mean / num_samples) * 100
print(f"100回の抽出のうち、{intervals_contain_true_mean}回の信頼区間が母集団の平均を含みました")
print(f"カバー率: {coverage_rate:.1f}%（理論値: 95%）")

100回の抽出のうち、94回の信頼区間が母集団の平均を含みました
カバー率: 94.0%（理論値: 95%）

def calculate_sample_size(std_dev, margin_error, confidence_level=0.95):
    """
    必要な標本サイズを計算
    
    Parameters:
    - std_dev: 母集団の標準偏差（推定値）
    - margin_error: 許容誤差
    - confidence_level: 信頼水準（デフォルト95%）
    """
    # z値を取得（95%なら1.96）
    z_value = stats.norm.ppf((1 + confidence_level) / 2)
    
    # 標本サイズの計算
    n = (z_value * std_dev / margin_error) ** 2
    
    return int(np.ceil(n))  # 切り上げ

# 例：標準偏差10cm、誤差±2cm、信頼水準95%の場合
required_size = calculate_sample_size(std_dev=10, margin_error=2, confidence_level=0.95)
print(f"必要な標本サイズ: {required_size}人")

必要な標本サイズ: 97人

# 男女別に層化抽出する例
np.random.seed(42)

# 母集団を作成（男性500人、女性500人）
male_height = np.random.normal(170, 10, 500)    # 男性の身長
female_height = np.random.normal(160, 10, 500)  # 女性の身長

# 各層から比例配分で抽出（全体で100人）
male_sample = np.random.choice(male_height, 50, replace=False)
female_sample = np.random.choice(female_height, 50, replace=False)

# 結果の比較
all_population = np.concatenate([male_height, female_height])
stratified_sample = np.concatenate([male_sample, female_sample])

print(f"母集団全体の平均: {all_population.mean():.2f}cm")
print(f"層化標本の平均: {stratified_sample.mean():.2f}cm")
print(f"差: {abs(all_population.mean() - stratified_sample.mean()):.2f}cm")