高速データ処理の新常識Python Polars入門！Pandasとの違いと使い方

pip install polars

pip install polars[pandas]

import polars as pl

# 辞書からDataFrameを作成
df = pl.DataFrame({
    "名前": ["田中", "佐藤", "鈴木", "高橋"],
    "年齢": [25, 30, 28, 35],
    "部署": ["営業", "開発", "営業", "開発"],
    "給与": [300000, 450000, 350000, 500000]
})

print(df)

shape: (4, 4)
┌──────┬──────┬──────┬────────┐
│ 名前 ┆ 年齢 ┆ 部署 ┆ 給与   │
│ ---  ┆ ---  ┆ ---  ┆ ---    │
│ str  ┆ i64  ┆ str  ┆ i64    │
╞══════╪══════╪══════╪════════╡
│ 田中 ┆ 25   ┆ 営業 ┆ 300000 │
│ 佐藤 ┆ 30   ┆ 開発 ┆ 450000 │
│ 鈴木 ┆ 28   ┆ 営業 ┆ 350000 │
│ 高橋 ┆ 35   ┆ 開発 ┆ 500000 │
└──────┴──────┴──────┴────────┘

# CSVファイルの読み込み
df = pl.read_csv("sales_data.csv")

# 最初の5行を表示
print(df.head())

# データの概要を確認
print(df.describe())

# 特定の列を選択
ages = df["年齢"]
print(ages)

# 複数の列を選択
subset = df.select(["名前", "給与"])
print(subset)

# 条件でフィルタリング
high_salary = df.filter(pl.col("給与") > 400000)
print(high_salary)

# 新しい列を追加
df = df.with_columns(
    (pl.col("給与") * 1.1).alias("昇給後給与")
)
print(df)

# 部署ごとの平均給与を計算
dept_avg = df.group_by("部署").agg(
    pl.col("給与").mean().alias("平均給与"),
    pl.col("年齢").mean().alias("平均年齢"),
    pl.count().alias("人数")
)

print(dept_avg)

shape: (2, 4)
┌──────┬──────────┬────────────┬──────┐
│ 部署 ┆ 平均給与 ┆ 平均年齢   ┆ 人数 │
│ ---  ┆ ---      ┆ ---        ┆ ---  │
│ str  ┆ f64      ┆ f64        ┆ u32  │
╞══════╪══════════╪════════════╪══════╡
│ 営業 ┆ 325000.0 ┆ 26.5       ┆ 2    │
│ 開発 ┆ 475000.0 ┆ 32.5       ┆ 2    │
└──────┴──────────┴────────────┴──────┘

# 複雑な集計処理の例
result = df.group_by("部署").agg([
    pl.col("給与").sum().alias("総給与"),
    pl.col("給与").mean().alias("平均給与"),
    pl.col("給与").max().alias("最高給与"),
    pl.col("給与").min().alias("最低給与"),
    pl.col("年齢").mean().alias("平均年齢")
])

print(result)

# 給与の高い順に並び替え
sorted_df = df.sort("給与", descending=True)
print(sorted_df)

# 複数の列でソート（部署順、その中で給与の高い順）
sorted_df = df.sort(["部署", "給与"], descending=[False, True])
print(sorted_df)

# Lazy DataFrameの作成
lazy_df = pl.scan_csv("large_sales_data.csv")

# 処理を定義（まだ実行されない）
result = (
    lazy_df
    .filter(pl.col("売上金額") > 100000)
    .group_by("商品カテゴリ")
    .agg([
        pl.col("売上金額").sum().alias("総売上"),
        pl.col("売上金額").mean().alias("平均売上")
    ])
    .sort("総売上", descending=True)
)

# ここで初めて実行される
final_result = result.collect()
print(final_result)

# Pandas
import pandas as pd
df = pd.read_csv("data.csv")

# Polars (Eager)
import polars as pl
df = pl.read_csv("data.csv")

# Polars (Lazy)
df = pl.scan_csv("data.csv")

# Pandas
result = df[["名前", "年齢"]]

# Polars
result = df.select(["名前", "年齢"])
# または
result = df.select([pl.col("名前"), pl.col("年齢")])

# Pandas
result = df[df["年齢"] > 30]

# Polars
result = df.filter(pl.col("年齢") > 30)

# Pandas
result = df.groupby("部署")["給与"].mean()

# Polars
result = df.group_by("部署").agg(
    pl.col("給与").mean()
)

# Pandasスタイル
df_filtered = df[df["年齢"] > 25]
df_selected = df_filtered[["名前", "給与"]]
df_sorted = df_selected.sort_values("給与", ascending=False)

# Polarsスタイル（メソッドチェーン）
result = (
    df
    .filter(pl.col("年齢") > 25)
    .select(["名前", "給与"])
    .sort("給与", descending=True)
)

# データ型を指定して読み込み
df = pl.read_csv(
    "data.csv",
    dtypes={
        "商品ID": pl.Utf8,
        "価格": pl.Int32,
        "注文日": pl.Date
    }
)

# Polars → Pandas
pandas_df = polars_df.to_pandas()

# Pandas → Polars
polars_df = pl.from_pandas(pandas_df)