基本的なtidyr操作を習得したら、複雑な実世界データの再構造化に挑戦しましょう。
統計分析や機械学習に適したデータ形式への変換は、分析の成功を左右する重要なスキルです。
📊 時系列データの高度な再構造化
# 時系列データの高度な再構造化
library(tidyverse)
library(lubridate)
# 複雑な時系列データの例
raw_sales <- tibble(
date = rep(seq(ymd("2023-01-01"), ymd("2023-12-31"), by = "month"), 3),
region = rep(c("North", "South", "East"), each = 12),
product_A = runif(36, 1000, 5000),
product_B = runif(36, 800, 4000),
product_C = runif(36, 1200, 6000)
)
# 分析用のロング形式に変換
long_sales <- raw_sales %>%
pivot_longer(
cols = starts_with("product_"),
names_to = "product",
values_to = "sales",
names_prefix = "product_"
) %>%
mutate(
year = year(date),
month = month(date, label = TRUE),
quarter = quarter(date, with_year = TRUE)
)
# 比較分析用のワイド形式に変換
comparative_analysis <- long_sales %>%
pivot_wider(
names_from = region,
values_from = sales,
names_prefix = "region_"
) %>%
mutate(
# 地域間格差の計算
north_south_ratio = region_North / region_South,
total_sales = region_North + region_South + region_East,
max_region = pmax(region_North, region_South, region_East)
)
🧬 ネストされたデータの高度な操作
# ネストされたデータの高度な操作
library(tidyverse)
library(broom)
# 複雑な階層データの処理
customer_data <- tibble(
customer_id = rep(1:100, each = 12),
month = rep(1:12, 100),
purchases = rpois(1200, 3),
amount = purchases * runif(1200, 50, 200),
segment = sample(c("Premium", "Standard", "Basic"), 1200, replace = TRUE)
)
# 顧客セグメント別の分析
nested_analysis <- customer_data %>%
group_by(segment, customer_id) %>%
summarise(
total_amount = sum(amount),
avg_monthly = mean(amount),
.groups = "drop_last"
) %>%
nest(customer_data = -segment) %>%
mutate(
# 各セグメントの統計サマリー
summary_stats = map(customer_data, ~ {
tibble(
n_customers = nrow(.x),
mean_ltv = mean(.x$total_amount),
median_ltv = median(.x$total_amount),
sd_ltv = sd(.x$total_amount)
)
}),
# 回帰分析（月次傾向）
trend_model = map(customer_data, ~ lm(total_amount ~ avg_monthly, data = .x)),
model_summary = map(trend_model, broom::glance)
)
🔍 欠損値の高度な処理戦略
# 欠損値の高度な処理戦略
library(tidyverse)
library(VIM)
# 欠損値パターンの分析
analyze_missing_patterns <- function(data) {
data %>%
summarise_all(~ sum(is.na(.))) %>%
pivot_longer(everything(), names_to = "variable", values_to = "missing_count") %>%
mutate(missing_pct = missing_count / nrow(data) * 100) %>%
arrange(desc(missing_pct))
}
# 条件付き欠損値補完
smart_imputation <- function(data, group_vars, target_var) {
data %>%
group_by(across(all_of(group_vars))) %>%
mutate(
# グループ内平均で補完
{{target_var}} := coalesce({{target_var}}, mean({{target_var}}, na.rm = TRUE))
) %>%
ungroup() %>%
mutate(
# 全体平均で補完（グループ内で補完できない場合）
{{target_var}} := coalesce({{target_var}}, mean({{target_var}}, na.rm = TRUE))
)
}
# 欠損値フラグの作成
create_missing_flags <- function(data) {
data %>%
mutate_all(list(missing = ~ as.numeric(is.na(.))))
}
💡 実践的アドバイス
📊 データ再構造化のコツ
- 目的を明確にする：どの分析手法に使うかで最適な形式が決まる
- メモリ効率を考慮：大きなデータセットでは処理順序が重要
- 検証を怠らない：変換前後でデータの整合性を確認
- 再現可能性を確保：変換ステップを関数化して文書化
- エラーハンドリング：想定外のデータ構造に対応する
これらの高度なデータ再構造化技法により、複雑な実世界のデータを分析に適した形式に効率的に変換できるようになります。
次の章では、テキストデータの処理技法を学びましょう。