テキスト処理の魔法

# stringrの読み込み（tidyverseに含まれる） library(stringr) library(dplyr) # stringrの基本理念： # - 関数名が一貫している（str_で始まる） # - 最初の引数は常に文字列 # - 正規表現をサポート # - ベクトル化に対応

# 顧客メールアドレスのサンプルデータ customer_data <- data.frame( id = 1:6, email = c( " tanaka@example.com ", "SATO@GMAIL.COM", "yamada.taro@company.co.jp", "invalid-email", "suzuki123@outlook.com", "" ) ) # 1. データクリーニング cleaned_data <- customer_data %>% mutate( # 前後の空白を削除 email_clean = str_trim(email), # 小文字に統一 email_lower = str_to_lower(email_clean), # 有効なメールアドレスかチェック is_valid = str_detect(email_lower, "^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$"), # ドメイン部分を抽出 domain = str_extract(email_lower, "@(.+)$") %>% str_remove("@"), # ユーザー名部分を抽出 username = str_extract(email_lower, "^[^@]+") ) print(cleaned_data)

# 顧客レビューデータ reviews <- data.frame( id = 1:5, text = c( "この商品は素晴らしい！価格も￥2,980と手頃で、品質も最高です。★★★★★", "配送が遅くてがっかりしました。3週間も待たされて...★★☆☆☆", "普通の商品です。特に良くも悪くもない。価格は￥1,500でした。", "最悪！返品したい！お金の無駄でした。電話番号03-1234-5678に連絡済み。", "とても満足しています♪リピート確定です！メール送信：info@example.com" ) ) # テキストマイニング処理 analyzed_reviews <- reviews %>% mutate( # 価格情報を抽出 price = str_extract(text, "￥[0-9,]+"), # 星評価を抽出 stars = str_count(text, "★"), # 感情語を検出 positive = str_detect(text, "素晴らしい|最高|満足|良い"), negative = str_detect(text, "がっかり|最悪|悪い|遅い"), # 連絡先情報を抽出 phone = str_extract(text, "\\d{2,3}-\\d{4}-\\d{4}"), email = str_extract(text, "[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}"), # 文字数 char_count = str_length(text), # 感情スコア算出 sentiment_score = case_when( positive & !negative ~ 1, !positive & negative ~ -1, TRUE ~ 0 ) ) print(analyzed_reviews)

# Webサーバーログの分析 log_data <- data.frame( log_entry = c( "2023-12-01 14:23:45 192.168.1.100 GET /api/users 200 1.2ms", "2023-12-01 14:24:10 10.0.0.25 POST /api/login 401 0.8ms", "2023-12-01 14:25:33 203.104.15.200 GET /api/products 500 5.7ms", "2023-12-01 14:26:01 172.16.0.10 DELETE /api/users/123 204 2.1ms" ) ) # 正規表現でログを構造化 parsed_logs <- log_data %>% mutate( # 日時を抽出 datetime = str_extract(log_entry, "\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2}"), # IPアドレスを抽出 ip_address = str_extract(log_entry, "\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}"), # HTTPメソッドを抽出 method = str_extract(log_entry, "\\b(GET|POST|PUT|DELETE|PATCH)\\b"), # URLパスを抽出 path = str_extract(log_entry, "/[a-zA-Z0-9/_]+"), # ステータスコードを抽出 status_code = str_extract(log_entry, "\\b[1-5]\\d{2}\\b") %>% as.numeric(), # レスポンス時間を抽出 response_time = str_extract(log_entry, "\\d+\\.\\d+ms") %>% str_remove("ms") %>% as.numeric(), # エラーかどうかを判定 is_error = status_code >= 400, # IPアドレスの分類 ip_type = case_when( str_detect(ip_address, "^192\\.168\\.") ~ "Private", str_detect(ip_address, "^10\\.") ~ "Private", str_detect(ip_address, "^172\\.(1[6-9]|2[0-9]|3[01])\\.") ~ "Private", TRUE ~ "Public" ) ) print(parsed_logs)