options(omicslake.vignette.eval = TRUE)

library(OmicsLake)

# プロジェクトを作成/開く
lake <- Lake$new("my_analysis")

# または、グローバルショートカットを使用
use_lake("my_analysis")

# データフレームを保存
counts <- data.frame(
    gene_id = paste0("GENE", 1:100),
    sample_A = rpois(100, 50),
    sample_B = rpois(100, 60)
)
lake$put("counts", counts)

# R オブジェクトも保存可能
params <- list(
    method = "TMM",
    log_transform = TRUE,
    threshold = 0.05
)
lake$put("analysis_params", params)

# 読み込み
data <- lake$get("counts")
my_params <- lake$get("analysis_params")

# SQL不要！Formula構文でフィルタ
high_expr <- lake$get("counts", where = ~ sample_A > 50)

# カスタム演算子も使用可能
mito_genes <- lake$get("counts", where = ~ gene_id %like% "MT-%")

# 複合条件
filtered <- lake$get("counts",
    where = ~ sample_A > 30 & sample_B %between% c(40, 80)
)

# カラム選択も同時に
subset <- lake$get("counts",
    where = ~ sample_A > 50,
    select = c("gene_id", "sample_A")
)

# lake$ref() で遅延参照を取得
# dplyrパイプ中の依存関係は自動追跡される！
library(dplyr)

lake$ref("counts") |>
    filter(sample_A > 30) |>
    mutate(
        mean_expr = (sample_A + sample_B) / 2,
        log2_ratio = log2(sample_B / sample_A)
    ) |>
    arrange(desc(mean_expr)) |>
    save_as("processed_counts", lake)

# リネージを確認
lake$tree("processed_counts")
# counts -> processed_counts

# メタデータを追加
metadata <- data.frame(
    gene_id = paste0("GENE", 1:100),
    gene_name = paste0("Gene_", LETTERS[1:4])[rep(1:4, 25)],
    biotype = sample(c("protein_coding", "lncRNA"), 100, replace = TRUE)
)
lake$put("gene_metadata", metadata)

# dplyrでJOIN
lake$ref("counts") |>
    left_join(lake$ref("gene_metadata"), by = "gene_id") |>
    filter(biotype == "protein_coding") |>
    group_by(gene_name) |>
    summarize(total_A = sum(sample_A), total_B = sum(sample_B)) |>
    save_as("gene_summary", lake)

# 依存関係は自動追跡
lake$tree("gene_summary")
# counts -----> gene_summary
# gene_metadata ↗

# 現在の状態をスナップショット
lake$snap("v1.0_raw_data")

# データを更新
normalized <- lake$get("counts")
normalized$sample_A <- log2(normalized$sample_A + 1)
normalized$sample_B <- log2(normalized$sample_B + 1)
lake$put("counts", normalized)

lake$snap("v1.1_normalized")

# 個別データにタグ付け
lake$tag("counts", "before_normalization")

# 過去バージョンを取得
original <- lake$get("counts", ref = "@tag(before_normalization)")

# スナップショットに復元
lake$restore("v1.0_raw_data")

# プロジェクト履歴
lake$log()

# 特定データの履歴
lake$log("counts")

# スナップショット一覧
lake$snaps()

# 上流の依存関係（このデータは何から作られた？）
lake$deps("gene_summary", direction = "up")

# 下流の依存関係（このデータは何に使われている？）
lake$deps("counts", direction = "down")

# 完全なリネージツリー
lake$tree("gene_summary", direction = "up", depth = 10)

# 影響分析（このデータを変更すると何が影響を受ける？）
lake$impact("counts")

# グラフとして可視化（igraphパッケージが必要）
lake$plot("gene_summary", direction = "both")

# 既存のスクリプトを観察モードで実行
result <- observe({
    data <- read.csv("input_data.csv")
    processed <- data[data$value > 0, ]
    write.csv(processed, "output_data.csv")
})

# 読み書きされたファイルが記録される
print(result$reads)
print(result$writes)
print(result$lineage)

# 既存の関数をラップ
normalize_data <- function(x) {
    x$normalized <- scale(x$value)
    x
}

tracked_normalize <- wrap_fn(normalize_data, lake, "normalized_result")

# ラップされた関数を使用 - 自動的にリネージ記録
result <- tracked_normalize(my_data)

pipeline <- create_pipeline(lake, "preprocessing")

pipeline$
    step("load", function() read.csv("data.csv"))$
    step("clean", function(data) na.omit(data))$
    step("normalize", function(data) {
    data$value <- scale(data$value)
    data
})$
    step("filter", function(data) data[data$quality > 0.8, ])

result <- pipeline$run()

# 各ステップがLakeに記録される
lake$tree("preprocessing.filter")

sessionInfo()