第 09 章 · 合并、重塑与分组汇总

proc transpose data=vs out=vs_wide prefix=VISIT;
    by USUBJID;
    id VISITNUM;
    var SYSBP;
run;
/* 结果列：USUBJID VISIT1 VISIT2 ... */

vs_wide = vs.pivot(index="USUBJID", columns="VISITNUM", values="SYSBP")

# 加上前缀美化列名（对应 prefix=VISIT）
vs_wide = vs_wide.add_prefix("VISIT")
vs_wide = vs_wide.reset_index()          # 把 USUBJID 从索引变回普通列

# ❌ 如果有重复组合，pivot 会报错
df.pivot(index="USUBJID", columns="VISIT", values="AVAL")

# ✅ 用 pivot_table 聚合（默认 aggfunc='mean'）
df.pivot_table(index="USUBJID", columns="VISIT", values="AVAL", aggfunc="mean")

# 临床报表最常用：统计每个治疗组在每个访视的均值（"表格"形态）
tbl = df.pivot_table(
    index="TRT01P", columns="VISIT",
    values="AVAL", aggfunc=["mean", "std"], fill_value="",
)
tbl.round(2)

# 策略 1：先聚合再 pivot（推荐，语义最清晰）
agg = df.groupby(["USUBJID", "VISIT"], as_index=False)["AVAL"].mean()
wide = agg.pivot(index="USUBJID", columns="VISIT", values="AVAL")

# 策略 2：直接 pivot_table
wide = df.pivot_table(index="USUBJID", columns="VISIT", values="AVAL", aggfunc="mean")

# 策略 3：找出重复（QC 用——为什么要重复？这是数据问题还是代码问题？）
dups = df[df.duplicated(["USUBJID", "VISIT"], keep=False)]
print(f"有 {dups['USUBJID'].nunique()} 个受试者存在重复访视记录")

/* SAS 里宽转长比较别扭，通常要写宏或用 DATA 步 + 数组 */
data long;
    set wide;
    array v{3} VISIT1-VISIT3;
    do i = 1 to 3;
        AVAL = v{i};
        VISIT = i;
        output;
    end;
    keep USUBJID AVAL VISIT;
run;

# pandas 一行搞定
long = wide.melt(
    id_vars=["USUBJID"],               # 保持不变的列（对应 keep）
    value_vars=["VISIT1", "VISIT2", "VISIT3"],   # 要"熔"成行的列
    var_name="VISIT",                  # 新列：原来列名放这里
    value_name="AVAL",                 # 新列：原来的值放这里
)

# 实用例：把多个结局变量一次性熔化
long = vs_wide.melt(
    id_vars=["USUBJID", "TRT01P"],
    value_vars=["SYSBP_V1", "SYSBP_V2", "DIABP_V1", "DIABP_V2"],
    var_name="PARAM_VISIT", value_name="AVAL",
)
# 再拆回两个变量（相当于 SAS 的 scan + 派生）
long[["PARAMCD", "VISIT"]] = long["PARAM_VISIT"].str.split("_", expand=True)

# 多级列
wide = df.pivot_table(index="USUBJID", columns="VISIT", values=["AVAL", "CHG"])
print(wide.columns)
# MultiIndex([('AVAL', 'VISIT1'), ('AVAL', 'VISIT2'), ('CHG', 'VISIT1'), ...])

# 把多级列"压平"成单层（最常用的技巧）
wide.columns = [f"{v}_{g}" for v, g in wide.columns]
# ['AVAL_VISIT1', 'AVAL_VISIT2', 'CHG_VISIT1', ...]

# 或者更简单：
wide.columns = wide.columns.map("_".join)

# 多级索引
summary = adsl.groupby(["TRT01P", "AGEGR1"])["AGE"].mean()
# TRT01P                  AGEGR1
# Placebo                 <65       62.5
#                        65-80     72.1
# ...

# 压平成普通表格（报表几乎都要这一步）
flat = summary.reset_index()

# 转成宽表（等价 SAS PROC MEANS 输出的"交叉表"形态）
wide = summary.unstack(level="AGEGR1")
wide.columns = wide.columns.droplevel(0)     # 去掉多余的层级

mi = df.groupby(["TRT01P", "AGEGR1", "SEX"])["AGE"].mean()

mi.reset_index()                        # 多级索引 → 普通列（最常用）
mi.unstack("SEX")                       # 把某层"转"成列
mi.droplevel(0)                         # 丢掉某一层
mi.swaplevel(0, 1)                      # 交换两层
mi.sort_index()                         # 按索引层级排序

/* SAS：即使某个治疗组中某年龄段没有受试者，也会输出 0 行 */
proc freq data=adsl;
    tables TRT01P * AGEGR1 / nocol norow nopercent;
run;

# pandas：不存在的组合直接消失
adsl.groupby(["TRT01P", "AGEGR1"]).size()
# 问题：Xanomeline Low Dose + >80 这一组合不存在 → 整行消失

# ✅ 解法 1：用 Categorical 声明完整取值 + crosstab（推荐）
trts = ["Placebo", "Xanomeline Low Dose", "Xanomeline High Dose"]
agegrs = ["<65", "65-80", ">80"]

tab = pd.crosstab(
    pd.Categorical(adsl["TRT01P"], categories=trts),
    pd.Categorical(adsl["AGEGR1"], categories=agegrs),
    dropna=False,
)
# 结果：3×3 完整矩阵，空组显示 0

# ✅ 解法 2：reindex 补齐
full_index = pd.MultiIndex.from_product([trts, agegrs], names=["TRT01P", "AGEGR1"])
counts = adsl.groupby(["TRT01P", "AGEGR1"]).size().reindex(full_index, fill_value=0)

# 累计（对应 retain + sum）
df["CUMSUM"] = df.groupby("USUBJID")["AVAL"].cumsum()
df["CUMMAX"] = df.groupby("USUBJID")["AVAL"].cummax()
df["CUMNUM"] = df.groupby("USUBJID").cumcount() + 1

# 滚动平均（移动窗口）
df["MA3"] = df["AVAL"].rolling(3).mean()                  # 3 期移动平均
df["MA3_GRP"] = df.groupby("USUBJID")["AVAL"].rolling(3).mean().reset_index(0, drop=True)

# 扩展窗口（从第一行累加到当前行）
df["EXPAND_MEAN"] = df["AVAL"].expanding().mean()

# 指数加权（临床试验里偶尔用于趋势平滑）
df["EWM"] = df["AVAL"].ewm(span=3).mean()

# 逐行最大值/最小值（对应 SAS 的 max(of x1-x5)）
value_cols = ["SYSBP1", "SYSBP2", "SYSBP3"]
df["MAXBP"] = df[value_cols].max(axis=1)        # axis=1 = 按行
df["MINBP"] = df[value_cols].min(axis=1)
df["MEANBP"] = df[value_cols].mean(axis=1)
df["NBP"] = df[value_cols].count(axis=1)        # 非缺失个数
df["N_MISS"] = df[value_cols].isna().sum(axis=1)

# 逐行求和（对应 SAS 的 sum(of x1-x5)，注意 SAS 把缺失当 0）
df["TOTAL"] = df[value_cols].sum(axis=1, skipna=True)   # skipna=True ≈ SAS 行为

# 逐行首/末非缺失值
df["FIRST_NN"] = df[value_cols].bfill(axis=1).iloc[:, 0]
df["LAST_NN"]  = df[value_cols].ffill(axis=1).iloc[:, -1]

from pathlib import Path
import pandas as pd

BASE = Path(__file__).resolve().parent.parent
adae = pd.read_csv(BASE / "data" / "samples" / "adae.csv")

# --- 步骤 1：准备分析人群（安全性人群 + 治疗中出现的事件）---
saf = pd.read_csv(BASE / "data" / "samples" / "adsl.csv").query("SAFFL == 'Y'")
saf = saf[["USUBJID", "TRT01P"]]
adae = adae.merge(saf, on="USUBJID", how="inner")

# 只保留治疗中出现的不良事件（TEAE）
teae = adae.query("TRTEMFL == 'Y'").copy() if "TRTEMFL" in adae.columns else adae

# --- 步骤 2：受试者层级去重（同一受试者同一 PT 只算一次）---
# 这是 AE 表的核心逻辑：分子是"受试者数"而不是"事件数"
subj_pt = teae.drop_duplicates(["USUBJID", "TRT01P", "AEBODSYS", "AEDECOD"])

# --- 步骤 3：按 SOC + PT 计数 ---
n_by_group = saf.groupby("TRT01P")["USUBJID"].nunique()   # 分母：各组人数

counts = (subj_pt.groupby(["AEBODSYS", "AEDECOD", "TRT01P"])
                 .size().rename("N").reset_index())

# --- 步骤 4：长 → 宽（每个治疗组一列）---
wide = counts.pivot_table(
    index=["AEBODSYS", "AEDECOD"], columns="TRT01P",
    values="N", aggfunc="sum", fill_value=0,
).reset_index()

# --- 步骤 5：算百分比并格式化成 "n (%)" ---
trt_cols = [c for c in wide.columns if c not in ("AEBODSYS", "AEDECOD")]
for c in trt_cols:
    wide[c] = wide[c].apply(lambda n: f"{n} ({n / n_by_group[c] * 100:.1f}%)" if n else "0")

print(wide.head(20).to_string(index=False))