第 08 章 · 数据操作对照：DATA 步 / PROC SQL → pandas

data adsl2;
    set adsl;
    where SAFFL = 'Y' and AGE >= 65;
run;

adsl2 = adsl[(adsl["SAFFL"] == "Y") & (adsl["AGE"] >= 65)]
# 或（推荐，可读性更好）
adsl2 = adsl.query("SAFFL == 'Y' and AGE >= 65")

data adsl2; set adsl;
    if AGE < 65 then AGEGR1 = '<65';
    else if AGE <= 80 then AGEGR1 = '65-80';
    else AGEGR1 = '>80';

    /* 数值派生 */
    BMI = WEIGHTBL / (HEIGHTBL/100)**2;

    /* 字符函数 */
    SITEID2 = substr(USUBJID, 4, 3);
run;

adsl2 = adsl.copy()

# 多条件分支
adsl2["AGEGR1"] = np.select(
    [adsl2["AGE"] < 65, adsl2["AGE"] <= 80],
    ["<65", "65-80"],
    default=">80",
)

# 数值派生
adsl2["BMI"] = adsl2["WEIGHTBL"] / (adsl2["HEIGHTBL"] / 100) ** 2

# 字符函数（pandas 的 .str 访问器 = SAS 字符函数）
adsl2["SITEID2"] = adsl2["USUBJID"].str.slice(3, 6)      # substr(x, 4, 3)

data want;
    set have (keep=USUBJID AGE SEX rename=(AGE=AGEBL));
    length AGEGR1 $10;
run;

# keep + rename 一步完成
want = have[["USUBJID", "AGE", "SEX"]].rename(columns={"AGE": "AGEBL"})

# 用列表管理（临床程序推荐：把变量清单集中声明，便于 QC）
KEEP_VARS = ["USUBJID", "AGE", "SEX"]
RENAME = {"AGE": "AGEBL"}
want = have[KEEP_VARS].rename(columns=RENAME)

# 删除若干列
df = df.drop(columns=["TEMP", "X1"])

# 按模式删除
df = df.drop(columns=[c for c in df.columns if c.startswith("_")])

# 长度语义：Python 字符串没有固定长度
#   要补空格 → .str.pad(n)；要去尾空格 → .str.rstrip()

len(df)               # nobs
df.shape[0]           # nobs
df.index              # 行号（对应 _N_-1）
df["rowno"] = range(1, len(df) + 1)      # 显式加 _N_

data all;
    set ae_ds ae_drug;      /* 纵向堆叠，按列名对齐 */
run;

# axis=0 表示纵向堆叠；ignore_index 重新编号（否则行号会重复）
all_df = pd.concat([ae_ds, ae_drug], axis=0, ignore_index=True)

# 保留来源标记（对应 SAS 的 in= 选项）—— QC 常用
all_df = pd.concat(
    [ae_ds.assign(_SOURCE="ae"), ae_drug.assign(_SOURCE="drug")],
    axis=0, ignore_index=True,
)

/* SAS：必须先排序 */
proc sort data=adsl; by USUBJID; run;
proc sort data=adex;  by USUBJID; run;

data adam;
    merge adsl (in=a) adex;
    by USUBJID;
    if a;                    /* 左连接：只保留 adsl 中的受试者 */
run;

# pandas：不需要预排序
adam = pd.merge(adsl, adex, on="USUBJID", how="left")

# 保留来源标记（对应 in=a / in=b）
adam = pd.merge(adsl, adex, on="USUBJID", how="left", indicator=True)
adam["_merge"].value_counts()
# both          300
# left_only       6      ← 这些是 adsl 有、adex 没有的（QC 关注点）

# 连接键名称不同时（对应 SAS 的 rename=）
merged = pd.merge(a, b, left_on="USUBJID", right_on="SUBJID", how="left")

# 多键连接（对应 by USUBJID VISITNUM）
merged = pd.merge(a, b, on=["USUBJID", "VISITNUM"], how="left")

# 避免列名冲突（对应 SAS 的变量覆盖警告）
merged = pd.merge(a, b, on="USUBJID", suffixes=("_ADSL", "_ADEX"), how="left")

merged = pd.merge(a, b, on="USUBJID", how="cross")   # 或 how="inner" 但先 validate=None
# 显式声明允许的关系（推荐，相当于写文档）
merged = pd.merge(a, b, on="USUBJID", how="inner",
                  validate="many_to_many")

proc sort data=ae out=ae2 nodupkey; by USUBJID AEDECOD; run;

# 排序
ae2 = ae.sort_values(["USUBJID", "AEDECOD"])

# 混合升降序（对应 by USUBJID descending AEDECOD）
ae2 = ae.sort_values(["USUBJID", "AEDECOD"], ascending=[True, False])

# 去重（保留第一条）—— 对应 nodupkey
ae2 = ae.drop_duplicates(subset=["USUBJID", "AEDECOD"], keep="first")

# 保留最后一条（对应 SAS 的 if last.xxx）
ae2 = ae.drop_duplicates(subset=["USUBJID", "AEDECOD"], keep="last")

# 找出重复记录（QC 用）
dups = ae[ae.duplicated(subset=["USUBJID", "AEDECOD"], keep=False)]

# 保留每组某列最大/最小的那条（SAS 里要 sort + first.，pandas 一行）
latest = ae.sort_values("VISITNUM").drop_duplicates("USUBJID", keep="last")

proc means data=adsl n mean std min max median maxdec=2;
    class TRT01P AGEGR1;
    var AGE;
run;

# 基础版
adsl.groupby(["TRT01P", "AGEGR1"])["AGE"].agg(["count", "mean", "std", "min", "max", "median"])

# 自定义聚合（推荐：用命名聚合，输出列名可控，便于后续报表）
summary = adsl.groupby("TRT01P")["AGE"].agg(
    N="count",
    Mean="mean",
    SD="std",
    Min="min",
    Max="max",
    Median="median",
)

# 多变量 + 多统计量
summary = adsl.groupby("TRT01P").agg(
    N=("USUBJID", "nunique"),
    AGE_MEAN=("AGE", "mean"),
    AGE_SD=("AGE", "std"),
    BMI_MEAN=("BMI", "mean"),
)

# SAS 的 n / nmiss 对照
adsl.groupby("TRT01P")["AGE"].agg(
    N="count",                       # 非缺失个数
    NMISS=lambda s: s.isna().sum(),
)

# 让缺失值单独成组（对应 SAS 的 class 显示 .）
df.groupby("TRT01P", dropna=False)["AGE"].mean()

# 输出成"扁平"表格（不把分组键变索引）—— 报表场景几乎都要
summary = adsl.groupby("TRT01P", as_index=False)["AGE"].mean()

# 让所有组合都出现（补 0）——对应 SAS 的 COMPLETETYPES
pivot = df.pivot_table(index="AGEGR1", columns="TRT01P", values="USUBJID",
                       aggfunc="count", fill_value=0)

adsl["AGE_RANK"] = adsl["AGE"].rank(ascending=False, method="min")
adsl["AGE_RANK_GRP"]  = adsl["AGE"].rank(pct=True)              # 百分位
adsl["AGE_QUARTILE"]  = pd.qcut(adsl["AGE"], 4, labels=["Q1","Q2","Q3","Q4"])
adsl["GRP_RANK"]      = adsl.groupby("TRT01P")["AGE"].rank()     # 组内排名

proc freq data=adsl;
    tables TRT01P * AGEGR1 / nocol norow nopercent missing;
run;

# 单变量频数
adsl["TRT01P"].value_counts(dropna=False)
adsl["TRT01P"].value_counts(normalize=True).round(4)      # 占比

# 交叉表（对应 tables A * B）
pd.crosstab(adsl["TRT01P"], adsl["AGEGR1"])

# 含缺失值 + 加合计
pd.crosstab(adsl["TRT01P"], adsl["AGEGR1"], dropna=False, margins=True)

# 长格式输出（更适合后续拼装报表）
freq = (adsl.groupby(["TRT01P", "AGEGR1"], dropna=False)
             .size().reset_index(name="N"))

proc sql;
    create table want as
    select  USUBJID,
            TRT01P,
            AGE,
            case when AGE >= 65 then 'Y' else 'N' end as ELDERLY,
            count(distinct AEDECOD) as N_AE
    from    adsl as a
            left join adae as b
              on a.USUBJID = b.USUBJID
    where   a.SAFFL = 'Y'
    group by USUBJID, TRT01P, AGE
    having  count(distinct AEDECOD) > 0
    order by TRT01P, AGE desc;
quit;

# SQL 风格的等长链式写法（pandas 推荐）
want = (
    pd.merge(adsl, adae, on="USUBJID", how="left")
      .query("SAFFL == 'Y'")
      .assign(ELDERLY=lambda d: np.where(d["AGE"] >= 65, "Y", "N"))
      .groupby(["USUBJID", "TRT01P", "AGE"], as_index=False)
      .agg(N_AE=("AEDECOD", "nunique"))
      .query("N_AE > 0")
      .sort_values(["TRT01P", "AGE"], ascending=[True, False])
      [["USUBJID", "TRT01P", "AGE", "ELDERLY", "N_AE"]]
)

# 分步写（更好调试，推荐给临床程序——每一步可 print 核对）
step1 = pd.merge(adsl, adae, on="USUBJID", how="left")
step2 = step1.query("SAFFL == 'Y'")
step3 = step2.groupby("TRT01P", as_index=False).agg(N=("USUBJID", "nunique"))

# 链式写（更紧凑，但出错时难定位）
result = (pd.merge(adsl, adae, on="USUBJID", how="left")
            .query("SAFFL == 'Y'")
            .groupby("TRT01P", as_index=False)
            .agg(N=("USUBJID", "nunique")))

proc sort data=lb; by USUBJID VISITNUM; run;
data lb2; set lb;
    by USUBJID;
    if first.USUBJID then FLAG = 'Y';   /* 每个受试者的第一条 */
    if last.USUBJID  then ENDF = 'Y';   /* 每个受试者的最后一条 */
run;

lb2 = lb.sort_values(["USUBJID", "VISITNUM"])

# 方法 1：cumcount（推荐，直观）
lb2["_rn"] = lb2.groupby("USUBJID").cumcount()          # 组内序号，0 开始
lb2["FLAG"] = lb2["_rn"] == 0                           # 第一条
n_per_subj = lb2.groupby("USUBJID")["USUBJID"].transform("size")
lb2["ENDF"] = lb2["_rn"] == n_per_subj - 1               # 最后一条

# 方法 2：保留每组第一条/最后一条记录（更常用）
first_rec = lb2.drop_duplicates("USUBJID", keep="first")
last_rec  = lb2.drop_duplicates("USUBJID", keep="last")

data lb2; set lb;
    retain BASE;
    if FIRST.VISITNUM then BASE = AVAL;      /* 首次访视作为基线 */
run;

# 取每组第一个值并广播回所有行（不是循环！）
lb["BASE"] = lb.groupby("USUBJID")["AVAL"].transform("first")

# 用基线访视的值（更严谨：按 ABLFL='Y' 标记）
base = lb.loc[lb["ABLFL"] == "Y", ["USUBJID", "AVAL"]].rename(columns={"AVAL": "BASE"})
lb = pd.merge(lb, base, on="USUBJID", how="left")

# 向下填充（真正的 retain 语义：用上一个非缺失值）
df["LASTFILLED"] = df["VALUE"].ffill()

# 组内向下填充
df["LASTFILLED"] = df.groupby("USUBJID")["VALUE"].ffill()

# 组内累计（对应 retain + sum 语句）
df["CUMSUM"] = df.groupby("USUBJID")["DOSE"].cumsum()
df["CUMMAX"] = df.groupby("USUBJID")["AVAL"].cummax()

data lb2; set lb;
    prev = lag(AVAL);
    chg  = dif(AVAL);
run;

df["PREV"] = df["AVAL"].shift(1)                 # lag(AVAL)
df["CHG"]  = df["AVAL"].diff()                   # dif(AVAL)
df["CHG2"] = df["AVAL"] - df["AVAL"].shift(2)     # lag2

# ⚠️ 关键差异：pandas 的 shift 不考虑 BY 组！
# 组内 shift 必须先排序，再用 groupby().shift()
df = df.sort_values(["USUBJID", "VISITNUM"])
df["PREV"] = df.groupby("USUBJID")["AVAL"].shift(1)

proc format;
    value $sexf
        'F' = 'Female'
        'M' = 'Male'
        other = 'Unknown';
    value agegrp
        low -< 65 = '<65'
        65 - 80   = '65-80'
        80 <- high= '>80';
run;

# 离散映射 → dict + map（对应 value $sexf）
SEX_FMT = {"F": "Female", "M": "Male"}
df["SEX_DECODE"] = df["SEX"].map(SEX_FMT).fillna("Unknown")

# 或用 replace（保留未匹配的原值）
df["SEX_DECODE"] = df["SEX"].replace(SEX_FMT)

# 区间映射 → pd.cut（对应 value agegrp）
df["AGEGR1"] = pd.cut(df["AGE"], bins=[-np.inf, 65, 80, np.inf],
                      labels=["<65", "65-80", ">80"], right=False)

# 保留为"有顺序的分类"（对应 SAS format 的排序输出顺序）
TRT_ORDER = ["Placebo", "Xanomeline Low Dose", "Xanomeline High Dose"]
df["TRT01P"] = pd.Categorical(df["TRT01P"], categories=TRT_ORDER, ordered=True)
df.groupby("TRT01P", observed=False).size()      # 输出顺序 = TRT_ORDER

proc sort data=adsl; by USUBJID; run;
proc sort data=adae;  by USUBJID; run;

data want;
    merge adsl (in=a) adae (in=b);
    by USUBJID;
    if a;

    if AGE < 65 then AGEGR1 = '<65';
    else if AGE <= 80 then AGEGR1 = '65-80';
    else AGEGR1 = '>80';

    if not missing(AEDECOD) then HAS_AE = 'Y';
    else HAS_AE = 'N';
run;

proc means data=want n mean std maxdec=1;
    class TRT01P AGEGR1;
    var AGE;
run;

import numpy as np
import pandas as pd

# 1) 连接（不需要预先排序）
want = pd.merge(adsl, adae[["USUBJID", "AEDECOD"]], on="USUBJID", how="left")

# 2) 派生 AGEGR1
want["AGEGR1"] = np.select(
    [want["AGE"] < 65, want["AGE"] <= 80], ["<65", "65-80"], default=">80"
)

# 3) 派生 HAS_AE（注意 pandas 里字符缺失是 NaN，不是 ''）
want["HAS_AE"] = np.where(want["AEDECOD"].notna(), "Y", "N")

# 4) 分组汇总
summary = (want.groupby(["TRT01P", "AGEGR1"], as_index=False)
                .agg(N=("AGE", "count"), Mean=("AGE", "mean"), SD=("AGE", "std"))
                .round(1))

# 5) 核对
print(summary.to_string(index=False))