Macro-Output Query(Edit Check Macro)

愉快的周末又要结束了，繁忙的周一也即将开始！小编今天给大家Share的一个Macro是关于临床数据清理中的一个实用性的Macro,SAS Edit Check Output Query. -- Setup

背景介绍

临床试验数据清洗

小编曾从事临床试验数据清洗编程的工作，

虽然跳槽换了title，但是暂时本质还是一样...后面应该会变。。。还是回到主题上来。

什么是数据清洗？

在临床试验中，对试验数据进行前期的清理与逻辑核查，一般在数据清洗完成后在进行数据库的Database Lock ，Lock后的DataSet在交由统计师以及相关的编程人员进行统计分析，出相应的TFL等。

清理的目的？

为了后期统计分析的效果与质量，不管是在CRO还是在药厂，一般都是会有专门的数据部门存在，负责数据的清理。今天这个Macro就是用来帮助数据清理的。

在说程序前，还是要说一个东西，DVP（Data Validation Plan，数据验证计划）是由数据部门的ＤＭ编写，里面的是对临床试验收集的数据点进行验证的规则及其描述，SAS Programmer/Database Designer会更具DVP来实现一条一条的Edit Check,Edit Check 又分Online 和offline俩种，由于今年EDC系统的更新换代，很多核查都以及Online了，对于Offline的核查多是paper的项目与一些Online实现不了的核查，通过Edit Check核查出来的东西叫做Query，回有DM反馈给研究者，再由研究者解答疑问或者反馈会正确的数据。

说了半天还没说这个Macro是干嘛的，这个Macro就是用来写Edit Check的，更加便捷的输出Query。

Macro可以干嘛

跨表单执行逻辑核查，自动抓取变量的值，统一输出样式，批量执行Edit Check等等。。（见下图Macro简单的使用描述）

Excel模板

执行Log

执行结果

看Code

小编也知道，Code排版肯定会很烂，不要着急，文章结尾会给大家附上百度网盘链接，可以直接下载Code与Template，程序也可以直接使用。。我好像太帅了~

%macroChkQueryOutput(CheckData=,ChkLib=,SubjidKey=,VisitKey=,PageKey=);

Optionsmsglevel=N nomprint nonotes;

%put ;

%put ;

%put 开始执行！;

%put ;

%put ;

/*获取待核查逻辑库下的变量并进行预处理找出包含Format的变量*/

Proc contentsdata=&ChkLib.._all_ Out=FMTData(keep=MEMNAME name FORMAT) noprint;run;

proc sortdata=FMTData out=FMTData nodupkey; by_all_;run;

data FMTData;/**/

set FMTData;

name=upcase(name);

ifmissing(FORMAT) or FORMAT='$' then delete;

FORMAT=cats(FORMAT,'.');

if FORMAT="YYMMDD." Then FORMAT="YYMMDD10.";

DName=cats(MEMNAME,'.',NAME);

Output=cats("put(",name,",",FORMAT,")");

DOutput=cats("{put(",Dname,",",FORMAT,")}");

run;

%let dsid=%sysfunc(open(FMTData));/*获取FMTData数据集的观测为替换变量做准备*/

%let FMT1=%sysfunc(attrn(&dsid,nobs));/*nobs为观测数*/

%let rc= %sysfunc(close(&dsid));

data _null_;

set FMTData;

call symput('FNM'||compress(put(_n_,best.)),strip(Dname));

call symput('FOM'||compress(put(_n_,best.)),strip(DOutput));

run;

/*预处理EC不规范*/

data &CheckData. &CheckData._e;

set &CheckData.;

Deugw=count(QUERY,'{');

Deugm=count(QUERY,'}');/*判断{}是否是成对出现以及QUERY中是否包含英文双引号*/

ifDeugw-Deugm^=0 then output &CheckData._e;

/* if count(QUERY,'"')>0 or Deugw-Deugm^=0 orcount(Description,'"')>0 thenoutput &CheckData._e;*/

else output&CheckData.;

drop Deugw Deugm;

run;

data _null_;

set&CheckData._e;

call symput('deug'||compress(put(_n_,best.)),strip(DVPCODE));

run;

%let dsid=%sysfunc(open(&CheckData._e));

%let nobs7=%sysfunc(attrn(&dsid,nobs));

%let rc= %sysfunc(close(&dsid));

proc deletedata=&CheckData._e;quit;

%do k=1%to &nobs7.;

%put EC中QUERY填写不规范的DVP：&&deug&k.(DVP中包含“{}”不是成对出现),请核实;

%put ;

%put ;

%end;

dataCheckData_1;

set &CheckData.;

Description=tranwrd(Description,'"', '""');

QUERY=tranwrd(QUERY,'"', '""');

Query=Cats('Cats("',QUERY,'")');

%do i=1%to &FMT1.;

QUERY=tranwrd(QUERY,"{&&FNM&i.}","&&FOM&i.");

%end;

QUERY=tranwrd(QUERY,"{", '",');

QUERY=tranwrd(QUERY,"}", ',"');

run;

proc sqlUNDO_POLICY=NONE;

create tableCheckData_1 as

selectdistinct *

from CheckData_1

;

quit;

data _null_;

setCheckData_1;

call symput('ChkMainDATA'||compress(put(_n_,best.)),strip(DOMAIN));/*创建宏变量：获取主数据集*/

call symput('ChkDvpCode'||compress(put(_n_,best.)),strip(DVPCODE));/*创建宏变量：获取DVP编号*/

call symput('ChkSEQ'||compress(put(_n_,best.)),strip(SEQ));/*创建宏变量：获取SEQ(针对同条DVP拆分多种情况)*/

call symput('ChkDesc'||compress(put(_n_,best.)),strip(Description));/*创建宏变量：获取DM给到的DVP描述*/

call symput('ChkCondt'||compress(put(_n_,best.)),strip(Condition));/*创建宏变量：获取核查条件*/

call symput('ChkQUERY'||compress(put(_n_,best.)),strip(QUERY));/*创建宏变量：获取输出QUERY描述部分*/

call symput('ChkOtherSet'||compress(put(_n_,best.)),strip(OtherSet));/*创建宏变量：获取垮表单数据集*/

run;

/*获取EC条数以便进行循环*/

%let dsid=%sysfunc(open(CheckData_1));

%let nobs1=%sysfunc(attrn(&dsid,nobs));

%let rc= %sysfunc(close(&dsid));

proc deletedata=work.CheckData_1 FMTDATA;quit;

%do i=1%to &nobs1.;/*建立循环：从第一条EC开始循环*/

%let CDataSet1=%sysfunc(compress(%qscan(&&ChkOtherSet&i.,1,' ')));

%let CDataSet2=%sysfunc(compress(%qscan(&&ChkOtherSet&i.,2,' ')));

%let CDataSet3=%sysfunc(compress(%qscan(&&ChkOtherSet&i.,3,' ')));

%let CDataSet4=%sysfunc(compress(%qscan(&&ChkOtherSet&i.,4,' ')));

%let CDataSet5=%sysfunc(compress(%qscan(&&ChkOtherSet&i.,5,' ')));

%let CDataSet6=%sysfunc(compress(%qscan(&&ChkOtherSet&i.,6,' ')));

proc copyin=&ChkLib. out=Work; select&&ChkMainDATA&i. &&ChkOtherSet&i. ;run;

proc sqlUNDO_POLICY=NONE;/*where语句核查情况*/

create tableChk_Shun as

select &&ChkMainDATA&i...&SubjidKey.,&&ChkMainDATA&i...&VisitKey. ,&&ChkMainDATA&i...&PageKey. ,

"&&ChkDvpCode&i." as DVP_CODE length=200,"&&ChkDesc&i." as DECL length=2000,&&ChkQUERY&i.as Query length=2000

from&&ChkMainDATA&i.

%if%length(&CDataSet1.)^=0%then%do;

full join&CDataSet1. on &&ChkMainDATA&i...&SubjidKey.=&CDataSet1..&SubjidKey.

%end;

%if%length(&CDataSet2.)^=0%then%do;

full join&CDataSet2. on &&ChkMainDATA&i...&SubjidKey.=&CDataSet2..&SubjidKey.

%end;

%if%length(&CDataSet3.)^=0%then%do;

full join&CDataSet3. on &&ChkMainDATA&i...&SubjidKey.=&CDataSet3..&SubjidKey.

%end;

%if%length(&CDataSet4.)^=0%then%do;

full join&CDataSet4. on &&ChkMainDATA&i...&SubjidKey.=&CDataSet4..&SubjidKey.

%end;

%if%length(&CDataSet5.)^=0%then%do;

full join&CDataSet5. on &&ChkMainDATA&i...&SubjidKey.=&CDataSet5..&SubjidKey.

%end;

%if%length(&CDataSet6.)^=0%then%do;

full join&CDataSet6. on &&ChkMainDATA&i...&SubjidKey.=&CDataSet6..&SubjidKey.

%end;

where &&ChkCondt&i.

;

quit;

dataCHK_DAI_&i.;

set Chk_Shun;

run;

proc deletedata=work.Chk_Shun &&ChkMainDATA&i. &&ChkOtherSet&i.;quit;/*删除过程中衍生数据集*/

%let dsid=%sysfunc(open(CHK_DAI_&i.));

%let nobs4=%sysfunc(attrn(&dsid,nobs));

%let rc= %sysfunc(close(&dsid));

%put DVPCODE=&&ChkDvpCode&i...&&ChkSEQ&i. 执行完毕！ Run出Query条数：【&nobs4.】;

%end;

dataChk_Output;

set CHK_dai_1;

run;

proc deletedata=CHK_dai_1;quit;

%if &nobs1.>1%then%do;

%do i=2%to &nobs1.;

proc appendbase=Chk_Output data=CHK_dai_&i.;run;

proc delete data=work.CHK_dai_&i.;quit;

%end;

%end;

%let dsid=%sysfunc(open(Chk_Output));

%let nobs3=%sysfunc(attrn(&dsid,nobs));

%let rc= %sysfunc(close(&dsid));

%put ;

%put 总计 :执行EC核查条数：【&nobs1.】 RUN出QUERY条数：【&nobs3.】;

%put ;

;

%mend;