R语言RSTAN MCMC：NUTS采样算法用LASSO 构建贝叶斯线性回归模型分析职业声望数据

Hamiltonian Monte Carlo（HMC）

HMC 是一种为 MH 算法生成提议分布的方法，该提议分布被接受的概率很高。具体算法过程请查看参考文献。 打个比方： 给粒子一些动量。 它在滑冰场周围滑行，大部分时间都在密度高的地方。 拍摄这条轨迹的快照为后验分布提供了一个建议样本。 然后我们使用 Metropolis-Hastings 进行校正。

NUTS采样器（No-U-turn Sampler）

HMC，像RWMH一样，需要对步骤的数量和大小进行一些调整。 No-U-Turn Sampler "或NUTs（Hoffman和Gelman（2014）），对这些进行了自适应的优化。 NUTS建立了一组可能的候选点，并在轨迹开始自相矛盾时立即停止。

Stan 的优点

可以产生高维度的提议，这些提议被接受的概率很高，而不需要花时间进行调整。 有内置的诊断程序来分析MCMC的输出。 在C++中构建，所以运行迅速，输出到R。

示例

如何使用 LASSO 构建贝叶斯线性回归模型。

构建 Stan 模型

数据：n、p、Y、X 先验参数，超参数 参数：

模型：高斯似然、拉普拉斯和伽玛先验。 输出：后验样本，后验预测样本。

数据

int<lwer=0> n;
vectr\[n\] y;
rel<loer=0> a;

参数

vetor\[p+1\] beta;
real<lowr=0> siga;

转换后的参数（可选）

vectr\[n\] liped;
lnpred = X*bea;

模型

bta ~ dolexneial(0,w);
siga ~ gama(a,b);

或没有矢量化，

for(i in 1:n){
y\[i\]~noral(X\[i,\]*beta,siga);
}

生成的数量（可选）

vecor\[n\] yprict;
for(i in 1:n){
prdit\[i\] = nrmlrng(lnprd\[i\],siga);

对后验样本的每一个元素都要评估一次这个代码。

职业声望数据集

这里我们使用职业声望数据集，它有以下变量

教育：职业在职者的平均教育程度，年。

收入：在职者的平均收入，元。

女性：在职者中女性的百分比。

威望：Pineo-Porter的职业声望得分，来自一项社会调查。

普查：人口普查的职业代码。

类型：职业的类型

bc: 蓝领 prof: 专业、管理和技术 wc: 白领

在R中运行

library(rstan)
stan(file="byLASO",iter=50000)

在3.5秒内运行25000次预热和25000次采样。 第一次编译c++代码，所以可能需要更长的时间。

绘制后验分布图

par(mrow=c(1,2))
plot(denty(prs$bea)

预测分布

plot(density)