TensorFlow强化学习入门（1.5）——上下文赌博机

import tensorflow as tf
import tensorflow.contrib.slim as slim
import numpy as np


# 定义我们的上下文赌博机
# 在本例中，我们创建三个四臂赌博机，即每个赌博机有四个机臂供选择，每个赌博机的机臂有着不同的赔率。
# pullBandit函数用于生成均值为0的正态分布的随机数。bandit的值越小，得到正收益的概率越大。
# 我们的目标：agent可以根据给定的赌博机选择收益率最大的赌博机臂
class contextual_bandit():
    def __init__(self):
        self.state = 0
        # 设定我们的赌博机，收益率最大的赌博机臂编号分别为4，2，1
        self.bandits = np.array([[0.2, 0, -0.0, -5], [0.1, -5, 1, 0.25], [-5, 5, 5, 5]])
        self.num_bandits = self.bandits.shape[0]
        self.num_actions = self.bandits.shape[1]
    
    def getBandit(self):
        self.state = np.random.randint(0, len(self.bandits))
        # 每个episode返回一个随机的状态
        return self.state
    
    def pullArm(self, action):
        # 生成随机数
        bandit = self.bandits[self.state, action]
        result = np.random.randn(1)
        if result > bandit:
            # 返回正收益
            return 1
        else:
            # 返回负收益
            return -1


# 基于策略的Agent
# 下面创建我们的agent的神经网络，state（状态）为网络输入，这使得agent可以根据环境状态行动，这一提升也是该网络适用与完备强化学习的关键改动。
# agent使用了一个简单的权重集，据此它可以为选定的赌博机返回价值预估，我们使用策略梯度方法来更新agent
class agent():
    def __init__(self, lr, s_size, a_size):
        # 前馈部分，网络接受状态值，作出决策
        self.state_in = tf.placeholder(shape=[1], dtype=tf.int32)
        state_in_OH = slim.one_hot_encoding(self.state_in, s_size)
        output = slim.fully_connected(state_in_OH, a_size, biases_initializer=None, activation_fn=tf.nn.sigmoid, weights_initializer=tf.ones_initializer())
        self.output = tf.reshape(output, [-1])
        self.chosen_action = tf.argmax(self.output, 0)
        
        # 训练流程，我们将得到的收益和行为送入网络来计算损失值并据此更新网络
        self.reward_holder = tf.placeholder(shape=[1], dtype=tf.float32)
        self.action_holder = tf.placeholder(shape=[1], dtype=tf.int32)
        self.responsible_weight = tf.slice(self.output, self.action_holder, [1])
        self.loss = -(tf.log(self.responsible_weight)*self.reward_holder)
        optimizer = tf.train.GradientDescentOptimizer(learning_rate=lr)
        self.update = optimizer.minimize(self.loss)

# 训练网络
tf.reset_default_graph() # 重置TensorFlow计算图

cBandit = contextual_bandit() # 加载赌博机
myAgent = agent(lr=0.001, s_size=cBandit.num_bandits, a_size=cBandit.num_actions) # 加载agent
weights = tf.trainable_variables()[0] # 权重

total_episodes = 10000 # 设置agent训练的episodes数
total_reward = np.zeros([cBandit.num_bandits, cBandit.num_actions]) # 初始化分数
e = 0.1 # 随机行动概率

init = tf.global_variables_initializer()

# 启动TensorFlow计算图
with tf.Session() as sess:
    sess.run(init)
    i = 0
    while i < total_episodes:
        s = cBandit.getBandit() # 获取环境状态
        # 决定是根据网络选择赌博机还是随机选择赌博机
        if np.random.rand(1) < e:
            action = np.random.randint(cBandit.num_actions)
        else:
            action = sess.run(myAgent.chosen_action, feed_dict={myAgent.state_in:[s]})
            reward = cBandit.pullArm(action) # 行动并返回收益
            # 更新网络
            feed_dict={myAgent.reward_holder:[reward], myAgent.action_holder:[action], myAgent.state_in:[s]}
            _, ww = sess.run([myAgent.update, weights], feed_dict=feed_dict)
            # 更新本次运行的得分
            total_reward[s, action] += reward
            if i % 500 == 0:
                print(str(cBandit.num_bandits) + "台赌博机的平均得分: " + str(np.mean(total_reward, axis=1)))
            i += 1
for a in range(cBandit.num_bandits):
    print("我们的agent认为" + str(np.argmax(ww[a])+1) + "号机臂对于" + str(a+1) + " 号赌博机是最优决策")
    if np.argmax(ww[a]) == np.argmin(cBandit.bandits[a]):
        print("...经检验正确！")
    else:
        print("...经检验错误！")

3台赌博机的平均得分: [-0.25  0.    0.  ]
3台赌博机的平均得分: [39.25 43.75 39.25]
3台赌博机的平均得分: [86.25 79.75 81.25]
3台赌博机的平均得分: [126.75 119.5  126.  ]
3台赌博机的平均得分: [164.25 159.5  173.5 ]
3台赌博机的平均得分: [208.25 204.75 209.25]
3台赌博机的平均得分: [249.5  244.25 253.5 ]
3台赌博机的平均得分: [290.5  285.   296.75]
3台赌博机的平均得分: [334.   323.   340.25]
3台赌博机的平均得分: [378.   368.25 376.  ]
3台赌博机的平均得分: [418.75 408.75 419.75]
3台赌博机的平均得分: [464.   450.75 457.5 ]
3台赌博机的平均得分: [506.75 493.   497.5 ]
3台赌博机的平均得分: [550.75 534.75 536.75]
3台赌博机的平均得分: [590.5  579.5  577.25]
3台赌博机的平均得分: [632.   620.25 620.  ]
3台赌博机的平均得分: [672.   659.75 665.5 ]
3台赌博机的平均得分: [714.   698.75 709.5 ]
3台赌博机的平均得分: [756.75 739.   751.5 ]
3台赌博机的平均得分: [798.   779.   795.25]
我们的agent认为4号机臂对于1 号赌博机是最优决策
...经检验正确！
我们的agent认为2号机臂对于2 号赌博机是最优决策
...经检验正确！
我们的agent认为1号机臂对于3 号赌博机是最优决策
...经检验正确！