目錄1. 強(qiáng)化學(xué)習(xí)基本概念1.1 Agent1.2 Environment1.3 State1.4 Action1.5 Reward2. 強(qiáng)化學(xué)習(xí)的隨機(jī)性來(lái)源2.1 Policy2.2 State transition3. 回報(bào)與價(jià)值函數(shù)3.1 Returnaka cumulative future reward)3.1.1 Return未來(lái)累計(jì)獎(jiǎng)勵(lì)3.1.2 Discounted Return折扣回報(bào)3.2 Action-value function3.3 State-value function4. 強(qiáng)化學(xué)習(xí)目標(biāo)4.1 policy-based learning4.2 value-based learning1. 強(qiáng)化學(xué)習(xí)基本概念1.1 Agent執(zhí)行動(dòng)作、和環(huán)境交互的主體。1.2 EnvironmentAgent外部世界接收動(dòng)作返回新?tīng)顟B(tài)與獎(jiǎng)勵(lì)。1.3 State環(huán)境當(dāng)前觀測(cè)到的信息。1.4 ActionAgent在狀態(tài)下做出的動(dòng)作。1.5 Reward環(huán)境給予的反饋。2. 強(qiáng)化學(xué)習(xí)的隨機(jī)性來(lái)源2.1 Policy策略函數(shù)給定狀態(tài)計(jì)算動(dòng)作的概率根據(jù)概率隨機(jī)抽樣使Agent做動(dòng)作。具體來(lái)說(shuō)就是根據(jù)觀測(cè)到的狀態(tài)做出決策來(lái)控制Agent運(yùn)動(dòng)。2.2 State transition環(huán)境用狀態(tài)轉(zhuǎn)移函數(shù)算出概率根據(jù)概率隨機(jī)抽樣得到下一個(gè)狀態(tài)。3. 回報(bào)與價(jià)值函數(shù)3.1 Returnaka cumulative future reward)3.1.1 Return未來(lái)累計(jì)獎(jiǎng)勵(lì)t 時(shí)刻的回報(bào)從 t 時(shí)刻的獎(jiǎng)勵(lì)開(kāi)始一直加到結(jié)束。t 時(shí)刻我們更關(guān)注的是此刻的獎(jiǎng)勵(lì)因此 t 時(shí)刻以后的獎(jiǎng)勵(lì)的權(quán)重應(yīng)降低由此引出Discounted Return。3.1.2 Discounted Return折扣回報(bào)t 時(shí)刻的折扣回報(bào)折扣率超參數(shù)人工手動(dòng)調(diào)若未來(lái)的獎(jiǎng)勵(lì)和此刻的獎(jiǎng)勵(lì)同樣重要?jiǎng)t若未來(lái)的獎(jiǎng)勵(lì)不重要?jiǎng)t可以小些。3.2 Action-value function是隨機(jī)變量依賴于未來(lái)的所有動(dòng)作以及未來(lái)的所有狀態(tài)只與當(dāng)前的狀態(tài)和動(dòng)作以及policy函數(shù)有關(guān)。具體來(lái)說(shuō)已知policy函數(shù)給當(dāng)前狀態(tài)下所有的動(dòng)作打分從而得知?jiǎng)幼鞯暮脡?.3 State-value function對(duì)關(guān)于動(dòng)作求期望把消掉得到的只與和狀態(tài)有關(guān)。4. 強(qiáng)化學(xué)習(xí)目標(biāo)強(qiáng)化學(xué)習(xí)的目標(biāo)就是學(xué)習(xí)到policy函數(shù)或最優(yōu)動(dòng)作價(jià)值函數(shù)去控制Agent讓Agent基于當(dāng)前的狀態(tài)來(lái)做出相應(yīng)的動(dòng)作爭(zhēng)取在未來(lái)得到盡量多的獎(jiǎng)勵(lì)。4.1 policy-based learning策略學(xué)習(xí)利用policy函數(shù)根據(jù)狀態(tài)計(jì)算動(dòng)作的概率根據(jù)概率隨機(jī)抽樣使Agent做動(dòng)作。觀測(cè)到一個(gè)狀態(tài)把作為policy函數(shù)的輸入,函數(shù)輸出每一個(gè)動(dòng)作的概率根據(jù)概率隨機(jī)抽樣得到動(dòng)作Agent執(zhí)行動(dòng)作。4.2 value-based learning價(jià)值學(xué)習(xí)利用最優(yōu)動(dòng)作價(jià)值函數(shù)函數(shù)根據(jù)狀態(tài)計(jì)算根據(jù)使Agent做動(dòng)作。觀測(cè)到一個(gè)狀態(tài)把作為的輸入,函數(shù)每一個(gè)動(dòng)作做評(píng)價(jià)得到每一個(gè)動(dòng)作的值選擇讓最大化的動(dòng)作作為下一個(gè)動(dòng)作Agent執(zhí)行動(dòng)作。