Activities
研討會(huì)總結(jié)
2021年1月23日，第五屆深度強(qiáng)化學(xué)習(xí)理論與應(yīng)用研討會(huì)順利舉行。上午在中科院自動(dòng)化所分組討論交流了深度強(qiáng)化學(xué)習(xí)（DRL）與游戲，DRL與駕駛，DRL與機(jī)器人和自動(dòng)機(jī)器學(xué)習(xí)。下午，邀請(qǐng)了幾位報(bào)告人在Zoom會(huì)議室/Bilibili在線直播，分別從深度強(qiáng)化學(xué)習(xí)及相關(guān)的模仿學(xué)習(xí)、小樣本學(xué)習(xí)、經(jīng)驗(yàn)回放機(jī)制、智能駕駛應(yīng)用，統(tǒng)計(jì)前向規(guī)劃、聯(lián)邦學(xué)習(xí)等不同角度進(jìn)行了深入淺出的精彩分享。線上直播最高峰有1.2萬(wàn)人同時(shí)觀看。報(bào)告過(guò)程中大家討論積極，交流深入，收獲良多。在征求報(bào)告人同意之后，我們將為大家?guī)?lái)精彩報(bào)告的回放視頻，請(qǐng)關(guān)注后續(xù)消息。
研討會(huì)詳情：https://mp.weixin.qq.com/s/8xwsTojX7dfOnAP5pS9r_A
會(huì)議時(shí)間：2021年1月23日
會(huì)議形式：ZOOM會(huì)議&Bilibili在線直播
主辦單位：
中科院自動(dòng)化所復(fù)雜系統(tǒng)管理與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室
中國(guó)自動(dòng)化學(xué)會(huì)
承辦單位：
中科院自動(dòng)化所-深度強(qiáng)化學(xué)習(xí)團(tuán)隊(duì)
中國(guó)自動(dòng)化學(xué)會(huì)認(rèn)知計(jì)算與系統(tǒng)專業(yè)委員會(huì)
研討會(huì)報(bào)告
第一場(chǎng)報(bào)告：
13:30-14:10：從數(shù)學(xué)與信息處理的視角看模仿學(xué)習(xí)
報(bào)告人：孫富春，清華大學(xué)長(zhǎng)聘教授
報(bào)告首先回顧了從控制論到人工智能的發(fā)展歷史，特別強(qiáng)調(diào)了基于感知-動(dòng)作模式的人工智能行為主義范式。進(jìn)而，從數(shù)學(xué)的視角討論了行為模仿問(wèn)題，給出了智能體二階情形下行為模仿的理論結(jié)果。接著，從控制工程和人工智能的視角討論行為模仿，給出了智能體行為模仿和技能的理論方法。最后了從優(yōu)化函數(shù)和可解釋性等方面討論了數(shù)學(xué)方法、控制工程方法以及人工智能方法的異同，給出了三種方法強(qiáng)強(qiáng)聯(lián)合的理論框架。
.jpg)
第二場(chǎng)報(bào)告：
14:10-14:50：面向智能制造的認(rèn)知計(jì)算與深度學(xué)習(xí)
報(bào)告人：文成林，廣東石油化工學(xué)院教授
介紹了課題組在深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、多級(jí)聯(lián)邦學(xué)習(xí)等模型訓(xùn)練與收斂性分析等方面的研究與進(jìn)展。介紹在面向智能制造的認(rèn)知計(jì)算理論與方法方面的新思想：非結(jié)構(gòu)復(fù)雜問(wèn)題的統(tǒng)一形式化描述與度量、一體化認(rèn)知分析模型與認(rèn)知計(jì)算方法、多智能形態(tài)統(tǒng)一測(cè)試平臺(tái)與評(píng)測(cè)體系等。
.jpg)
第三場(chǎng)報(bào)告：
14:50-15:30：Experience Replay in Deep Reinforcement Learning
報(bào)告人：陳春林，南京大學(xué)教授
報(bào)告介紹了在深度強(qiáng)化學(xué)習(xí)中廣泛應(yīng)用的經(jīng)驗(yàn)回放機(jī)制設(shè)計(jì)。該機(jī)制使得在線強(qiáng)化學(xué)習(xí)算法可充分利用過(guò)去的經(jīng)驗(yàn)。詳細(xì)介紹了一系列用于提高采樣效率，更好地平衡探索和利用的經(jīng)驗(yàn)回放方法，包括優(yōu)先經(jīng)驗(yàn)回放(PER)、使用自節(jié)奏優(yōu)先課程學(xué)習(xí)的深度課程強(qiáng)化學(xué)習(xí)(DCRL)和量子啟發(fā)經(jīng)驗(yàn)回放(QER)。
.jpg)
第四場(chǎng)報(bào)告：
15:30-16:10：ApplyReinforcement Learning in Autonomous Vehicle Design
報(bào)告人：李升波，清華大學(xué)長(zhǎng)聘教授
報(bào)告總結(jié)和回顧了主流的強(qiáng)化學(xué)習(xí)算法，以及在高級(jí)自動(dòng)駕駛汽車(chē)應(yīng)用中的工程挑戰(zhàn)，包括稀疏獎(jiǎng)勵(lì)環(huán)境下的低收斂速度、安全約束和不可行性、不確定環(huán)境下的魯棒性增強(qiáng)等問(wèn)題。最后，將介紹兩種最近開(kāi)發(fā)的強(qiáng)化學(xué)習(xí)算法，即分布式Soft Actor-Critic(DSAC)和混合Actor-Critic(MAC)，以及它們?cè)谧詣?dòng)駕駛汽車(chē)決策和運(yùn)動(dòng)控制中的應(yīng)用。
.png)
第五場(chǎng)報(bào)告：
16:20-17:00: General Game AI with Statistical Forward Planning Algorithms
報(bào)告人：Simon Lucas，QUML Professor
報(bào)告介紹了統(tǒng)計(jì)前向規(guī)劃方法，是游戲人工智能常用的一種簡(jiǎn)單快速的求解方法，包括蒙特卡羅樹(shù)搜索和滾動(dòng)域演化算法。解釋了為什么這些算法如此有效，即使模型是不完整的，甚至可能是不正確的，只要求預(yù)測(cè)結(jié)果與真實(shí)結(jié)果具有等級(jí)相關(guān)性即可。描述了一些關(guān)于分層統(tǒng)計(jì)前向規(guī)劃的最近工作，改進(jìn)了蒙特卡羅圖搜索算法，使其具有更好的樣本效率和長(zhǎng)期學(xué)習(xí)的潛力。
.png)
第六場(chǎng)報(bào)告：
17:00-17:40：Communication-efficient and privacy-preserving federated learning
報(bào)告人：Yaochu Jin (金耀初)，University of Surrey Professor
報(bào)告介紹了關(guān)于高效通信聯(lián)邦學(xué)習(xí)的兩種最新方法，一種是基于結(jié)合時(shí)間加權(quán)平均的異步模型更新，另一種是使用訓(xùn)練過(guò)的三元量化。此外，提出了一種分布式附加加密方法，在不依賴可信第三方的情況下對(duì)局部模型參數(shù)進(jìn)行加密，進(jìn)一步增強(qiáng)了隱私保護(hù)。最后，簡(jiǎn)要討論了聯(lián)邦學(xué)習(xí)中仍存在的挑戰(zhàn)和未來(lái)的工作。
.png)
來(lái)源：深度強(qiáng)化學(xué)習(xí)CASIA
