【標題】強化學習應用於機器人運動控制及運動技能學習

【內容】內容： 本期講座主要介紹「強化學習應用於機器人運動控制及運動技能學習「該研究方向的發展過程與應用難點。包含以下主要內容：1. 什麼是強化學習？為什麼強化學習在機器人領域具有應用前景？ 2. 介紹強化學習方法在機器人上運動控制方面的研究與應用；3. 介紹強化學習結合其他方法，在機器人上的研究與應用；4. 強化學習在機器人產業界的應用現狀及難點。本期講座還會介紹日本物流拾取行業的一家機器人公司 — Kyoto Robotics株式會社，並分享在該公司的實習經歷。

【主講】主講人：王宇清，立命館大學機器人專業碩士，從事強化學習在液壓機器人運動控制方面的研究。曾在Kyoto Robotics公司從事工業機器人拾取方面的實習工作。現就職於Soft Servo Systems公司，從事工業機器人運動控制軟體的開發工作。

【時間】11月23號晚19:30

【地點】東大本鄉工學部9號館一樓大會議室

本期的講座主要介紹了強化學習應用於機器人運動控制該方向的研究進展與應用難點。

首先以小孩學走路這一常見的例子，讓觀眾形象的了解什麼是強化學習，以及強化學習與人類學習動作過程的相似性。再簡單介紹了機器人的主要組成部分，並從機器人幾種常見的誤差及難以解決的工程問題引入，強化學習是解決機器人的上述問題的一個新的選擇。

接下來，按時間順序簡單梳理了一下該研究方向的研究進展。首先以actor-critic為例子，使大家認識到了強化學習應用於機器人該方向，與其他深度學習的應用方向主要區別是，強化學習需要在實際機器人硬體平台上進行大量的重複性實驗，這一問題在過去很長一段時間大大阻礙了該方向的發展。進而向大家介紹，PILCO--基於高斯過程的強化學習方法，其有效的利用學習數據，使強化學習在實際機器人上的應用門檻大大降低。並做出了不少突破性的研究。

結合PILCO演算法的解釋，主講人向大家介紹了他碩士期間的研究: 利用PILCO在液壓雙臂機器人進行運動控制研究的過程中，所遇到的強化學習演算法與機器人系統兩方面的實際問題，使觀眾了解到了強化學習如果想進一步在機器人取得更大的突破，在哪幾個方面還存在挑戰。

之後簡單向觀眾介紹了一些強化學習與其他學習方法向結合的具體實例

1. 德國研究者將強化學習與模仿學習相結合，使機器人學會了複雜的運動技能；

2. 美國研究者將強化學習與深度學習相結合，利用多層神經網路與大量圖像數據，使機器人直接通過自身視角中的物體與手的圖像信息，推斷機械臂的控制信號，並在機器人操作與抓取上做出了很多突破性的研究。

3. 日本研究者在機器人master-slave平台上，將深度強化學習與人工示教相結合，以直接」手把手」地教機器人如何抓取物體這種形式，啟發機器人進行抓取動作的學習。

在例子的闡述的基礎上，主講人接下來向大家簡單介紹了一下強化學習在日本產業界應用的一些實例與並分析了落地所遇到的難點。並向大家推薦了相關的權威性學術會議與入門級教材。

然後，主講人介紹了以機器人視覺感測器產品為主，針對目前日本物流行業嚴重的勞動力短缺問題，專註物流拾取應用的Kyoto Robotics株式會社。向觀眾簡單介紹了一下該公司的發展歷程，與針對物流拾取該應用的視覺感測器產品。但在實際應用中，由於視覺感測器可以知道待分揀物體的位置與幾何信息，而物體的重力與重心卻不得而知，該問題會導致機器人在實際運動過程中，末端抓取的物體掉落的問題。主講人在該公司實習的課題就是如何估計抓取物體的重量與重心。並向感興趣的同學分析該公司的一些實習信息。

最後，主講人簡單介紹了目前工作的Soft Servo System公司所研發的基於PC的運動控制軟體，以及該產品如何幫助工廠自動化的客戶節約硬體成本。

會後，觀眾與主講人就講座中提到的問題進行了交流與討論。在歡樂的氣氛中結束了本期講座。

文 王宇清

講座資料鏈接：https://myslide.cn/slides/10169

過去相關講座鏈接：

東大N號館第二期--人工智慧近況彙報

「東大N號館」第四期——中國無處不在的AI

「東大N號館」第五期——AI與口腔醫學

「東大N號館」第六期——深度學習發展近況

「東大N號館」第七期——基於語音和圖像的人機交互

東大N號館第8期-自然語言處理技術及其在金融領域的應用

推薦閱讀：