ai_kenka
1: しじみ ★ 2018/07/07(土) 13:03:11.22 ID:CAP_USER
Googleと同じAlphabetを母体に持ち、世界最強の囲碁AI「AlphaGo Zero」を開発した
人工知能(AI)開発企業・DeepMindが、ファーストパーソン・シューティング・ゲーム(FPS)で
人間を超えた勝率をたたき出すAI「For the Win(FTW)」を開発しました。ただ敵を倒すだけではなく、
人間のチームメイトとも協力して有利にゲームをプレイすることができるとのことです。

Capture the Flag: the emergence of complex cooperative agents | DeepMind
https://deepmind.com/blog/capture-the-flag/

人間とゲームをプレイするAIの研究は、2017年にもOpenAI開発のAIが「Dota 2」で人間に勝利するという結果を残し、 
話題になりました。また、DeepMindも「StarCraft 2」をプレイするAIを研究していたことがあります。 

今回、GoogleのDeepMindが開発した「FTW」は、1999年に発売された「Quake III Arena」をプレイ。
「Quake III Arena」はマルチプレイヤー向けのFPSで、今でも大会が開かれるほど人気があるタイトルです。 
この「Quake III Arena」での対戦ルール「Capture the Frag(CTF)」という旗取りゲームを行い、 
人間と一緒にチームで遊べることを目指して学習を行ったとのこと。 

CTFは2つのチームに分かれて対戦するゲームで、 
相手チームの陣地にある旗を奪って自陣に戻るとポイントが加算されるというもの。 
単純なルールに見えますが、相手チームに旗を取られた場合は旗を持っているプレイヤーを倒さなければならないなど、 
状況に応じて狙う相手や動きを変更しなくてはならず、CTFで要求される動きは複雑だと研究チームは評価しています。 

戦いの舞台となるマップは同じものを使い続けるのではなく、マッチごとにマップを変更していたとのこと。 
これによって、FTWはマップのレイアウトを記憶するのではなく、汎用的な戦略を学習していかなければなりません。 
さらに、AIを人間と同じように成長させるため、 
従来のゲーム用AIのようにゲーム内でのパラメータを直接読み取ってプレイするのではなく、 
人間と同じように画面上のピクセルを認識させてエミュレートしたコントローラーで操作をさせています。 

DeepMindの研究チームは、40人の人間プレイヤーと30のFTWのエージェントをランダムにマッチさせ、 
45万回以上CTFをプレイさせました。各エージェント間ではリカレント(回帰型)ニューラルネットワークが形成され、 
さらにゲームポイントから内発的動機付けを行うように学びます。これによってCTFを高いレベルでプレイするようになります。 


以下のムービーで、実際にFTWのエージェントが人間も交えながらCTFをプレイする様子が見られます。 

Human-level in first-person multiplayer games with population-based deep RL - YouTube 
https://youtu.be/dltN4MxV1RI



以下のグラフはFTWの成長具合を表したもの。 
横軸がゲーム回数、縦軸はEloレートと呼ばれるプレイヤーの強さを示す数字で、高いほど強いプレイヤーであることを示します。 
水色線がFTWのEloレートを示していますが、FTWのエージェントがCTFを15万回プレイした段階で既に 
「平均的な人間プレイヤーのEloレート(Average Humanと書かれた点線)」を超えていて、 
20万回へ到達しないうちに「強い人間プレイヤーのEloレート(Strong Humanと書かれた点線)」を超えています。 
CTFを45万回プレイする頃にはトップスコアを記録しています。 

また、以下のムービーの右上に表示される「Agent population」というグラフ部分から、 
FTWの各エージェントが回数に応じてEloレートをぐんぐんとあげていく様子がよくわかります。 

Capture the Flag: FTW agents training progression - YouTube 
https://youtu.be/D6o1K7VjkLc



FTWは大量にCTFをこなす上で、 
「自チームの陣地を守る」「相手の陣地を制圧する」という部分だけではなく 
「チームの仲間に追随してサポートをする」という、人間と協力するような行動の習得にも成功していたとのこと。 
お互いをサポートするように協働するこれらの行動は、 
強化学習と集団レベルでの進化の過程で得られるとFTW開発チームは述べていて、 
現在強化学習を集団レベルの訓練方法をさらに改善し、 
最終的に安定して人間とチームを組むことができるAIエージェントの開発を目指すとコメントしています。 

https://i.gzn.jp/img/2018/07/06/deepmind-capture-the-flag/a01_m.jpg 
https://i.gzn.jp/img/2018/07/06/deepmind-capture-the-flag/a02_m.jpg 

GIGAZINE 
http://gigazine.net/news/20180706-deepmind-capture-the-flag/ 


3: ニュースソース検討中@自治議論スレ 2018/07/07(土) 13:11:42.43 ID:sliDbZtr
勝って勝って勝ちまくって習熟の進んだAIを、ゴリゴリの升キャラでボコボコに倒したらどんな反応するか興味ある

6: ニュースソース検討中@自治議論スレ 2018/07/07(土) 13:38:39.82 ID:Rzk+j1rY
はては軍事用aiだね。

8: ニュースソース検討中@自治議論スレ 2018/07/07(土) 13:53:01.92 ID:LE3Wk8EU
なるほど、これで近代戦が加速するな

9: ニュースソース検討中@自治議論スレ 2018/07/07(土) 14:09:18.66 ID:JaxpKtTz
リアル戦争に応用出来るよなこれ

10: ニュースソース検討中@自治議論スレ 2018/07/07(土) 14:36:48.96 ID:kNjP3Dxk
エイムミスらない時点でインチキ

11: ニュースソース検討中@自治議論スレ 2018/07/07(土) 14:58:16.95 ID:eB5nkKlu
平均スコアではトップだけど
ある特定の人物には勝てないとかありそう

14: ニュースソース検討中@自治議論スレ 2018/07/07(土) 15:21:44.34 ID:OM8phE23
間違いをおかすから面白いわけで、完璧だったら糞つまらん

15: ニュースソース検討中@自治議論スレ 2018/07/07(土) 15:27:04.76 ID:4lxVyenf
人間よりも強い格闘ゲームのAIを開発みたいな話に聞こえるが
そりゃ出来るよ簡単に

25: ニュースソース検討中@自治議論スレ 2018/07/07(土) 16:45:58.26 ID:+XxkRa38
>>15
ゲーム内botならね
画像認識でというのが凄いんだよ

36: ニュースソース検討中@自治議論スレ 2018/07/07(土) 22:29:54.37 ID:2qJErzJQ
>>15
単に超反応をするbotを作ったんじゃなくて
画像認識から変化する目標に対応したり人間と協力する行動を学習するAIであるというところがこの記事の骨子だろ

37: ニュースソース検討中@自治議論スレ 2018/07/07(土) 22:59:09.15 ID:0boNhINm
>>25>>36みたいにちゃんとわかってる人がいてよかった

16: ニュースソース検討中@自治議論スレ 2018/07/07(土) 15:29:15.90 ID:k05FGkTd
このAIとプロプレーヤーの対決とか、将棋のプロとAI対決みたいで面白そうだけどな
人とAIのペアチーム戦とかだったらイレギュラーあるし戦略次第で面白くなりそうだけどどうなんだろう

21: ニュースソース検討中@自治議論スレ 2018/07/07(土) 15:57:22.22 ID:ptrOXkHB
戦争もののFPSかと想像してたが
まんま目的過ぎて生々しいもんなw

29: ニュースソース検討中@自治議論スレ 2018/07/07(土) 17:29:58.55 ID:E/dkX99j
のちのスカイネットである

30: ニュースソース検討中@自治議論スレ 2018/07/07(土) 17:32:16.55 ID:f4l2hmo2
無人戦闘機もこれでいけるな。
人間の限界以上の動きも楽々出来るから、あり得ない動きも楽々出来る。

32: ニュースソース検討中@自治議論スレ 2018/07/07(土) 20:16:41.62 ID:aHeiAeUx
>>30
シミュレータで人間打ち負かしてるよ

34: ニュースソース検討中@自治議論スレ 2018/07/07(土) 21:44:13.03 ID:7bhI6kbJ
アメリカ軍 「いっしょにやらないか?」

38: ニュースソース検討中@自治議論スレ 2018/07/07(土) 23:05:34.65 ID:Im9NCwy/
疲れないから不眠不休で学習して最短で成果を得られるからな

67: ニュースソース検討中@自治議論スレ 2018/07/08(日) 14:32:37.71 ID:ewLMwrkm
遠方から狙撃するしかないなw

81: ニュースソース検討中@自治議論スレ 2018/07/08(日) 18:54:15.21 ID:4uIXjm76
>>79
記事を読まないで何を言ってるの。
錯誤したまま他人がおしえてくれる幸せな世界にいるとでも思ってる?

80: ニュースソース検討中@自治議論スレ 2018/07/08(日) 18:50:31.51 ID:1BjVaU8y
んじゃAI同士でやらせたらどうなるのよ

17: ニュースソース検討中@自治議論スレ 2018/07/07(土) 15:30:38.65 ID:mTR6Nqiq