AIが東方を3000時間学習してクリアするまで【東方紅魔郷】#東方AI #東方紅魔郷

こりゃあ3000時間もいらなかったね

0:00　はじめに
0:34　強化学習について
1:22　0時間
2:30　400～700時間
3:24　1000～1200時間
4:10　2000時間
5:18　3000時間
6:28　修了試験

【ゲームと遊び方】
・ゲーム：東方紅魔郷 New Classic（Steam版）／難易度ノーマル／霊夢B
・練習はチャレンジモード（残機無限）で1面から通し。3回目のミスをしたら、その面を最後まで遊んで1面からやり直し
・ボムなし
・6窓を同時に動かし、各窓8倍速。
・4コマに1回（1秒に15回）操作を選び、その間は同じキーを押し続ける。

【AIが見ているもの（画面の絵ではなく、ゲームの中の数字）】
・1コマあたり878個の数字 × 直近4コマ分 ＝ 3,512個を入力
・自機の位置、無敵、パワー、壁までの距離
・近い順の弾32発（「あと何コマで当たるか」が近い順）：位置、速さ、当たり判定の大きさ、軌道
・敵8体、レーザー4本（流れる・伸びる・回る動きも先読み）、アイテム8個
・ボス戦の段階（通常攻撃かスペルカードか）

【AIが選べる操作】
・72通り ＝ 移動9方向（止まる＋8方向）× 低速移動あり／なし × ショットあり／なし × ボムあり／なし
・ボムなしのため、実際は36通り

【脳（ニューラルネットワーク）】
・全結合2層（256＋256）。約98万個の数字（重み）でできている
・出口は2つ：「どの操作をどれくらいの確率で選ぶか」（方策）と「この先どれくらい点が取れそうか」（見立て）

【学び方（PPO）】
・PPO（近接方策最適化）：遊んだ結果から、点が増えた操作を選びやすく、減った操作を選びにくく、少しずつ脳を直す。1回で大きく変えすぎないよう、変える幅に上限がある（クリップ0.2）
・約16,000手ぶん遊ぶたびに1回まとめて学ぶ。約30秒に1回で、その間は6窓とも止まる（＝「脳を更新中」）
・先の点をどれくらい大事にするか（割引率）0.995。だいたい13秒先まで見ている
・学習率0.00015／同じデータで4回学ぶ／1回に1,024手ずつ
・迷いを保つブレーキ（エントロピー係数）：0.01 → 10/12から0.005。
・練習中の手の選び方は温度1.0（わざとサイコロを振っていろいろ試す）。修了試験は0.5（迷いを減らした本気の打ち方）
・設定を変えた直後は、最初の40万手で「見立て」だけ学び直す（慣らし）
・1時間ごとに脳を1世代として保存（第0 → 第99世代）

【数字】
・実際の配信1時間で、ゲーム内約37〜40時間。理屈の上では 6 × 8 ＝ 48倍だが、AIが考える時間と「脳を更新中」の待ちで約8割
・学習の合計：ゲーム内約3,575時間、20,501周、操作の判断約2億回
・修了試験：標準モード（残機あり）、ノーコンティニュー、ノーボム、学習なし、等速、10回中1回クリアで合格


━━━━━━━━━━━━━━━━━━━━━━━━━━━
【素材クレジット】
━━━━━━━━━━━━━━━━━━━━━━━━━━━
■ BGM 
Pappa Parappa / Phalene 
フランスって…イタリア？ / Masuo  
たぶんなにも考えてない / いまたく

DOVA-SYNDROME
https://dova-s.jp/

■ 音声 
COEIROINK : 銀芽
COEIROINK : 青葉
COEIROINK : リリンちゃん（CV:山田じぇみ子 様）