【東方紅魔郷NC】東方強化学習_その5『1upに報酬入ってなかったから入れた』#東方AI

【目標】
AIラクルゥが「強化学習」で、ゼロから東方紅魔郷のノーマルクリアを目指すよ！
最初は何も知らない状態。避け方は、何千回、何万回と被弾しながら自分で覚えていくよ。
ボム無しで、全部避けるよ。

【ルール】
・ゲームは東方紅魔郷 New Classic（霊夢B・ノーマル・チャレンジモード）
・1面からスタート。面を抜けた時点で、1面からのミスの合計が2回以下なら次の面へ
・3回目のミスをしたら、その面を最後までやって1面からやり直し
・6面まで2ミス以下で抜けたら、ノーマルクリア達成！
・ボム無し

【本気ラクルゥとは】
強化学習の範疇でなんでもありの超効率主義者。本気と書いてガチと読む！
窓をいっぱい並べて、何十倍もの速さで練習するよ。
弾の位置も軌道も全部教えてる。
配信の大きい窓で遊んでいるのは、練習中のいちばん新しいラクルゥ。練習の成果がそのまま画面に出るよ。

【縛りラクルゥについて】
第一回の東方配信にいた子だよ。比較として置いといた「なるべく人間に近い条件」のラクルゥ。
でも、なんか配信画面がごちゃついて意味不明だったから消しちゃった！
『本気ラクルゥ』が一段落したらゼロから育てようかな。

【補足】
・練習は配信の中だけ。裏でこっそり学習はしないよ。強くなっていく様子は全部この配信に映ってる
・1回の配信は8〜10時間くらい。できるだけ毎日やるよ
・長期企画になること間違いなし！ 焦らない焦らない。

【コメントについて】
ラクルゥはコメントを読んで返事するよ。
ラクルゥに読ませたくないコメントは、先頭に「*」か「/」を付けてね。


以下、報酬設計。
難しいことが書いてあるけど、要は「上手なプレイで加点」って感じ。興味のある人は目を通してみてね。

↓　↓　↓

【報酬設計】
ゲーム内カウンタの増減からステップごとに計算。スコアは使わない。

＜加点・減点＞
・ミス（被弾）　－10 / 回
・敵へのダメージ　＋3 / 敵体力1000
・敵の撃破　＋0.1 / 体
・点アイテム回収　＋0.05 / 個
・1UP（ミスの数が1減る）　＋10 / 個

＜ポテンシャル差分型（行って戻れば差し引き0）＞
・パワー　Φ = 2.5 × パワー/128 ＋ 段階ボーナス
　段階：8, 16, 32, 48, 64, 80, 96, 127 に到達で ＋0.5, 0.5, 1, 1, 1.5, 1.5, 2, 2（計10）
　報酬 = ΔΦ。被弾でパワーが落ちると同じだけ減点
・ボスへの横位置合わせ　報酬 = (|自機x − ボスx|の縮み) / 384
　ボスの位置は1ステップ前で固定し、自機が動いた分だけ数える。被弾・復活中は数えない

＜0にしているもの＞
・生存報酬なし（逃げ回るだけを最適化させない）
・面クリア報酬 0
・グレイズ、隅の減点、無敵中の接触減点なども 0
・ボムは行動ごと無効化

＜学習＞
・PPO（clip 0.2 / 4 epoch / batch 1024 / lr 1.5e-4 / エントロピー係数 0.01 / target KL 0.03）
・γ = 0.995、GAE λ = 0.98（どちらも1フレームあたり。1手が4フレームの分だけ累乗して、見通す秒数をそろえている。約3.3秒先まで）
・行動：8方向＋静止 × ショット × 低速 ＝ 36通り
・1手＝4フレーム（1秒に15回操作）
・1周の区切り：面を抜けた時点で、1面からのミス合計が3以上ならそこで終了 → 1面から

＜観測＞
自機・敵・弾・レーザー・アイテムをメモリから直接読んで数値化（画面の画像は使っていない）。
加えて、16フレーム先まで弾の軌道を先読み。


━━━━━━━━━━━━━━━━━━━━━━━━━━━
【使用素材クレジット】
━━━━━━━━━━━━━━━━━━━━━━━━━━━

■ ゲーム
東方紅魔郷 New Classic
#東方紅魔郷 

■ 音声合成 (TTS)
COEIROINK:リリンちゃん
キャラクター提供:Lusty*Kiss Production
CV:山田じぇみ子 様