強化学習で挑むヒューマノイドの高速走行 ― ヒューマノイド運動会への取り組み

強化学習によるヒューマノイドの

高速走行

**― **

世界

ヒューマノイドロボット運動会への取り組み

―

第

6

回京大ミートアップ

GMO

インターネットグループ株式会社

グループ研究開発本部

高橋

勇哉

Copyright © GMO Internet Group, Inc. All Rights Reserved.

高橋勇哉

GMOインターネットグループ株式会社

グループ研究開発本部リサーチサイエンティスト

大阪大学大学院情報科学研究科マルチメディア工学専攻出身

2021年GMOインターネットグループ株式会社入社

入社以来、ビッグデータ基盤の運用、データ解析に関わる

現在はGMO AI & Robotics Corporation でロボットの研究開発

学生時代の研究は機械学習を用いた推薦システム

Copyright © GMO Internet Group, Inc. All Rights Reserved.
1

ネットインフラ・セキュリティ｜No.1サービスの集合体

圧倒的

※1

No.1

ドメイン発行・卸
国内シェア

83.0％

圧倒的

※2

ドメイン登録・販売

国内シェア

No.1

90.1％

※3

クラウド・レンタルサーバー

No.1

国内シェア

63.5％

No.1

ネットショップ支援
有料店舗数

4.3万

※4

No.1

盗聴・改ざん・なりすまし防止
国内シェア

1位

No.1

629万
電子印鑑
送信件数

※5

No.1

サイバー攻撃対策
ホワイトハッカー数
1位

※6

No.1

決済
導入店舗数

17.1万

※7

No.1

1位

インターネット接続
光コラボアワード
満足度ランキング

Copyright © GMO Internet Group, Inc. All Rights Reserved.
2

※1:国内シェア当社調べ ※2:国内シェアICANN調べ25年12月末時点 ※3:ホストされているドメインベース（domaintools.com）調べ※4:国別コードNetcraft社調べ
※5:フェルミ推定により※6:23Q3より多くの店子をもつ特定の加盟店について、店子の数に関わらず1店とカウントする計上方法へ変更
※7:2024年「光コラボアワード2024」総合満足度最優秀賞

金融・決済・暗号資産領域

※

No.1

ネット銀行

メインバンク増加率1位

FX取引高国内2位

インターネット証券・FX

No.1

CFD取引高国内1位

暗号資産

取引売買高国内2位

決済

No.1

決済処理金額1位

※ 「2024年企業のメインバンク調査」東京商工リサーチ調査https://www.tsr-net.co.jp/data/detail/1200509_1527.html

Copyright © GMO Internet Group, Inc. All Rights Reserved.
3

GMO AI&ロボティクス商事（GMO AIR）

Copyright © GMO Internet Group, Inc. All Rights Reserved.
4

Copyright © GMO Internet Group, Inc. All Rights Reserved.
5

目次

1.

背景

: GMO

インターネットグループ陸上部

–

GMO

ロボッツ

2.

データ収集

**: **

モーションキャプチャとリターゲティング

3.

走行ポリシーの学習

4.

これまでの成果と明らかになった課題

5.

まとめと展望

Copyright © GMO Internet Group, Inc. All Rights Reserved.
6

目次

1.

背景

: GMO

インターネットグループ陸上部

–

GMO

ロボッツ

2.

データ収集

**: **

モーションキャプチャとリターゲティング

3.

走行ポリシーの学習

4.

これまでの成果と明らかになった課題

5.

まとめと展望

Copyright © GMO Internet Group, Inc. All Rights Reserved.
7

GMO

インターネットグループ陸上部

Copyright © GMO Internet Group, Inc. All Rights Reserved.
8

駅伝日本一の走りを、ロボットへ

Copyright © GMO Internet Group, Inc. All Rights Reserved.
9

陸上部

×

ロボットの取り組み

GMO

•

（

大会新記録

）

今年の

ニューイヤー駅伝

を優勝

インターネットグループ陸上部
•

チャレンジ

所属選手らの

走行データを

:
•

ロボティクスに

活用

データの解析により選手にも有益な

できないか？
•

フィードバックを生み出せないか？

Copyright © GMO Internet Group, Inc. All Rights Reserved.
10

世界

ヒューマノイドロボット運動会

昨年中国にて初回開催され、大きな注目を集めた大会

GMO

の出場予定種目

**: **

100m

走

**/ **

400m

走

**/ **

1500m

•

走
•

自律走行であればタイムにボーナス

が付き有利

人間と同様のトラックを使用
•

速く走る

**+ **

自律行動、レーン内の安定走行

が求められるルール

今回は「

速く走る

」の部分の取り組みを発表します

Copyright © GMO Internet Group, Inc. All Rights Reserved.
11

目次

1.

背景

: GMO

インターネットグループ陸上部

–

GMO

ロボッツ

2.

データ収集

**: **

モーションキャプチャとリターゲティング

3.

走行ポリシーの学習

4.

これまでの成果と明らかになった課題

5.

まとめと展望

Copyright © GMO Internet Group, Inc. All Rights Reserved.
12

モーションキャプチャとリターゲティング

•

モーションデータはロボットに合わせて変換する必要がある

人間の動きをモーションキャプチャし、モーションデータを取得
•

（リターゲティング）

Copyright © GMO Internet Group, Inc. All Rights Reserved.
13

陸上部選手のモーションキャプチャ

直線

/

カーブや加速

/

減速など、

•

多様なシチュエーションの

関節の動かし方は異なる
•

データを収集する必要がある

実際の撮影動作

•

直線・曲線で低速

/

中速

/

**: **
•

400m

を３段階で段階的に

高速
•

前後左右への移動、その場旋回

加速する周回走も取得
•

都内の陸上競技場でモーションキャプチャをしている様子

Copyright © GMO Internet Group, Inc. All Rights Reserved.
14

陸上部選手のモーションキャプチャ

Copyright © GMO Internet Group, Inc. All Rights Reserved.
15

**人間 **

**→ **

ロボットへのリターゲティング

General Motion Retargeting

•

末端の目標位置から関節角を逆算する

逆運動学を解いて

Araujo et al. (2025)
•

体格や骨格の異なる別の

モデルに動きを転写する

Copyright © GMO Internet Group, Inc. All Rights Reserved.
16

**人間 **

**→ **

ロボットへのリターゲティング

Copyright © GMO Internet Group, Inc. All Rights Reserved.
17

目次

1.

背景

: GMO

インターネットグループ陸上部

–

GMO

ロボッツ

2.

データ収集

**: **

モーションキャプチャとリターゲティング

3.

走行ポリシーの学習

4.

これまでの成果と明らかになった課題

5.

まとめと展望

Copyright © GMO Internet Group, Inc. All Rights Reserved.
18

走行ポリシーの学習

強化学習を用いた２つのアプローチで走行ポリシーを開発

1

1.

Proximal policy optimization

(PPO)*

にもとづくアプローチ

高速な走行が可能になるように、

報酬設計などを調整し学習を行う

2

2.

AMP*

にもとづくアプローチ：

報酬設計などの調整に加えて、

モーションデータの特徴を学習時に加える

**1 Schulman et al., "Proximal Policy Optimization Algorithms," arXiv:1707.06347 (2017) **

2 Peng et al., "AMP: Adversarial Motion Priors for Stylized Physics

-

**Based Character Control," ACM Trans. **

Graph. 40(4) (2021)

Copyright © GMO Internet Group, Inc. All Rights Reserved.
19

PPO

による走行ポリシーの獲得

PPO (

近接方策最適化

)
•

強化学習のアルゴリズムとしてよく用いられる手法
•

ロボットに以下を定義し、報酬の増える方向にポリシーを更新
•

環境：大量のロボットを並列で物理シミュレートし、

状態：ロボットの今の姿勢と動き＋進みたい方向の指令
•

出された目標角度をトルクに直して動かし、

行動：

ポリシーが出力する

各関節の目標角度

報酬を返す
•

高速な走行を実現するため、カリキュラム、報酬設計を調整する

Copyright © GMO Internet Group, Inc. All Rights Reserved.
20

カリキュラム学習

学習時、最初から高い目標速度を与えると極端に高い確率で

転倒が発生し、探索が進まなくなる

目標速度を低いところから段階的に引き上げる（カリキュラム学習）

具体的には学習時に、転倒率、最高速度が一定の基準を超えたら

目標速度をわずかに増やす

Copyright © GMO Internet Group, Inc. All Rights Reserved.
21

報酬設計

安定して歩行するための報酬設計は、

高速走行のためには必ずしも良いとは限らない

上下動の抑制

-

**> **

例
•

足を上げる高さの目標値

-

**> **

上下に動きやすい高速走行の探索が進みづらくなる
•

低めに設定する方がバランスを崩しにくいが、

足を高く上げた自然な走りの方向に学習が進みづらくなる

Copyright © GMO Internet Group, Inc. All Rights Reserved.
22

AMP

による走行ポリシーの獲得

Peng

**et al. **

(

2021

）

AMP: Adversarial Motion Priors

•

データセットとエージェントの行動が

•

PPO

による歩行動作の学習に、

どのくらい近いかを判別する判別器を置き、敵対的学習を行う
•

判別器から出力するモーション類似度報酬

(

スタイル報酬

)

を加えた形

スタイル報酬の係数

タスク報酬の係数

𝒔𝒕𝒚𝒍𝒆

𝒓𝒕= 𝒘𝒕𝒂𝒔𝒌𝒓𝒕

𝒕𝒂𝒔𝒌+ 𝒘𝒔𝒕𝒚𝒍𝒆𝒓𝒕

時刻

t

でのスタイル報酬

時刻

t

でのタスク報酬

時刻

t

でのトータルの報酬

モーションの模倣のための細かく複雑な報酬設計を避けられる

•

Copyright © GMO Internet Group, Inc. All Rights Reserved.
23

AMP

を素朴に適用し実機にデプロイ

Copyright © GMO Internet Group, Inc. All Rights Reserved.
24

AMP

の課題

•

モーションデータに含まれない動きの対応が難しい
•

具体的には姿勢を崩した状態からの復帰、急旋回
•

モーション、リターゲティング品質に繊細
•

先ほどの動画では足の内側が接触してバランスを大きく崩した

リターゲティングの際に、内股なモーションデータになっていた
•

Copyright © GMO Internet Group, Inc. All Rights Reserved.
25

ここまでのまとめ

カリキュラム

必要なことはこの３つ
•

とにかく

必須
•

リターゲティング

品質の向上

報酬設計
•

Copyright © GMO Internet Group, Inc. All Rights Reserved.
26

目次

1.

背景

: GMO

インターネットグループ陸上部

–

GMO

ロボッツ

2.

データ収集

**: **

モーションキャプチャとリターゲティング

3.

走行ポリシーの学習

4.

これまでの成果と明らかになった課題

5.

まとめと展望

Copyright © GMO Internet Group, Inc. All Rights Reserved.
27

これまでの成果

(PPO)

直線を

5m/s

以上で

•

左右のブレも少ない

安定して走行
•

Copyright © GMO Internet Group, Inc. All Rights Reserved.
28

これまでの成果

(AMP)

•

以下の内容で改善
•

PPO

同様の報酬設計

リターゲティング処理を細かく修正
•

•

左右のブレや安定性には課題が残る

低速、高速の指示に合わせて自然な歩様で推移
•

Copyright © GMO Internet Group, Inc. All Rights Reserved.
29

目次

1.

背景

: GMO

インターネットグループ陸上部

–

GMO

ロボッツ

2.

データ収集

**: **

モーションキャプチャとリターゲティング

3.

走行ポリシーの学習

4.

これまでの成果と明らかになった課題

5.

まとめと展望

Copyright © GMO Internet Group, Inc. All Rights Reserved.
30

まとめ

GMO

ロボッツは、駅伝日本一の陸上部とエンジニアが

組んで、

•

ヒューマノイド

の社会実装を競技という形で前進させるプロジェクト

報酬設計の調整などを行い、強化学習を用いた学習で得たポリシーで

•

5m/s

モーションデータを活用し、人の自然な走りをヒューマノイドの

以上の速度の走行を確認
•

走行時の歩様に反映

Copyright © GMO Internet Group, Inc. All Rights Reserved.
31

今後の展望

•

より安定して高速な走りを獲得
•

自律

走行（レーン認識＋経路追従）との統合

旋回性能の向上
•

ハードウェア側

の効率／放熱

の改善

検証を進める
•

Copyright © GMO Internet Group, Inc. All Rights Reserved.
32

実機

で見えて

きたハードの課題

**5.5m/s **

程度のスピードで

30

〜

40m

走ると

•

発熱

で停止／転倒する

電流指令が高速・大振幅で振動していること

•

が原因で

MOSFET

が異常に発熱

対策候補

•

FF

トルク＋

PD

•

推論

周期

ゲインチューニング
•

放熱

ヒートシンクの追加

の高速化
•

Copyright © GMO Internet Group, Inc. All Rights Reserved.
33