Slide 1: 機械学習向けCGデータの量産手法の検討
機械学習向けCGデータの 量産手法の検討 シリコンスタジオ株式会社 技術本部 佐藤 晶威 masatake.sato@siliconstudio.co.jp
Slide 2: 本講演の内容
本講演の内容 • 機械学習におけるCG技術の需要 • CG制作のアプローチと課題 • 画像品質合わせ込みの自動化検討 • レゴブロックを用いた実写とCGの品質比較検証
Slide 3: もくじ
もくじ • 背景と目的 • CG制作のアプローチ • 課題 • 解決方法 • 実現手段 • 実験と結果 • まとめ
Slide 4: シリコンスタジオのビジネス戦略
シリコンスタジオのビジネス戦略 • 産業分野を越えて活用できるソリューション/技術の提供 – ゲーム産業、アニメ産業 – 製造業、広告業 • グラフィックス技術を転用した新規サービスの開拓 – 広告販促向けCG – 組み込みグラフィックス – 機械学習
Slide 5: 機械学習を活用したサービス
機械学習を活用したサービス IoT 自立走行/運転支援 分析/推定 制御 外観検査 機械学習 画像認識 レコメンデーション 音声認識 言語認識 自動翻訳 文書検索エンジン 設備監視/認証 OCR 医療画像診断
Slide 6: 注目分野と技術開発の方向性
注目分野と技術開発の方向性 • 画像認識を中心とした機械学習技術 – 外観検査 – 設備監視/認証 – 自立走行/運転支援 – OCR • 機械学習におけるコンピュータグラフィックス技術活用 – 学習用CG画像データの作成 – 評価用シミュレーション環境の構築
Slide 7: 画像認識における機械学習の基本的な流れ
画像認識における機械学習の基本的な流れ 猫 列車 教師 学習 カテゴリ整理 トレーニング 分類器 データ 画像前処理 タグ付け テスト 未知の画像 データ 確認 画像データセット 猫 推論結果 野菜 データセット作成 機械学習 推論
Slide 8: 画像データセットの特徴
画像データセットの特徴 • 一定規模の画像データが必要 – 数千枚〜数万枚 – タグ情報付き CompCars dataset • 事象の網羅性も重要 PubFig83 + LFW Dataset – 同じ場所で天候が異なる – 発生頻度が低い状況 NEU surface defect database
Slide 9: 機械学習におけるCG活用事例
機械学習におけるCG活用事例 • 自動運転向け（物体認識用途）の事例 – Virtual KITTI、SYNTHIA – VERTECHs Virtual KITTI dataset • 画像データセットをCGで作成 – 実測よりも低コストに量産 – 多様なバリエーション – 実写画像に準じた画質 SYNTHIA Dataset
Slide 10: 機械学習向けCG制作のための仕組み作り
機械学習向けCG制作のための仕組み作り • 〜2016年 – リアルタイムグラフィックスを活用した画像データ生成 • 持ち合わせのツールで最大限の品質で制作 • 2017年〜 – CG画像量産化のための制作手法検討 – 学習に効果的な品質への合わせ込み手法検討 – .- 目的：少量の実写画像サンプルに基づく学習用CG画像データ量産 （数千枚〜数万枚のバリエーション画像）
Slide 11: もくじ
もくじ • 背景と目的 • CG制作のアプローチ • 課題 • 解決方法 • 実現手段 • 実験と結果 • まとめ
Slide 12: CG制作のアプローチ
CG制作のアプローチ • 画像データを低コストに量産する – リアルタイムグラフィックスの活用 • バリエーションを表現する – プロシージャル生成技術の活用 • 実写画像に準じた品質にCG画像を合わせ込む – パラメータチューニングの実施
Slide 13: リアルタイムグラフィックスの活用
リアルタイムグラフィックスの活用 • -
Slide 14: FAOD—F V7 IVERMIRMIOG AA
FAOD—F V7 IVERMIRMIOG AA
Slide 15: Ei Silicon Studio
2 Ei Silicon Studio FOY—F V7 ILDEMIRMO GA
Slide 16: パラメータチューニングの実施
パラメータチューニングの実施 写真 簡易描画 〇 ×実 写 レ 照明配置調整 × ゴ × 判 定 器 × レンズ効果調整 カメラアングル変更 〇
Slide 17: もくじ
もくじ • 背景と目的 • CG制作のアプローチ • 課題 • 解決方法 • 実現手段 • 実験と結果 • まとめ
Slide 18: 機械学習向けCG制作の状況
機械学習向けCG制作の状況 CG • 画像データの低コスト量産 ✓ CG – リアルタイムグラフィックス CG CG ✓ • バリエーションの表現 ✓ 実写 – プロシージャル生成 CG • CG画像品質の合わせ込み × ドメイン – パラメータチューニング • 時間を要する
Slide 19: 現状のパラメータチューニングの流れ
現状のパラメータチューニングの流れ CGデータ レンダリング CG画像 パラメータ設定値 CGデータ修正 試行錯誤 カメラ位置 10.259 7.55 -3.231 チューニング度合い ライト位置 -50.5 7.55 -50.0 パラメータ調整 ライト明るさ 0.7 被写体位置 評価 検討 0.0 0.5 0.0 … 例示写真 （品質指標） 評価結果
Slide 20: パラメータチューニングの課題
パラメータチューニングの課題 • 主観によるチューニング度合いの評価 – 制作初期の要件決めをする上では重要 – 合わせ込みはより明確な指標が必要 • 試行錯誤の複雑化 – パラメータ数の増加に伴う試行回数増加 – 実験の網羅性 • - 試行錯誤を網羅的に素早くこなす手段が必要
Slide 21: もくじ
もくじ • 背景と目的 • CG制作のアプローチ • 課題 • 解決方法 • 実現手段 • 実験と結果 • まとめ
Slide 22: パラメータ自動チューニング技術の開発
パラメータ自動チューニング技術の開発 • チューニング度合いの定量評価 – 目標品質を明確化する – 目標品質に対するズレを客観的に把握する • 試行錯誤の自動化 – パラメータ探索の網羅性を維持して取りこぼしを減らす – 高感度パラメータの高精度な合わせ込み
Slide 23: パラメータ自動チューニングの流れ
パラメータ自動チューニングの流れ … … CGデータ レンダリング CG画像 パラメータ設定値 パラメータ設定値 CGデータ修正 カメラ位置 パラメータ設定値 10.259 7.55 -3.231 カメラ位置 10.259 カメラ位置 ライト位置 -50.5 ライト位置 -50.5 10.259 7.55 7.55 7.55 7.55 -50.0 -3.231 -3.231 -50.0 試行錯誤の自動化 ライト位置 ライト明るさ 0.7 -50.5 7.55 -50.0 ライト明るさ 0.7 被写体位置 ライト明るさ 0.0 0.7 0.5 0.0 パラメータ チューニング度合い 定量評価 被
Slide 24: もくじ
もくじ • 背景と目的 • CG制作のアプローチ • 課題 • 解決方法 • 実現手段 • 実験と結果 • まとめ
Slide 25: パラメータ自動チューニングの要素技術
パラメータ自動チューニングの要素技術 • チューニング度合いの定量評価 画像特徴量を用いた 類似度計算 – 例示写真とCG画像の類似度で評価 • 試行錯誤の自動化 最適化問題を用いた パラメータの自動探索 – 評価結果に基づくパラメータ自動調整
Slide 26: チューニング度合いの定量評価
チューニング度合いの定量評価 • 分類器から画像特徴量を抽出 • 特徴量間の類似度※を「チューニング度合い」として使用 分類器 (多層ニューラルネットワーク) CG画像 例示写真 画像特徴量 画像特徴量 類似度計算 ※ コサイン類似度 類似度 0.852456
Slide 27: チューニング度合いの定量評価
チューニング度合いの定量評価 • Deep Features [B. Zhou, 2014] – 分類器の中間層出力を画像特徴量として使用 推論結果 ピクセル 犬 データ 猫 猫 鳥 レゴ 列車 画像特徴量 … 画像 分類器（多層ニューラルネットワーク）
Slide 28: チューニング度合い定量化の例
チューニング度合い定量化の例 CG画像 手書き画像 0.855546 0.200546 CG画像 0.135256 写真 0.587124 CG画像
Slide 29: 試行錯誤の自動化手法
試行錯誤の自動化手法 • 最適化問題を用いたパラメータ自動探索 – 進化的アルゴリズム※を使用 例示画像 CGデータ カメラ撮影位置の自動探索例 ※ 自己適応型差分進化SHADE [Tanabe 2013]
Slide 30: 試行錯誤の自動化手法
試行錯誤の自動化手法 • 最適化問題を用いたパラメータ探索手法を採用 – CAD/CAE等グラフィックス関連の技術/手法を調査（90’s〜） GRABCAD Community CAD(形状データ修正) CAE(流体解析) 自動反復 SMART BLADE GmbH 曲面パラメータ更新 性能評価 翼断面の形状最適化（空力特性の改善）の例
Slide 31: もくじ
もくじ • 背景と目的 • CG制作のアプローチ • 課題 • 解決方法 • 実現手段 • 実験と結果 • まとめ
Slide 32: 実験概要
実験概要 • 目的 – パラメータ自動チューニングの効果検証 • 実施内容 – 例示写真の品質にCG画像を近づける • 実験対象 – 外観検査を想定したシンプルな対象からスタート – レゴブロック • 製造ばらつきの少なさ、入手性高、撮影簡単 • CGデータ制作コストも低
Slide 33: 実験
実験 • 事前準備 – レゴCGデータの作成 – レゴ分類器の学習（チューニング度合い定量評価用） • 実験結果
Slide 34: チューニング対象パラメータ
チューニング対象パラメータ • レンダリング品質に与える影響が顕著で、編集頻度の高いものをピックアップ(全53変数) – レゴブロックの位置 – カメラの位置 空間配置パラメータ – ライトの位置、明るさ、大きさ – 被写界深度（焦点距離、F値等） 撮影カメラ特性パラメータ – 露光、色相、彩度、明度、ホワイトバランス、ガンマ
Slide 35: 空間配置パラメータ
空間配置パラメータ • Maya 2017で仮想撮影環境を構築 ライト（面光源） カメラ ライト（平行光源） ライト（面光源） レゴブロック Brick Generator & ライト（面光源） Build A Brick
Slide 36: カメラ特性パラメータ
カメラ特性パラメータ • YEBIS for Mayaを使って近似 グレア効果 色相変更 レンズボケ効果
Slide 37: 実験
実験 • 事前準備 – レゴCGデータの準備 – レゴ分類器の学習（チューニング度合い定量評価用） • 実験結果
Slide 38: まずレゴ写真を撮影
まずレゴ写真を撮影 • レゴブロックの撮影環境 Webカメラ レゴブロック 回転台
Slide 39: レゴ写真データセットのカテゴリ
レゴ写真データセットのカテゴリ • 26種類のレゴブロックを選定
Slide 40: レゴ写真データセットの構成
レゴ写真データセットの構成 270枚 2X3_青 … 26種類 2X4_灰 … ・ ・ ・
Slide 41: レゴ写真データセットを使って分類器を学習
レゴ写真データセットを使って分類器を学習 • レゴブロックの種類を判別する多層ニューラルネットワーク – Deep Learningで学習（ImageNet学習済みモデルからファインチューニング） 推論結果 2X3_青 1X4_白 2X3_赤 2X2_灰 2X3_赤 1X1_緑 画像特徴量 … … レゴ分類器（多層ニューラルネットワーク）
Slide 42: 実験
実験 • 事前準備 – レゴCGデータの準備 – レゴ分類器の学習（チューニング度合い定量評価用） • 実験結果
Slide 43: パラメータ自動チューニング実験１
パラメータ自動チューニング実験１ 例示画像 レゴCGデータ（初期状態） CG画像
Slide 44: Ei Silicon Studio
2 Ei Silicon Studio Classify 14, b'302121.Plate_2X3_BrightRed’ ow 415 b'302323,Plate_1X2_BrightBlue* | Ow 19 b'4107736.Brick_1X2_DarkGreen’ | 0% 22. b'4125281.BrickCormer1X2X2_DarkGreen’ Ow 23, b'4211385.Brick_2X4_MediumStoneGray’ Ow
Slide 45: Silicon Studio
Silicon Studio Silico NIA—FRHF 1——YTHMOCGH Rites i chssity - a x Load \[ Predict Class Probability “ 1 b'235701.BrickComer_1X2X2_White’ Ow 2. b'243101.FlatTile_1X4 White’ ow 3. b'300124Brick 2X4 Yellow’ ow 4 b'300221.Brick 2X3 BrightRed’ ow 5 b'300223.Brick 2X3 BrightBlue’ ow 6 b'300224Brick 2X3 Bri
Slide 46: EB sitcon Studio /
EB sitcon Studio / N5SA—-F RHF 1I—=—YIORF ©Silicon Studio Corp, all rights reserved.
Slide 47: パラメータ自動チューニング結果
パラメータ自動チューニング結果 例示画像 レゴCGデータ CG画像 Optimizer -predict; // Predicting rendered image's class... // // Predicted class: 4211387.Brick_2X2_MediumStoneGray(0.999987) //
Slide 48: & sitcon Stud /
& sitcon Stud / NIXA—-A BHF 1——Y TROCGH RMR i chssity - a x Load If Predict Cass Probability ry 13, b'3O1021.8nck_1X4 BnghtKed! 14 b'302121.Plate,_2X3_BrightRed! R & ® BR ® 8 weet a b'302323-Plate_1X2_BrightBlue’ 302326 Plate_1X2 Black’ b’371001.Plate_1X4 White! b’371026 Plate_1%4 Black’ b'4107736.B
Slide 49: パラメータ自動チューニング実験2
パラメータ自動チューニング実験2 • ｇｄｓ 例示画像 レゴCGデータ CG画像
Slide 50: Ei Silicon Studio
2 Ei Silicon Studio Pz ELROD Hea te FS 3 Classify Load Predict Class Probability. 1 b'235701.BrickComer_1X2X2_White’ 0% 2 b'243101.FlatTile_1X4_White’ Ow 3 b'300124,.Brick_2X4_Yellow’ Ow = : 8 b'300423.Brick_1X2_BrightBlue’ 0% 9 b'300424.Brick_1X2_BrightYellow’ 0% 10 b'300426.Brick_1X2_Black’ Ow 11,
Slide 51: Ei Silicon Studio
€ Ei Silicon Studio CGHKOHRBR (BHFI——>7 mw) - ag x Load Predict Chass Probability “ 1. b'235701.BrickComer_1X2X2 White’ ow 2. b'243101-FlatTile_1%4 White’ O% 3. b'300124Brick 2X4 Yellow’ o% 4 b'300221.Brick_2X3 BrightRed’ 1% 5 b'300223.Brick 2X3. BrightBlue’ Ow (6 b'300224.Brick_2X3 BrightYellow’ ow
Slide 52: パラメータ自動チューニングの様子
52 パラメータ自動チューニングの様子
Slide 53: パラメータ自動チューニング結果
パラメータ自動チューニング結果 Optimizer -predict; // Predicting rendered image's class... // // Predicted class: 4211387.Brick_2X2_MediumStoneGray(0.999987) // 例示画像 レゴCGデータ CG画像
Slide 54: パラメータ自動チューニング後のCG画像推論結果
パラメータ自動チューニング後のCG画像推論結果 Optimizer -predict; // Predicting rendered image's class... // ✓ // [YEBIS] レンダー設定と異なる解像度でレンダリングします (効果が一致しない可能性があります) // // Predicted class: 300221.Brick_2X3_BrightRed(0.994896) // // [YEBIS] レンダー設定と異なる解像度でレンダリングします (効果が一致しない可能性があります) //
Slide 55: Ei Silicon Studio
2 Ei Silicon Studio AF 1 ——>T7klcCG7—F tee - a x Load Predict Class Probability a 1_b'235701.BrickCorner_1X2X2_White’ Ow 2 -b'243101.FlatTile_1X4_White’ 0% es = o ———_ | —— . ———— : 19 b'300424.Brick_1X2_BrightVellow’ o% 10 b'300426.Brick_1X2_Black’ Ow 11 b'300528.Brick_1X1_DarkGreen’ Ow 12. b'30100
Slide 56: Ei Silicon Studio
2 Ei Silicon Studio AF 1 ——>T7klcCG7—F tee - a Load Predict Class, Probability. 1 b'235701.BrickComer_1X2X2_White’ Ow 2. b'243101.FlatTile_1X4_White’ Ow 3 b'300124,Brick_2X4_Yellow' Ow ——— a le ————— : <a : 9 b'300424.Brick_1X2_BrightVellow’ Ow 10 b'300426.Brick_1X2_Black’ Om 11 b'300528.Brick_1X1_D
Slide 57: Ei Silicon Studio
2 Ei Silicon Studio AF 1 ——>T7klcCG7—F tee Bama ox Load ] Prosist | Gen rsbality “| 4 WSO2NBck 213 Brighted 5 Beouzzssrck 2 Brightue [5 wsonz2ascick 2X3 Bightlow! [7 Wsons26aick, 242 Black! 2 W30measrck12 Brightshe 5 Wsonteaseck 1K Bigelow’ a Beoowsssick 12 Black 11, 3n0528ack 1X4 Darren 12 20a nck
Slide 58: 実験結果
実験結果 • 例示画像とCG画像の差異 ✓ – おおよそのライト方向/カメラ撮影姿勢を復元 – 青味を帯びた色調 ✓ • CG画像の推論結果 × – 自動チューニングによる改善効果を確認 ✓ – チューニング後編集でバリエーション生成 ✓
Slide 59: もくじ
もくじ • 背景と目的 • CG制作のアプローチ • 課題 • 解決方法 • 実現手段 • 実験と結果 • まとめ
Slide 60: 結論
結論 • 機械学習向けCG画像データの品質改善手法を検討 • CGパラメータの自動チューニング手法を開発 • レゴブロックを使った検証実験を実施 • 機械学習に役立つCG画像を作れる見通しを得た – 自動化による合わせ込み品質改善 – バリエーション生成
Slide 61: 今後の計画
今後の計画 • レゴブロックでの実験 – 十分な数の実験 – CG画像で学習 / 写真で推論 • より実践に近い対象で自動チューニング検証 – キズ/クラック写真 → プロシージャルテクスチャ – 人物画像 → 人体モデルリグ • パラメータチューニング技術の改善 – 実写とCG画像との差異の要因把握 – チューニング処理の高速化