第５章 実験結果

5.1 顔表面上の特徴点と三角形パッチ

顔画像上に86点の特徴点を配置する．特徴点は，眼や口などの顔部品の端点に 加え，表情変化による移動量が多い場所に配置した．これらの特徴点の対応付 けは，現時点では顔表面にマーキングをつけ，手入力により与えている．また， 図3に示すような，特徴点を頂点とする158面の２次元の三角形パッチを作成し た．
[2-D triangular patches]
Figure 3: Flow of the process

5.2 画像生成

まず，図4(a)に示す２枚の顔画像を入力とし，生成する顔の方向を角度で指定 する実験を行った．３次元座標が既知の代表的な特徴点として，眼の端・鼻頂 点・耳つけ根の５点を用いた．正面顔から左右に-30°, 0°, 30°，上下に- 20°, 0°, 20°回転させた場合の生成画像を，図4(b)に示す．３次元的な回 転を含む任意方向の見え方が，正しく生成されていることがわかる．
[Various poses using two input images]
Figure 4: Flow of the process
次に，生成画像と実画像を対比するために，同一人物のサンプル画像を利用し て顔画像を生成する実験を行った．図4(a)に示す２枚の顔画像を入力とし，図 5(a)に示すような，入力画像と同一人物の正面向きの顔画像をサンプル画像と して用意した．サンプル画像では，眼の端・鼻頂点・耳つけ根の５点の特徴点 のみが抽出されており，同じ方向の見え方を，入力画像から生成した．生成さ れた顔領域をサンプル画像に上書きした結果を図5(b)に示す(上書きされた画 像では，髪の毛・顔の輪郭部などはサンプル画像が，顔領域は生成画像が使わ れている．なお，上書きの際には，滑らかにつながるように，接合部で平滑化 を行っている)．サンプル画像と生成画像を比較すると，眼などに微妙な違い が見られるが，ほとんど区別のつかない自然な顔画像が生成できることがわか る．
[Sample image] [Synthesized image]
Figure 5: The comparison of synthesized image with real image
(left:sample image, right:synthesized image)
さらに，顔の方向変化と表情変化を統合し，いくつかの方向と表情を持った入 力画像を用いて顔画像を生成する実験を行った．３種類の表情を異なる２方向 から撮影した入力画像を図6に示す．図7(a)は生成したい画像の顔の向きを示 すサンプル画像であり，入力画像の人物とは別人である．サンプル画像からは， 個性や表情変化に影響を受けにくい，眼の端・鼻頂点・耳つけ根・あごの先の ６点の２次元座標を抽出した．なお，片方の耳の付け根が隠れている場合は， 残りの５点だけで線形結合の係数を求めている．図7(b)は，入力画像の３表情 (眉あげ，笑い，嫌悪)に対する重みをそれぞれ順に(1,0,0), (1/2,1/2,0), (0,1,0), (0,1/2,1/2), (0,0,1)に設定して，生成された表情である．入力画 像の表情の中間の表情という，新たな向きと表情を持つ見え方が生成できた．
[input image 1] [input image 2] [input image 3]
[input image 4] [input image 5] [input image 6]
Figure 6: Input images with three expressions
[Sample images (different person) and synthesized images]
Figure 7: Sample images (different person) and synthesized images
次に，入力画像と同一人物のサンプル画像を用いて，表情を変化させた顔画像 を生成する実験を行った．図8(a)はサンプル画像であり，(b)は生成された顔 領域をサンプル画像に重ね書きすることで得られた画像である．このように， 入力画像と同一人物のサンプル画像が利用できる場合には，実物とほとんど見 分けのつかない自然な顔画像が生成できることがわかる．
[Sample images (same person) and synthesized images]
Figure 8: Sample images (same person) and synthesized images
トップページに戻る
第４章に戻る
第６章に進む