しかし，顔は人間にとって最も親しみのある対象の一つであるため，ＣＧによっ て合成された顔画像では，不自然さを感じてしまうことが多く，人間の顔は画 像生成の中でも最も難しい題材の一つであると言える．さらに，人間の顔を題 材として扱う場合，表情変化という非剛体の変形を考慮する必要があり，これ が自然な顔画像の生成を困難にしている．
表情変化を伴う顔の３次元的な見え方の変化を再現するために，従来から頭部 の３次元形状モデルを利用し，表情変化に合わせてこのモデルを変形させる手 法が提案されている[1]．３次元形状モデルの獲得のためには，レンジファイ ンダ等を利用した計測[2]や，複数の画像から復元する方法[3]などが知られて いる．また，さまざまな表情を生成するには，表情をFACS(Facial Action Coding System)[4]によって記述し，AU(Action Unit)ごとにあらかじめ用意さ れた変形を加えて画像を生成する方法が知られている[5]．しかし，このよう な形状モデル・表情変化モデルを用いた方法では，表情変化における顔表面の ３次元的な動きを正確にモデル化することが困難であるために，自然な顔画像 の生成が難しかった．
それに対し，我々は，入力画像上の２次元座標の線形結合により任意方向の見 え方の２次元座標が表現できるとするUllman等が示した原理[6]を画像生成に 応用し，３次元形状を陽に復元することなく，２枚の入力画像の組合せによっ て直接的に任意方向の見え方画像を生成できることを示した[7]．つまりシス テムの最終目的が画像生成の場合には，モデル化は必ずしも必要ではなく，実 画像をベースとして，対象人物の個性を保持した別の見え方を画像として生成 することができれば十分であるとの考え方である．
実画像をベースとした画像生成は，画像から得られる情報をそのままの形で活 用できるため，自然な顔画像を生成できる．さらに，この利点は，方向による 見え方の変化だけでなく，表情変化にも適用可能であり，顔の方向の変化と表 情の変化を同じ枠組みで統一的に扱うことができる．本稿では，実画像をベー スとして，自然な表情変化を伴う顔画像を生成する手法について述べる．