Webカメラ無しでフェイストラッキングする方法

VTuberとしてデビューする為に、3Dモデルを既に作りました。後は、3Dモデルを動かす為にトラッキングするだけです。

実は、Webカメラが無くてもフェイストラッキングをすることができます。

Webカメラが故障して使えない場合

Webカメラを持っていない場合

でも大丈夫です。
本記事では「Webカメラ無しでもフェイストラッキングできる方法」を紹介していきます。

Webカメラが使えないので、スマホで代用できないかと検討した結果、「iVCam」というアプリを使う方法を見つけました。

スマホでWebカメラの代用をする方法

この方法では、まずスマホ側に「iVCam」というアプリをインストールし、続いてパソコンにも「iVCam」のソフトをインストールします。

この時点でかなり面倒くさいのですが、まだまだこれで終わりではありません。
インストールが完了したら、次は、スマホとパソコンを接続するために、パソコンのIPv4アドレス(ネットワーク上の住所)を調べます。

まず、コマンドプロンプトか、PowerShellを開き、「ipconfig」と入力して「Eneter」キーを押します。そこに「IPv4アドレス」が示されています。
次に、パソコンの"IPv4アドレス"が判明したら、スマホの「iVCam」アプリを開き、入力していきます。

接続が完了したら、パソコン側にスマホカメラの映像が出力されます。

スマホカメラの映像が出力されたら、次に、

3tene

hitogata

VMagicMirror

等、使用するフェイストラッキングソフトを起動します。
フェイストラッキングソフト側で、カメラを設定します。
これで、スマホのカメラを通して、フェイストラッキングする準備が整いました。後は、フェイストラッキングを開始して、3Dモデルを動かすだけです。

「iVCam」を使った"仮想Webカメラ(Webカメラをスマホで代用する方法)"でもしっかりとフェイストラッキングは機能します。

ただし、この、iVCam等の仮想Webカメラ(Webカメラをスマホで代用する方法)を利用したフェイストラッキングには、やや欠点があります。
オンライン会議や、オンライン飲み会等の通常用途での使用では特に問題はありません。しかし、用途が"フェイストラッキング"である場合、話が違ってきます。
まず"遅延"の問題があります。 3Dモデルを動かす"フェイストラッキング"において"遅延"は

3Dモデルの動作が安定しない

トラッキング精度が落ちる

などの原因となります。

その通りです。"動画"という大きな容量のデータが、インターネットを一度経由するため、回線状況に大きく左右されます。
回線状況は常に変化します。 ただでさえ、有線で直接通信する場合と比較して圧倒的に遅いのに、回線が不安定になれば、さらに遅延が悪化します。 そして、これからYouTubeに配信していく事を考えれば、回線に負担を掛けるのはおすすめできません。

ライブ配信をしない分、回線のリソースを使えるため、"録画"には使用しても特に問題は無いと思います。(よほど回線状況が悪くなければ)

実は、最近"ヨドバシカメラ"にて"Webカメラ"を購入しました。

購入したWebカメラは「suneast WebCamera」です。

ヨドバシカメラを歩いている限りでは、Webカメラが売り切れている様子は特に見受けられませんでした。品薄状態は既に解消されている様です。

実際にフェイストラッキングをしてみた結果、仮想のWebカメラでのフェイストラッキングとは比べものにならないほどにトラッキングの感度や精度が良く、感動しました。
Webカメラをパソコンに有線(ケーブル)で接続しているので、通信速度もやはり圧倒的に早いです。 また、遅延や回線状態による解像度の低下も起こらないため、細かい動作までしっかり感知してくれます。

以上のことから、フェイストラッキングをするに当たり、基本的にはWebカメラを使用し、仮想Webカメラ(Webカメラをスマホで代用する方法)は一時的または、緊急的な使用に留めることをおすすめします。