【VTuber目指して】Webカメラ無しでフェイストラッキングする方法

2021/03/08

VTuber

t f P L

Webカメラ無しでフェイストラッキングする方法

VTuberとしてデビューする為に、3Dモデルを既に作りました。後は、3Dモデルを動かす為にトラッキングするだけです。

フェイストラッキングには、Webカメラが必要だよね。

実は、Webカメラが無くてもフェイストラッキングをすることができます。

  • Webカメラが故障して使えない場合
  • Webカメラを持っていない場合
  • でも大丈夫です。
    本記事では「Webカメラ無しでもフェイストラッキングできる方法」を紹介していきます。

    【VTuber目指して】VRoidで3Dモデルを試験的に作ってみた

    最近VTuberに憧れている筆者が遂に3Dモデルを作製しました。

    スマホのカメラでWebカメラを代用してフェイストラッキングする方法

    Webカメラが使えないので、スマホで代用できないかと検討した結果、「iVCam」というアプリを使う方法を見つけました。

  • スマホでWebカメラの代用をする方法
  • この方法では、まずスマホ側に「iVCam」というアプリをインストールし、続いてパソコンにも「iVCam」のソフトをインストールします。

    面倒くさいね・・。

    この時点でかなり面倒くさいのですが、まだまだこれで終わりではありません。
    インストールが完了したら、次は、スマホとパソコンを接続するために、パソコンのIPv4アドレス(ネットワーク上の住所)を調べます。

    どうやって、「IPv4アドレス」を調べるの?

    パソコンのIPアドレスを調べる

    まず、コマンドプロンプトか、PowerShellを開きます。次に、「ipconfig」と入力して「Eneter」キーを押します。そこで「IPv4アドレス」示されています。

    PowerShellでipconfigを入力する

    パソコンの"IPv4アドレス"が判明したら、スマホの「iVCam」アプリを開き、入力していきます。

    難しい・・・。

    接続が完了したら、パソコン側にスマホカメラの映像が出力されます。

    フェイストラッキングを開始する

    スマホカメラの映像が出力されたら、次に、

  • 3tene
  • hitogata
  • VMagicMirror
  • 等、使用するフェイストラッキングソフトを起動します。
    フェイストラッキングソフト側で、カメラを設定します。
    これで、スマホのカメラを通して、フェイストラッキングする準備が整いました。後は、フェイストラッキングを開始して、3Dモデルを動かすだけです。

    ここまで長かったね。

    ところで、ちゃんとフェイストラッキングできるの?

    実際にiVCamを使用してフェイストラッキングして録画した動画がこちらです。

    ちゃんと3Dモデルが動作しています。「iVCam」を使った"仮想Webカメラ(Webカメラをスマホで代用する方法)"でもしっかりとフェイストラッキングが機能しています。

    iVCam等を使った仮想Webカメラでのフェイストラッキングの欠点

    ただし、この、iVCam等の仮想Webカメラ(Webカメラをスマホで代用する方法)を利用したフェイストラッキングには、やや欠点があります。
    オンライン会議や、オンライン飲み会等の通常用途での使用では特に問題はありません。しかし、用途が"フェイストラッキング"である場合、話が違ってきます。
    まず"遅延"の問題があります。 3Dモデルを動かす"フェイストラッキング"において"遅延"は

  • 3Dモデルの動作が安定しない場合がある
  • トラッキング精度が落ちる
  • などの原因となります。

    回線の問題?

    その通りです。"動画"という大きな容量のデータが、インターネットを一度経由するため、回線状況に大きく左右されます。 また、回線の状況が良くても、有線で直接通信する場合と比較して遅く、また、回線状況は常に変化します。 その上、これからYouTubeに配信していく事を考えれば、余程優良な回線でない限りはオススメできません。

    ライブ配信には向いていないってことね・・。

    録画配信とか、いっそのこと録画して動画を投稿する分には大丈夫?

    ライブ配信をしない分、回線のリソースを使えるため、"録画"には使用しても特に問題は無いと思います。(よほど回線状況が悪くなければ)

    Webカメラを買ったらフェイストラッキングの精度と感度が向上した

    実は、最近"ヨドバシカメラ"にて"Webカメラ"を購入しました。

    購入したSUNEAST Webカメラの写真
    購入したWebカメラは「suneast WebCamera」です。

    品薄は解消しているのね!

    ヨドバシカメラを歩いている限りでは、Webカメラが売り切れている様子は特に見受けられませんでした。品薄状態は既に解消されている様です。

    それで、Webカメラでのフェイストラッキングはどうだったの?

    実際にフェイストラッキングをしてみた結果、仮想のWebカメラでのフェイストラッキングとは比べものにならないほどにトラッキングの感度や精度が良く、感動しました。
    Webカメラをパソコンに有線(ケーブル)で接続しているので、通信速度もやはり圧倒的に早いです。 また、遅延や回線状態による解像度の低下も起こらないため、細かい動作までしっかり感知してくれます。

    全然違うのね(笑)。

    以上のことから、フェイストラッキングをするに当たり、基本的にはWebカメラを使用し、仮想Webカメラ(Webカメラをスマホで代用する方法)は一時的または、緊急的な使用に留めることをおすすめします。

    【VTuber】VRoidで作製した3DモデルでYouTubeに配信する

    VRoidで作製した3Dモデルを使ってYouTubeに配信するためには、トラッキングツール、配信ソフトが必要になります。本記事では、必要なソフトから配信までの流れを解説しています。



    QooQ