VRHandsFrame

English Page

オンラインマニュアル v1.3.0 (2022/06/16更新)

目次

  1. アプリケーションの起動
  2. 基本操作
  3. ダッシュボード上での設定変更
  4. 基本設定
  5. 画像保存機能・設定
  6. 翻訳&文字認識機能・設定
  7. 二次元コード読み取り機能・設定
  8. 詳細設定
  9. 設定データの引き継ぎ

追加マニュアル

1.アプリケーションの起動

ダウンロードした圧縮ファイルを解凍後、フォルダにある「VRHandsFrame.exe」を実行してください。 実行後、SteamVRが同時に起動します。
(SteamVRが既に起動している状態であれば、アプリのみが立ち上がります)

初回起動時はSteamVRのスタートアップ設定に登録を行います。
2回目以降は、SteamVRの起動と同時にVRHandsFrameが実行されるようになっています。

※日本語等のマルチバイトを含む場所にアプリを配置した場合、自動起動設定が正常に動作しません。
 これはSteamVRのスタートアップ仕様によるもので、本アプリにおいても対応していません。
 お手数ですが、アプリのインストール場所にご注意していただくようお願いします。

VRHandsFrame.exeを直接実行するごとに、スタートアップ設定は上書きされます。
アプリのフォルダの場所を移動した場合や、異なるバージョンのアプリを実行したい場合は、対象フォルダのVRHandsFrame.exeを直接実行してスタートアップ設定を上書きしてください。

スタートアップ設定の解除を行いたい場合は、SteamVRの設定から行ってください。

2.基本操作

【ステップ1】
両手コントローラのグリップボタンを押しつつ両手を近づけて、
フレームを形づくるようなハンドサインのポーズを取ってください。

【ステップ2】
ポーズを維持している間、白色のフレームが時計回りに生成されていきます。
生成が完了するとフレーム色が変化します。

【ステップ3】
フレーム色の変化後、割り当てられた機能が利用できるようになります。
グリップを押したままコントローラを動かすと、連動してフレームが拡大縮小します。

フレームが完全に生成された後は、両手の角度や位置関係は変えても問題ありません。

【ステップ4】
コントローラを移動させ、被写体をフレーム内に収めてください。
グリップを押し続けたまま左右どちらかのコントローラのトリガーボタンを押すと、割り当てられた機能が実行されます。

左右のコントローラのトリガーを同時押しした場合は、 押した瞬間の位置でフレームを固定して、タイマー機能が動作します。(デフォルトは5秒)

フレーム生成開始時の両手の位置関係によって、二種類の異なる機能が実行可能です。
(デフォルトでは画像保存機能・翻訳機能を割り当てています)

トリガー・グリップの押下が各ゲームの操作に干渉してしまう場合は、 詳細設定の 「 トリガーとグリップの役割を入れ替える」 または 「 ボタンとトリガーのタッチ操作を利用する」 項目を変更すると、ある程度干渉を回避可能です。

※注意
◆フレーム内の領域が極端に狭すぎる・広すぎる場合、領域を判定できません。
◆フレーム色で領域を判定しています。背景・被写体のRGB値がフレーム色と極端に類似している場合は、領域の認識に失敗することがあります。

3.ダッシュボード上での設定変更

SteamVRダッシュボード上でVRHandsFrameのアイコンをポインターで選択すると、設定画面が表示されます。 各種設定はこちらで変更することができます。

設定の変更する際は、設定画面上の赤色ボタン「保存 Save」を選択してください。

また、VRHandsFrameの設定は、「全体設定」「アプリ専用設定」を切り替えて利用することができます。

【全体設定】
起動するゲームによらず共通で利用可能な設定です。

【アプリ専用設定】:
SteamVRで動作するゲーム・アプリごとに保存可能な個別設定です。

設定の切り替えには、ダッシュボード上の緑色ボタン 「全体設定を利用する」または「アプリ専用設定を利用する」を選択してください。

※注意
「保存 Save」ボタンを選択する前に設定の切り替えを行うと、保存前の設定は失われます。ご注意ください。

4.基本設定

ダッシュボード上の「基本設定」タブを選択すると、基本設定の変更が可能です。

【Mode】
左図のハンドサインに割り当てる機能を「Photo(画像保存)」「Translation(翻訳)」「2D Code(二次元コード読み取り)」から選択します。

【Frame Color】
左図のハンドサインに割り当てるフレームの色を設定します。

【ハンドサイン維持時間】
機能が利用可能になるまでに必要なハンドサインの維持時間を設定します。

【フレーム消去時間】
ハンドサインを解除してから、フレームが完全に消去される(待機状態に戻る)までの時間を設定します。

【タイマー秒数】
タイマー機能利用時のカウントを設定します。

【効果音】:
効果音のON/OFFを設定します。

【参照する視界】:
右目か左目のどちらの視界情報を参照するかを選択します

5.画像保存機能・設定

フレーム内の領域を切り取り、画像ファイルとして保存します。
VR内の視界をそのまま切り取る形になるので、 別のオーバレイアプリが動作している場合はUIが映りこむことがあります。

デフォルト状態では、マイピクチャ内の「VRHandsFrame」のフォルダへ保存するようになっています。 また、撮影した画像はアプリケーションごとのサブフォルダに保存されます。

ダッシュボード上の設定変更は「Photo」タブから行ってください。

【画像の保存パス】
画像の保存パスを設定できます。事前にデスクトップ上で保存したいパスをコピーし「Paste」ボタンを選択してください。デフォルト設定に戻したい場合は、「Default」ボタンを選択してください。

6.翻訳&文字認識機能・設定

フレーム内の画像に映された文字を認識し、各言語に翻訳します。

翻訳結果が表示された後は、右手のトリガーでページ送り、左手のトリガーでページ戻しが可能です。翻訳機能を終了する際は、ページの最後で右トリガー押下するか、ページの途中で両手トリガーを同時に押してください。

デフォルトの文字認識エンジンには、Windowsシステムが提供するエンジンを利用しています。
そのため、デフォルトの文字認識を利用する場合は各言語に対応したWindows言語パックのイントールが必要です。 以下のMicrosoft公式マニュアルを参照して翻訳対象(文字認識対象)の言語パックをインストールしてください。

Windows 用の言語パックのインストール

VRHandsFrameの翻訳機能は、デフォルトの状態では1つの翻訳用サーバを利用者に共通で利用してもらっています。翻訳サーバにはGoogle App Script(GAS)というサービスを利用しているため、翻訳回数に制限(5000回/日)があります。つまり、デフォルトの状態では5000回/日の翻訳リソースを、利用者全員で共有してもらっていることになります。

利用者が個別に個人用の翻訳サーバを設置(以下、GAS設定)したり、個人で契約した翻訳エンジン(DeepL、Azure)を利用することも可能です。

GAS設定を行うことで、利用者ひとりひとりが5000回/日の翻訳リソースをフルに利用することができます。
DeepLまたはAzureを個人契約で利用する場合はGAS設定は必須ではありませんが、翻訳回数ではなく文字数による制限が存在します。

デフォルトの翻訳エンジン(GAS)の個人用設定については、以下の追加マニュアルを参照してください。

追加マニュアル:個人用翻訳サーバ(GAS)の導入

また、VRHandsFrameでは、Google Cloud Vision API(以下、Vision API)による画像認識・文字認識を利用可能にしています。Vision APIを利用すると、より高精度な文字認識が可能になります。

Vision APIを利用する場合は、言語パックのインストールは必須ではありませんが、追加設定が必要になります。

Googleのサービスを利用する都合上、無料で利用できる文字認識の回数に1000回 / 月の制限が存在します。1001回目以降はGoogleのサービスに対して課金が発生します。

詳細は以下の追加マニュアルを参照してください。

追加マニュアル:Google Cloud Vision APIを利用する

文字認識・翻訳エンジンの比較表

ダッシュボード上での設定変更は「Translation」タブから行ってください。

【翻訳元の言語】:
翻訳元の言語を設定します。(24ヵ国語)

【翻訳先の言語】:
翻訳先の言語を設定します。(24ヵ国語)

翻訳元と翻訳先の言語を同一にした場合は、翻訳は行わず文字認識結果だけを表示させるようにしています。 認識精度の確認などにご利用ください。

【Font Size】:
翻訳結果のフォントサイズを選択します (S / M / L)

【翻訳エンジン】:
翻訳エンジンを設定します。デフォルトではGoogle App Script(GAS)を利用します。
追加の翻訳エンジンを利用する場合は、以下のConfigファイルに取得したAPIキーを設定してください。

[翻訳エンジン用設定ファイル]
\VRHandsFrame_Data\StreamingAssets\config\translation_api.json

[Default]:
Google App Scriptを利用します。デフォルト設定です。

[DeepL]:
DeepL API (Free/Pro)を利用します。※APIキーの設定が必要です。

[Azure]:
Microsoft Azure APIを利用します。※APIキーの設定が必要です。
AzureのWeb設定画面で選択するリソースのリージョンは”global”を選択してください。

[Mix]:
基本的にはDeepL APIを利用し、DeepL APIが対応していない言語(繁体字中国語、韓国語)にはAzure APIまたはGASを利用します。

【GAS Key】:
デフォルトの翻訳エンジンを利用する場合に、個人用翻訳サーバのGoogle Apps Script API Key(GAS Key)を設定します。
設定方法は追加マニュアルを参照してください。

7.二次元コード読み取り機能・設定

フレーム内の画像に映された二次元コードを読み取ります。

なるべく斜めにならないように正面から二次元コードをフレーム内におさめてください。読み取り結果がURLの場合は、トリガーを押すことでデスクトップ上のブラウザが開くようになっています。

ダッシュボード上での設定変更は「2D Code」タブから行ってください。

【Font Size】:
二次元コード読み取り結果のフォントサイズを選択します (S / M / L)

8.詳細設定

VRHandsFrameの詳細設定を変更可能です。

設定変更は「詳細設定」タブを選択してください。
設定画面が複数存在するため、選択するごとにページが切り替わります。

詳細設定1

【トリガーとグリップの役割を入れ替える】:
設定をONにすると、VRHandsFrame上のトリガーとグリップの役割が入れ替わります。

【 ボタンとトリガーのタッチ操作を利用する】:
設定をONにすると、「グリップ」と「トリガー」の押し込みではなく、「ボタン」と「トリガー」のタッチをフレームの生成・確定の条件に割り当てることができます。
※一部のコントローラはハードウェアの仕様でトリガーのタッチ操作には対応していません。

【 ボタンとトリガーのタッチ操作を利用する】をONにした場合の各種コントローラのバインド

コントローラフレームの生成フレームの確定
Oculus Touchコントローラ
右A&左Xボタンのタッチトリガーのタッチ
Viveコントローラ右&左トラックパッドのタッチトリガーのタッチ
Indexコントローラ右A&左Aボタンのタッチトリガーのタッチ
Vive Cosmos コントローラ右A&左Xボタンのタッチトリガーの押し込み
Windows MR コントローラ右&左トラックパッドのタッチトリガーの押し込み

【現在のアプリ利用中は機能を無効化する】:
設定をONにすると、現在のアプリを利用している場合はVRHandsFrameの機能を無効化します。
(アプリ専用設定での利用を想定)

【フレームの生成サイズを補正する】:
フレームの生成サイズを補正します。
この設定値を大きくするほど、両手の中点から近い場所にフレームが生成されます。
この設定値を小さくするほど、両手の中点から遠い場所にフレームが生成されます。
(アバターの手にフレームが被ってしまう場合の回避策として利用を想定)

【フレーム検出用のしきい値】:
フレーム検出用のしきい値を設定します。(デフォルト値:5)
GPUやHMDの描画処理の違いでフレームが検出できない場合、しきい値を上げると問題が改善されることがあります。

【OVR Advanced Settingsの明るさ設定を無視する】
ONにすると、VRHandsFrameの機能実行中は別のオーバレイアプリ「OVR Advanced Settings」のBrightness(明るさ)設定を無視します。

詳細設定2

【文字認識にGoogle Cloud Vision APIを利用する】:
設定をONにし、追加設定を行うと、文字認識にGoogle Cloud Vision APIが利用可能になります。
Vision APIの設定方法は、追加マニュアルをご参照ください。

【Vision API利用時に言語を推定する [β版]】
Vision API利用時に、文字認識対象の言語を自動推定します。なお、想定している言語と異なる言語として認識されてしまうこともあります。
有効化すると【翻訳元の言語】の設定は無視されます。

9.設定データの引き継ぎ

VRHandsFrameのバージョンアップ時や、別のPCにVRHandsFrameを導入したい場合、設定内容を引き継ぐことができます。

VRHandsFrameの各設定データは、以下のフォルダにjson形式のファイルで保存されています。
設定データを引き継ぎたい場合は、新しいVRHandsFrameの同じ位置に[設定用フォルダ]ごとコピーするか、jsonファイルを個別にコピーしてください。

[設定用フォルダ]
\VRHandsFrame_Data\StreamingAssets\config

[全体設定ファイル]
\VRHandsFrame_Data\StreamingAssets\config\global.json

[アプリ専用設定ファイル]
\VRHandsFrame_Data\StreamingAssets\config\[アプリ名]\settings.json

[Vision API用設定ファイル]
\VRHandsFrame_Data\StreamingAssets\config\vision_api.json

[翻訳エンジン用設定ファイル]
\VRHandsFrame_Data\StreamingAssets\config\translation_api.json