VRHandsFrame – マニュアル

English Page

オンラインマニュアル v1.5.4 (2024/02/17 更新)

アプリケーションの起動
基本操作
ダッシュボード上での設定変更
基本設定
画像保存機能・設定
翻訳＆文字認識機能・設定
二次元コード読み取り機能・設定
詳細設定
システム設定
デスクトップからの設定変更
設定データの引き継ぎ

追加マニュアル

１．アプリケーションの起動 ▼

ダウンロードした圧縮ファイルを解凍後、フォルダにある「VRHandsFrame.exe」を実行してください。
実行後、SteamVRが同時に起動します。
(SteamVRが既に起動している状態であれば、アプリのみが立ち上がります)

初回起動時は利用規約が表示されます。一読の上、「同意してアプリを起動する」をクリックしてください。

また、初回起動時はSteamVRのスタートアップ設定に登録を行います。
2回目以降は、SteamVRの起動と同時にVRHandsFrameが実行されるようになっています。

※日本語等のマルチバイトを含む場所にアプリを配置した場合、自動起動設定が正常に動作しません。
　これはSteamVRのスタートアップ仕様によるもので、本アプリにおいても対応していません。
　お手数ですが、アプリのインストール場所にご注意していただくようお願いします。

VRHandsFrame.exeを直接実行するごとに、スタートアップ設定は上書きされます。
アプリのフォルダの場所を移動した場合や、異なるバージョンのアプリを利用したい場合は、対象フォルダのVRHandsFrame.exeを直接実行することでスタートアップ設定が上書きされます。

スタートアップ設定の解除を行いたい場合は、後述の「システム設定」を変更するか、SteamVR側の設定から変更を行ってください。

２．基本操作 ▲ ▼

【ステップ1】

両手コントローラのグリップボタンを押しつつ両手を近づけて、
フレームを形づくるようなハンドサインのポーズを取ってください。

【ステップ2】

ポーズを維持している間、白色のフレームが時計回りに生成されていきます。
生成が完了するとフレーム色が変化します。

【ステップ3】

フレーム色の変化後、割り当てられた機能が利用できるようになります。
グリップを押したままコントローラを動かすと、連動してフレームが拡大縮小します。

フレームが完全に生成された後は、両手の角度や位置関係は変えても問題ありません。

【ステップ4】

コントローラを移動させ、被写体をフレーム内に収めてください。
グリップを押し続けたまま、右コントローラのトリガーを押すと、割り当てられた機能が実行されます。
(左右どちらのトリガーを機能実行用に利用するかは、設定で変更可能です)

フレーム生成開始時の両手の位置関係によって、デフォルトで実行する機能を2種類設定可能です。
(初期状態では画像保存機能・翻訳機能を割り当てています)

タイマー機能

左右のコントローラのトリガーを同時押しした場合は、押した瞬間の位置でフレームを固定して、タイマー機能が動作します。(デフォルトは5秒)

トリガー・グリップの押下が各ゲームの操作に干渉してしまう場合は、詳細設定の「トリガーとグリップの役割を入れ替える」または「ボタンとトリガーのタッチ操作を利用する」項目を変更すると、ある程度干渉を回避可能です。

VR上での撮影モード切り替え

VR上で左コントローラのトリガーを押すことで、撮影モードを切り替えることができます。
(左右どちらのトリガーを機能切り替え用に利用するかは、設定で変更可能です)

トリガーを押すごとに

➝「画像切り取り」➝「翻訳・文字認識」➝「二次元コード読み取り」➝「画像切り取り」➝ ・・・

の順番で、撮影モードが切り替わります。

※VR上で切り替えたモードの状態は保存されません。初期モードを変更したい場合は、VRダッシュボード上の【Default Mode】の設定を行ってください。

フレーム操作・領域指定時の注意点

◆ フレーム内の領域が極端に狭すぎる・広すぎる場合、領域を判定できません。
◆ フレーム色で領域を判定しています。背景・被写体のRGB値がフレーム色と極端に類似している場合は、領域の認識に失敗することがあります。
◆ 領域指定時は左右どちらかの視界を参照します。領域指定がうまくいかない場合は、片目をつぶりながら機能を実行してみてください。(参照する視界は設定で変更可能です)

３．ダッシュボード上での設定変更 ▲ ▼

SteamVRダッシュボード上でVRHandsFrameのアイコンをポインターで選択すると、設定画面が表示されます。各種設定はこちらで変更することができます。

表示言語の設定は、ダッシュボード左下の【言語設定】ボタンから行ってください。日本語と英語に対応しています。

【システム設定】以外の項目を変更する際は、設定画面上の赤色ボタン「保存 Save」を選択してください。

VRHandsFrameの設定は、「全体設定」と「アプリ専用設定」を切り替えて利用することができます。

【全体設定】

起動するゲームによらず共通で利用可能な設定です。

【アプリ専用設定】

SteamVRで動作するゲーム・アプリごとに保存可能な個別設定です。

設定の切り替えには、ダッシュボード上の緑色ボタン「全体設定を利用する」または「アプリ専用設定を利用する」を選択してください。

※注意
「保存 Save」ボタンを選択する前に設定の切り替えを行うと、保存前の設定は失われます。ご注意ください。（システム設定は除く）

４．基本設定 ▲ ▼

ダッシュボード上の「基本設定」タブを選択すると、基本設定の変更が可能です。

基本設定1

【初期モード】

左図のハンドサインに初期状態で割り当てるモードを「撮影」「翻訳」「二次元コード読み取り」のアイコンから選択します。

【フレーム色】

左図のハンドサインに割り当てるフレームの色を設定します。

基本設定2

【フレーム有効化までの時間】

機能が利用可能になるまでに必要なハンドサインの維持時間を設定します。

【フレーム消去までの時間】

ハンドサインを解除してから、フレームが完全に消去される(待機状態に戻る)までの時間を設定します。

【タイマー秒数】

タイマー機能利用時のカウントを設定します。

【効果音】

効果音のON/OFFを設定します。

【参照する視界】

右目か左目のどちらの視界情報を参照するかを選択します。

【モード切り替え用トリガー】

撮影モードの切り替えに利用するトリガーを、左右のいずれかから選択します。

５．画像切り取り機能・設定 ▲ ▼

フレーム内の領域を切り取り、画像ファイルとして保存します。
VR内の視界をそのまま切り取るため、別のオーバレイアプリが動作している場合はUIが映りこむことがあります。

デフォルト状態では、マイピクチャ内の「VRHandsFrame」のフォルダへ保存するようになっています。また、撮影した画像はアプリケーションごとのサブフォルダに保存されます。

ダッシュボード上の設定変更は「撮影」タブから行ってください。

【画像の保存パス】

画像の保存パスを設定できます。事前にデスクトップ上で保存したいパスをコピーし、「Paste」ボタンを選択してください。デフォルト設定に戻したい場合は、「Default」ボタンを選択してください。

【撮影画像をプレビューする】

撮影した画像をVR上でプレビューするかどうかを選択します。デフォルトはOFFです。

画像プレビューパネル表示中は、右トリガーを押すと画像を保存し、左トリガーを押すと画像の保存をキャンセルして終了します。

【画像をクリップボードにコピーする】

撮影した画像をクリップボードにコピーするかどうかを選択します。デフォルトはOFFです。

６．翻訳＆文字認識機能・設定 ▲ ▼

フレーム内の画像に映された文字を認識し、各言語に翻訳します。

翻訳結果が表示された後は、右手のトリガーでページ送り、左手のトリガーでページ戻しが可能です。翻訳機能を終了する際は、ページの最後で右トリガー押下するか、ページの途中で両手トリガーを同時に押してください。

ユーザ側で追加設定を行うことで、翻訳エンジンの回数制限を回避したり、高精度な文字認識エンジンを切り替えて使用することもできます。

文字認識・翻訳エンジンの比較表

デフォルトの文字認識エンジンについて

デフォルトの文字認識エンジンには、Windowsシステムが提供する文字認識エンジンを利用しています。使用には各言語に対応したWindows言語パックのインストールが必要です。

v1.4.0以降では、文字認識に必要な言語パックをVR上からインストールできるようにしています。

初回の文字認識時に下記のようなウィンドウが表示されます。文字認識対象の言語パックをインストールする場合は右手コントローラのトリガーを押してください。
(インターネット接続環境に依存しますが、インストール完了には1分程度掛かります)

言語パックの自動インストールについて

言語パック自動インストールの実行には、Windowsの管理者権限が必要です。
管理者権限を持たないアカウントの場合は、デスクトップに以下のようなウィンドウが出現して管理者権限のパスワードを求められることがあります。正常な動作ですので、言語パックのインストールに問題がなければ入力を進めて「はい」を選択してください。管理者権限の確認後に言語パックのインストールが開始されます。

自動インストールに失敗する場合は、Microsoftの公式マニュアル等を参照して手動インストールをお願いします。手動インストール時は「自分のWindowsの表示言語として設定する」項目のチェックが外れていることをご確認ください。

また、利用しているWindowsの環境によっては、PowerShellファイルの実行権限が足りない可能性があります。その場合は新たなPowerShellウィンドウを管理者権限で起動し、Set-ExecutionPolicyコマンドを実行してください。
このコマンドは利用しているPCの環境設定を書き換えます。以下のMicrosoft公式のドキュメントを参照するなどして、コマンドの意味を理解した上で実行してください。

実行ポリシーについて – PowerShell | Microsoft Learn

Set-ExecutionPolicy RemoteSigned -Scope Process -Force
Set-ExecutionPolicy RemoteSigned -Scope LocalMachine -Force

自動インストールした言語パックをアンインストールしたい場合

同梱ファイル「uninstall_ocr_language_packs.ps1」を右クリックし、「PowerShell で実行」を選択してください。Windowsのシステム言語以外のOCR用言語パックがアンインストールされます。
※手動インストールを行った場合は、上記の方法では言語パックが完全に削除されないため、Windowsの設定画面からアンインストールを行ってください。

デフォルトの翻訳エンジンについて

デフォルトの翻訳エンジンにはGoogle App Script(GAS)という外部の翻訳サーバを利用しており、翻訳回数に制限(5000回/日)があります。デフォルトの状態では１つの翻訳用サーバを利用者に共通で利用してもらっているため、5000回/日の翻訳リソースは利用者全員で共有してもらっていることになります。

翻訳リソースをフルで利用したい場合は、個別に個人用翻訳サーバを設置してください。
個人用翻訳サーバの導入方法については、以下の追加マニュアルを参照してください。

追加マニュアル：個人用翻訳サーバ(GAS)の導入

文字認識にGoogle Cloud Vision APIを利用する場合

VRHandsFrameでは、Google Cloud Vision API(以下、Vision API)による画像認識・文字認識を利用可能にしています。Vision APIを利用すると、より高精度な文字認識が可能です。

特殊な飾りフォントや背景に現れる文字を読み取りたい場合は、Vision APIの利用をお勧めします。

Vision APIを利用する場合は、言語パックのインストールは必須ではありませんが、追加設定が必要になります。また、Googleのサービスを利用する都合上、無料で利用できる文字認識の回数に1000回 / 月の制限が存在します。1001回目以降はGoogleのサービスに対して課金が発生します。

詳細は以下の追加マニュアルを参照してください。

追加マニュアル：Google Cloud Vision APIを利用する

ダッシュボード上での設定変更は「翻訳」タブから行ってください。

【文字認識対象の言語】

文字認識を行いたい言語(翻訳元の言語)を設定します。(最大24ヵ国語)

【翻訳先の言語】

翻訳先の言語を設定します。(最大24ヵ国語)

【文字認識を行う言語】と【翻訳先の言語】を同一にした場合は、翻訳は行わず文字認識結果だけを表示させるようにしています。認識精度の確認などにご利用ください。

【文字認識エンジン】

文字認識エンジンを選択します。

[Type 1]

文字認識にWindows Media OCRを利用します。
デフォルト設定です。追加設定無しで利用可能です。
ローカルPC上で動作する文字認識エンジンです。利用には言語パックのインストールが必要です。

[Type 2]

文字認識に専用の非公開Google Drive を利用します。
動作時はサーバとの通信を行います。追加設定無しで利用可能です。

[Vision API]

Google Cloud Vision APIを利用します。非常に高精度な文字認識エンジンです。
動作時はサーバとの通信を行います。APIキーの取得・設定が必要です。

【翻訳エンジン】

翻訳エンジンを設定します。動作時は翻訳用サーバとの通信を行います。
追加の翻訳エンジンを利用する場合は、デスクトップから設定画面を開き、APIキーを設定してください。

[Default]

Google App Scriptを利用します。追加設定無しで利用可能です。24ヵ国語に対応しています。
デフォルト設定です。

[DeepL]

DeepL API (Free/Pro)を利用します。22ヵ国語に対応しています。
使用にはAPIキーをご自身で取得してください。

[Azure]

Microsoft Azure APIを利用します。24ヵ国語に対応しています。
使用にはAPIキーをご自身で取得してください。
AzureのWeb設定画面で選択するリソースのリージョンは”global”を選択してください。

[Mix]

基本的にはDeepL APIを利用し、DeepL APIが対応していない言語(繁体字中国語、韓国語)にはAzure APIまたはGASを利用します。

【GAS Key】

デフォルトの翻訳エンジンを利用する場合に、個人用翻訳サーバのGoogle Apps Script API Key(GAS Key)を設定します。設定方法は追加マニュアルを参照してください。

７．二次元コード読み取り機能・設定 ▲ ▼

フレーム内の画像に映された二次元コードを読み取ります。

なるべく斜めにならないように正面から二次元コードをフレーム内におさめてください。読み取り結果がURLの場合は、トリガーを押すことでデスクトップ上のブラウザが開くようになっています。

ダッシュボード上での設定変更は「2Dコード」タブから行ってください。

【読み取りタイプ】

二次元コードの読み取り方法を選択します。

[時間制限式]

設定した制限時間内で複数フレームの読み取りを試行します。

[一回のみ]

動作確定時のタイミングで、1フレームだけ読み取りを行います。動作が重い場合はこちらをご利用ください。

【読み取り時間】

二次元コードの読み取り制限時間を設定します。
※【読み取り方法】の項目で[一回のみ]を選択した場合は無視されます。

８．詳細設定 ▲ ▼

VRHandsFrameの詳細設定を変更可能です。

設定変更は「詳細設定」タブを選択してください。
設定画面が複数存在するため、選択するごとにページが切り替わります。

詳細設定1

【トリガーとグリップの動作を入れ替える】

設定をONにすると、VRHandsFrame上のトリガーとグリップの動作が入れ替わります。

【ボタンとトリガーのタッチ操作を利用する】

設定をONにすると、「グリップ」と「トリガー」の押し込みではなく、「ボタン」と「トリガー」のタッチをフレームの生成・確定の条件に割り当てることができます。
※一部のコントローラはハードウェアの仕様でトリガーのタッチ操作には対応していません。

【ボタンとトリガーのタッチ操作を利用する】をONにした場合の各種コントローラのバインド

コントローラ	フレームの生成	フレームの確定
Oculus Touchコントローラ	右A＆左Xボタンのタッチ	トリガーのタッチ
Viveコントローラ	右＆左トラックパッドのタッチ	トリガーのタッチ
Indexコントローラ	右A＆左Aボタンのタッチ	トリガーのタッチ
Vive Cosmos コントローラ	右A＆左Xボタンのタッチ	トリガーの押し込み
Windows MR コントローラ	右＆左トラックパッドのタッチ	トリガーの押し込み

【クイックモードを利用する】

設定をONにすると、両コントローラのトリガーとグリップの同時押しでフレームの選択処理が開始するようになります。
通常のフレーム選択開始操作のように、コントローラを特定の角度に向ける必要はありません。
デフォルト設定はOFFです。

【現在のアプリ利用中は機能を無効化する】

設定をONにすると、現在のアプリを利用している場合はVRHandsFrameの機能を無効化します。
(アプリ専用設定での利用を想定)

【フレームの生成サイズを補正する】

フレームの生成サイズを補正します。
この設定値を大きくするほど、両手の中点から近い場所にフレームが生成されます。
この設定値を小さくするほど、両手の中点から遠い場所にフレームが生成されます。
(アバターの手にフレームが被ってしまう場合の回避策として利用を想定)

【フレーム検出用のしきい値】

フレーム検出用のしきい値を設定します。(デフォルト値：5)
GPUやHMDの描画処理の違いでフレームが検出できない場合、しきい値を上げると問題が改善されることがあります。

【OVRASの明るさ設定を無視する】

ONにすると、VRHandsFrameの機能実行中は別のオーバレイアプリ「OVR Advanced Settings」のBrightness(明るさ)設定を無視します。

詳細設定2

【文字認識にGoogle Cloud Vision APIを利用する(旧)】

こちら古い設定項目です。旧バージョンとの整合性維持のため残しています。
通常はOFFで問題ありません。

Vision APIの利用設定は「翻訳」メニューの「文字認識エンジン」から行ってください。

【Vision API利用時に言語を推定する】

Vision API利用時に、文字認識対象の言語を自動推定します。なお、想定している言語と異なる言語として認識されてしまうこともあります。
有効化すると【文字認識対象の言語】の設定は無視されます。

詳細設定3

【解析結果をログ出力する】

翻訳時及び2Dコード読み取り時に、実行結果をCSVファイルとして出力します。
VRHandsFrame.exeが配置された場所に、”reslut_log.csv”が出力されます。

【解析結果をクリップボードにコピーする】

翻訳時及び2Dコードの読み取り時に、実行結果がクリップボードにコピーされます。

【VRChat向けOSCクライアントを有効化する】

OSC機能を利用して、VRChatのテキストチャットBoxに文字認識結果/翻訳結果を表示します。

９．システム設定 ▲ ▼

システム設定を別途保持することができます。
システム設定は、【全体設定】と【アプリ専用設定】とは無関係に、別途ローカルPC上に保持されます。

ダッシュボード上での設定変更は「システム設定」タブから行ってください。
※ システム設定は、値の切り替え時に自動更新されるため、【Save】ボタンを選択する必要はありません。

【SteamVRのスタートアップ起動を有効にする】

スタートアップ起動設定のON/OFF切り替えを行います。デフォルト設定はONです。

【システムログをデスクトップに出力する】

ONにすると、画像解析時のエラーなどのシステムログをデスクトップウィンドウに表示します。
デフォルト設定はONです。

【フレームレートを制限する】

動作フレームレートを60 fpsに制限します。デフォルト設定はONです。

【フォントサイズ】

VR上の結果表示パネルにおける文字フォントサイズを設定します。

【トリガー入力しきい値】

トリガーの入力しきい値を設定します。値が小さいほど、動作確定に必要なトリガーの押し込み量が減少します。

１０．デスクトップからの設定変更 ▲ ▼

一部の設定は、デスクトップから設定可能です。

設定画面を開くにはデスクトップウィンドウの歯車アイコンをクリックするか、タスクトレイのアイコンを右クリックして表示されたメニューから、【Preference (設定)】を選択してください。

【システム設定】

システム設定を変更します。

【APIキー設定】

翻訳および文字認識で利用するAPIキーを設定できます。

【Unity Standalone Player コマンドライン引数】

アプリ起動時のコマンドライン引数を指定します。

【Language】

言語設定を変更します。(日本語 / 英語)

１１．設定データの引き継ぎ ▲

VRHandsFrameのバージョンアップ時や、別のPCにVRHandsFrameを導入したい場合、設定内容を引き継ぐことができます。

VRHandsFrameの各設定データは、以下のフォルダにjson形式のファイルで保存されています。
設定データを引き継ぎたい場合は、新しいVRHandsFrameの同じ位置に[設定用フォルダ]ごとコピーするか、jsonファイルを個別にコピーしてください。

[設定用フォルダ]
\VRHandsFrame_Data\StreamingAssets\config

[全体設定ファイル]
\VRHandsFrame_Data\StreamingAssets\config\global.json

[アプリ専用設定ファイル]
\VRHandsFrame_Data\StreamingAssets\config\[アプリ名]\settings.json