AIモデル変換ツール:モデルの評価
目次
- 1 目次
- 2 環境構築
- 3 モデルの変換
- 4 モデルの評価
- 5 評価用サンプルアプリ
- 5.1 評価の準備
- 5.2 DnnSdApp
- 5.2.1 アプリをインストールする
- 5.2.2 評価モデルに合わせて設定を変更する
- 5.2.3 評価画像を用意する
- 5.2.4 画像をアプリにアップロードする
- 5.2.5 モデルファイルをアプリにアップロードする
- 5.2.6 アプリを実行する
- 5.2.7 結果をダウンロードする
- 5.3 SsdSdApp
環境構築
環境構築手順はこちらをご参照ください。
モデルの変換
モデル変換については下記ページをご参照ください。
設定ファイル仕様・サンプルモデル変換(Tensorflow編)
設定ファイル仕様・サンプルモデル変換(ONNX/PyTorch編)
モデルの評価
以下のいずれかのやり方で、評価を行ってください。
変換後のモデルをi-PROカメラ上で実行する
推論時間
推論実行するAPI (Adam_AI_RunNet()) 呼び出し前後の時間を計測してください。
精度
モデルの出力層のデータを取得するAPI (Adam_AI_GetOutput()) で取得したデータを使って、精度評価を行ってください。サンプルアプリを使う
CVツールには、変換後モデルの推論時間と出力層のデータを取得できるサンプルアプリが含まれています。本ページで使用方法を紹介します。CVツールのシミュレータを使う
変換後のモデルの推論を行うことが可能です。使用方法についてはこちらをご覧ください。
評価用サンプルアプリ
評価の準備
評価にはChrome拡張機能のADAM OPERATION UIを使用します。
インストール方法の詳細はこちらを参照してください。
また、アプリがインストールできるi-PROネットワークカメラを用意してください。
DnnSdApp
アプリをインストールする
まず、コンテナ内にあるDnnSdApp パッケージ(DnnSdApp_V0_5_ambaCV2X5X.ext)を、ホストPCにコピーします。
[Work Directory]
は任意のディレクトリ
$ cd [Work Directory]
$ sudo docker run -it --rm -v $(pwd):/work [image name] /bin/bash
$ cp /home/cvtool/app/DnnSdApp_V0_5_ambaCV2X5X.ext /work
ブラウザを起動し、カメラの詳細設定画面にアクセスします。
[基本]-[SDメモリーカード]-[運用モード]の[SDメモリーカード]と[機能拡張ソフトウェアモード]を「On」に設定します。
SDカードを使用しない場合は「使用しない」としてください。
モデルをアップロードする際、TFTPサーバーで転送する方法を使います。
機能拡張ソフトウェア画面に遷移し、DnnSdAppをインストールします。
評価モデルに合わせて設定を変更する
ADAM OPERATION UIを表示し、DnnSdAppのAppPrefから各種設定を行います。
layernamein:入力レイヤー名
layernameout:出力レイヤー名(複数設定の場合、コンマで区切り)
layernamein または layernameout に “/” が含まれている場合、正常動作しない可能性があります。
NETNAME:モデル名
TftpServerIP:モデルを格納しているTFTPサーバアドレス
※SDカードを使用しない場合に設定します
ChannelNum:モデルの入力チャネル数
ImgHeight:入力画像の高さ
ImgWidth:入力画像の幅
PixelFormat:モデルの入力画像の画素並び
評価画像を用意する
評価に使用する画像を圧縮し、dnn.tar.gzを作成します。
フォルダ構成は下記に従ってください。jpegまたはmp4どちらかのみでも使用できます。
tar cvzf dnn.tar.gz dnn
フォルダ構成 | 備考 | ||
---|---|---|---|
dnn/ | test_jpeg/ | yyy1.jpg | jpeg配置ディレクトリ、配置するファイル名は任意 拡張子は".jpg", ".jpeg", ".JPG", ".JPEG"
|
yyy2.jpg | |||
: | |||
test_mp4/
| zzz1.mp4 | mp4配置ディレクトリ、配置するファイル名は任意 拡張子は”.mp4” | |
zzz2.mp4 | |||
: |
画像をアプリにアップロードする
アプリ画面を開いて、画像データをアップロードします。
モデルファイルをアプリにアップロードする
モデルファイルをアップロードします。
アプリを実行する
モデル、画像を配置したら、「Start」ボタンで実行開始します。
結果をダウンロードする
実行が完了すると、Downloadボタンから結果ファイルを取得できます。
SsdSdApp
操作はDnnSdAppと同様です。
フォルダ名などは、「dnn」⇒「ssd」と読み替えてください。