AIモデル変換ツール:モデルの評価

目次


 

環境構築


環境構築手順はこちらをご参照ください。

 

モデルの変換


モデル変換については下記ページをご参照ください。

 設定ファイル仕様・サンプルモデル変換(Caffe編)

 設定ファイル仕様・サンプルモデル変換(Tensorflow編)

 設定ファイル仕様・サンプルモデル変換(ONNX/PyTorch編)

 

モデルの評価


以下のいずれかのやり方で、評価を行ってください。

  1. 変換後のモデルをi-PROカメラ上で実行する
    推論時間
    推論実行するAPI (Adam_AI_RunNet()) 呼び出し前後の時間を計測してください。
    精度
    モデルの出力層のデータを取得するAPI (Adam_AI_GetOutput()) で取得したデータを使って、精度評価を行ってください。

  2. サンプルアプリを使う
    CVツールには、変換後モデルの推論時間と出力層のデータを取得できるサンプルアプリが含まれています。本ページで使用方法を紹介します。

  3. CVツールのシミュレータを使う
    変換後のモデルの推論を行うことが可能です。使用方法についてはこちらをご覧ください。

評価用サンプルアプリ


評価の準備

評価にはChrome拡張機能のADAM OPERATION UIを使用します。

インストール方法の詳細はこちらを参照してください。

また、アプリがインストールできるi-PROネットワークカメラを用意してください。

 

DnnSdApp

アプリをインストールする

まず、コンテナ内にあるDnnSdApp パッケージ(DnnSdApp_V0_5_ambaCV2X5X.ext)を、ホストPCにコピーします。

[Work Directory]は任意のディレクトリ

$ cd [Work Directory] $ sudo docker run -it --rm -v $(pwd):/work [image name] /bin/bash $ cp /home/cvtool/app/DnnSdApp_V0_5_ambaCV2X5X.ext /work

ブラウザを起動し、カメラの詳細設定画面にアクセスします。

[基本]-[SDメモリーカード]-[運用モード]の[SDメモリーカード]と[機能拡張ソフトウェアモード]を「On」に設定します。

SDカードを使用しない場合は「使用しない」としてください。
モデルをアップロードする際、TFTPサーバーで転送する方法を使います。

機能拡張ソフトウェア画面に遷移し、DnnSdAppをインストールします。

評価モデルに合わせて設定を変更する

ADAM OPERATION UIを表示し、DnnSdAppのAppPrefから各種設定を行います。

 layernamein:入力レイヤー名

 layernameout:出力レイヤー名(複数設定の場合、コンマで区切り)

layernamein または layernameout に “/” が含まれている場合、正常動作しない可能性があります。

 NETNAME:モデル名

 TftpServerIP:モデルを格納しているTFTPサーバアドレス
        ※SDカードを使用しない場合に設定します

 ChannelNum:モデルの入力チャネル数

 ImgHeight:入力画像の高さ

 ImgWidth:入力画像の幅

 PixelFormat:モデルの入力画像の画素並び

 

評価画像を用意する

評価に使用する画像を圧縮し、dnn.tar.gzを作成します。

フォルダ構成は下記に従ってください。jpegまたはmp4どちらかのみでも使用できます。

tar cvzf dnn.tar.gz dnn

フォルダ構成

備考

フォルダ構成

備考

dnn/

test_jpeg/

yyy1.jpg

jpeg配置ディレクトリ、配置するファイル名は任意

拡張子は".jpg", ".jpeg", ".JPG", ".JPEG"

 

yyy2.jpg

:

test_mp4/

 

 

zzz1.mp4

mp4配置ディレクトリ、配置するファイル名は任意

拡張子は”.mp4”

zzz2.mp4

:

画像をアプリにアップロードする

アプリ画面を開いて、画像データをアップロードします。

モデルファイルをアプリにアップロードする

モデルファイルをアップロードします。

アプリを実行する

モデル、画像を配置したら、「Start」ボタンで実行開始します。

結果をダウンロードする

実行が完了すると、Downloadボタンから結果ファイルを取得できます。

SsdSdApp

操作はDnnSdAppと同様です。

フォルダ名などは、「dnn」⇒「ssd」と読み替えてください。