yuv_yolov5_appの動作説明
目次
- 1 目次
- 2 はじめに
- 3 動作概要
- 4 動作に必要な外部ライブラリ
- 5 サンプルアプリのディレクトリパス
- 6 AIモデル変換ツールの利用
- 7 サンプルアプリのビルド方法(C/C++)
- 8 サンプルアプリのビルド方法(Python)
- 9 サンプルアプリの使用方法
- 10 補足情報
- 10.1 ・設定の変更
- 10.2 ・AIモデルの変更方法
- 10.3 ・LAYERNAMEOUTに設定するレイヤー名について
- 10.4 ・利用ポート
はじめに
i-PROカメラアプリケーション開発環境の構築が完成していることを前提に説明します。
開発環境の構築が準備できていない場合、こちらを参考に完成させてください。
また、このチュートリアルではSDKのインストールディレクトリを${SDK_DIR}
として記載します。
動作概要
yuv_yolov5_appはカメラ上のモデルにオブジェクト名と枠を描画するサンプルアプリです。
動作に必要な外部ライブラリ
Pythonでビルドする場合は下記が必要です。
numpy
OpenCV
外部ライブラリの利用については、後ほど説明します。
サンプルアプリのディレクトリパス
C/C++のソースコードは下記に格納されています。
${SDK_DIR}/src/adamapp/yuv_yolov5_app
Pythonのソースコードは下記に格納されています。
${SDK_DIR}/src/adamapp-py/yuv_yolov5_app
AIモデル変換ツールの利用
サンプルアプリをビルドする前に、AIモデル変換ツールを利用する必要があります。
下記からAIモデル変換ツールを取得し、環境構築してください。
AIモデル変換ツール - Technology Partner - Confluence (atlassian.net)
お問い合わせからご提供までは数日お時間をいただいております。
環境構築が完了しましたら、下記を参考にyolov5サンプルモデルの変換を行ってください。
AIモデル変換ツール:ONNX(PyTorch)編 - Technology Partner - Confluence (atlassian.net)
ここでは、モデル変換したファイルを「yolov5_cavalry.bin」として説明します。
サンプルアプリのビルド方法(C/C++)
ここでは、AdamAppとしてビルドする方法を記載しています。
Container AdamApp for Azure IoT Edgeとしてビルドする場合は下記を参照ください。
チュートリアル(Container AdamApp for Azure IoT Edge編) - Technology Partner - Confluence (atlassian.net)
Container AdamAppとしてビルドする場合は下記を参照ください。
チュートリアル(Container AdamApp) - Technology Partner - Confluence
SDKのインストールディレクトリでビルド用環境設定ファイルの読み込みを実施します。
$ cd ${SDK_DIR}
$ source setup_env.sh ipro-ambaCV2X
次にサンプルアプリのディレクトリに、モデル変換したyolov5_cavalry.binファイルを下記の構成で配置します。
[ambaCV2Xアプリの場合]
${SDK_DIR}/src/adamapp/yuv_yolov5_app/data_CV2X/cnn/yolov5_cavalry.bin
[ambaCV5Xアプリの場合]
${SDK_DIR}/src/adamapp/yuv_yolov5_app/data_CV5X/cnn/yolov5_cavalry.bin
makeします。
$ cd src/adamapp/yuv_yolov5_app
$ make
${SDK_DIR}/src/adamapp/yuv_yolov5_app に.extファイルが作成されていれば成功です。
カメラにインストールします(例:下記画像の緑枠からインストール可能)。作成した.extファイルを選択してインストールしてください。
アプリ画面を開きます(下記画像の赤枠ボタン)。
インストール後、管理ログ画面でAIモデルの読み込みが完了するまで待ちます。数分かかる場合があります。
カメラの映像が表示されていれば成功です。
サンプルアプリのビルド方法(Python)
サンプルアプリのディレクトリに、モデル変換したyolov5_cavalry.binファイルを下記の構成で配置します。
[ambaCV2Xアプリの場合]
${SDK_DIR}/src/adamapp-py/yuv_yolov5_app/data_CV2X/cnn/yolov5_cavalry.bin
[ambaCV5Xアプリの場合]
${SDK_DIR}/src/adamapp-py/yuv_yolov5_app/data_CV5X/cnn/yolov5_cavalry.bin
Pythonでビルドする場合はこちらを参照してください。
インストール後、管理ログ画面でAIモデルの読み込みが完了するまで待ちます。数分かかる場合があります。
サンプルアプリの使用方法
カメラにて何らかのモデルを撮影してください。下記の例ではモデル(手と指)が枠で囲まれ、オブジェクト名(person)が表示されていることが確認できます。
補足情報
・設定の変更
このアプリケーションには、ユーザーが変更できるいくつかの設定があります。 一部の設定を変更する場合は、「ADAM OPERATION UI」HTMLページの「AppPrefs」ボタンを押してください。
以下は、ユーザーが現在変更できる設定のリストです。
Resoultion:
YUV 画像を取得するための解像度。HD(1280x720)またはFHD(1920x1080)を指定してください。ただし、カメラの性能によっては指定した値で動作しない場合があります。Frame rate:
YUV画像を取得するためのフレームレート。 1以上を指定してください。 ただし、カメラの性能によっては指定された値で動作しない場合があります。
・AIモデルの変更方法
data_CV2X/cnn/*.bin
および
data_CV5X/cnn/*.bin
をご使用のモデルに置き換えてください。main.cppの以下の部分をモデルの仕様に合わせて変更してください。
#define OUTSIZE_HEIGHT <モデルの入力高さ>
#define OUTSIZE_WIDTH <モデルの入力幅>
#define NETNAME <モデルのファイル名>
#define LAYERNAMEIN <モデルの入力レイヤー>
#define LAYERNAMEOUT_CONV1037 <特徴マップ(ストライド 32)のレイヤー名>
#define LAYERNAMEOUT_CONV1017 <特徴マップ(ストライド 16)のレイヤー名>
#define LAYERNAMEOUT_CONV997 <特徴マップ(ストライド 8)のレイヤー名>
#define TOTAL_CLS <モデルのクラス数>
char const *names (pymain.py では object_name_list)
モデルの仕様に合わせて変更してください
const float anchors (pymain.py では anchors_list)
以下URLの、 anchors の値を使用しています。
https://github.com/ultralytics/yolov5/blob/master/models/yolov5s.yaml
モデルによっては値が異なることがありますので、モデルの仕様をご確認ください。
・LAYERNAMEOUTに設定するレイヤー名について
yuv_yolov5_app (および yuv_yolo_app) は、特徴マップがAIモデルの出力となっている前提で作られています。
例:入力解像度 640x640 の yolov5s
最後段のconv層(3つ)が、特徴マップを出力するレイヤーとなります。
c : 3×(5+クラス数)。この例の場合、c=255なのでクラス数は80になります。
h, w : 特徴マップのグリッド数。入力解像度を stride で割った値となります。
したがって LAYERNAMEOUT の設定は以下になります。
#define LAYERNAMEOUT_CONV1037 "418" // stride 32
#define LAYERNAMEOUT_CONV1017 "372" // stride 16
#define LAYERNAMEOUT_CONV997 "326" // stride 8
・利用ポート
このアプリケーションは、WebSocket 通信に 8083 ポートを使用します。