はじめに
アノテーションツール labelImgを使って、モデルの作成からi-PRO用AIモデルへの変換までを行いました。
i-PRO用AIモデルに関しては先にこちらの概要をお読みください。
labelImgは一例であり、i-PROの推奨ツールではありません。
labelImgの環境構築
Python3をインストールする
アノテーションツール(labelImg)のインストールに必要なPython3をインストールします。
以下サイトからインストーラーをダウンロードします。
インストール時、labelImgのサポートが3.6~3.9でしたので、3.9をダウンロードしました。
インストールを実行します。
この時、「Add Python 3.9 to PATH」にチェックを入れてください。
Disalbe path length limitが表示されたら、クリックして長いパスが設定できるようにします。
アノテーションツール（labelImg）をインストールする
DOSプロンプトを開いて、インストールを実行します。
pip install labelImg
アプリのインストール先を確認します。
pip show labelImg
インストール先フォルダにデフォルトで表示されるラベル名を定義しておくと便利です。
インストール先フォルダ/data/predefined_classes.txt
アノテーションを行う
labelImgでアノテーションを行います。
アノテーションする画像を準備します。
今回はテスト用にi-PROカメラの画像を準備しました。（チュートリアルとしてお使いいただけます？）
DOSプロンプトからツールを起動します。
labelImg
メニューで、出力形式をYOLOに変更します。
入力・出力フォルダを指定します。
Open Dirでjpegのあるフォルダを指定
Change Save Dirでアノテーション情報(txt)の出力先を指定
以下を設定すると便利です。
Auto Save modeを有効にする
今回はiproのタグだけつけるので、Single Class Modeを有効にする
タグをつけます。
Create Rect Box（ショートカットキー w)で枠を設定して、タグに「ipro」を入力します。
これを繰り返します。
学習データを作成する
アノテーションしたデータを使って学習データを作成します。
アノテーションしたデータを以下のフォルダ構成で配置します。
val : 評価データ
trains : 検証データ
test : テストデータ
各フォルダに.jpgとそのファイルに対応する.txtを配置します。
機械学習環境構築
学習環境を構築します。
性能が高くないPCでも学習ができるように、Googleの提供するWebブラウザで利用する無料のPython実行環境Google Colabを利用します。
Google Colabをセットアップする
Google Colabにアクセスし、Googleアカウントでログインします。
ノートブックを新規作成します。
名称を変更します。
動作確認のためにPythonコードを入力して実行ボタンを押下し、結果が表示されればOKです。
最初のコード実行時に環境が割り当てられるので、時間がかかります。
GPUの使用を設定します。
ランタイム - ランタイムのタイプを変更 - GPU と設定します。
この設定は最初の1度だけでよいです。
Googleドライブをマウントします。
この作業は環境がリセットされる度実行してください。
YOLOv5をインストールする
Google Colabで操作します。
この作業は環境がリセットされる度実行してください。
インストールコマンドを実行します。
!git clone https://github.com/ultralytics/yolov5 %cd /content/yolov5/ !pip install -qr requirements.txt
機械学習実行
学習用データを配置する
Google Driveに学習用データをコピーします。
マイドライブ直下にコピーしてください。
Google Colab側からマウントしたドライブを見ると、このようになります。
Google Colabのフォルダツリー上で右クリックして、「パスをコピー」すると実際のパス名が分かります。
/content/drive/MyDrive/ai
Google Driveに学習結果出力先フォルダを作成しておきます。
学習を開始する
学習用コマンドを実行します。
!python train.py --img 416 --batch 16 --epochs 500 --data /content/drive/MyDrive/ai/data/yolov5/ipro/ipro.yaml --weights yolov5s.pt --project /content/drive/MyDrive/ai/data/yolov5/ipro/output
実行はyolov5フォルダでおこないます。
学習済みモデルは、指定したフォルダ配下 exp/weights の中に作成されます。
学習を複数実行すると、exp, exp2と名前が変わっていきます。
学習結果をグラフで確認します。
%load_ext tensorboard(これはGoogle Colab接続中1回やればよい) %tensorboard --logdir /content/drive/MyDrive/ai/data/yolov5/ipro/output
precision : 予測結果のうちの正解した割合(誤検出しない確率)
recall : 正解した予測結果が実際の正解のうちの割合(見逃さない確率)
モデルを検証する
作成した学習モデルを使用して、テストデータからiproが検知できるか確認してみます。
!python detect.py --source /content/drive/MyDrive/ai/data/yolov5/ipro/test --weights /content/drive/MyDrive/ai/data/yolov5/ipro/output/exp/weights/best.pt --img 416 --conf 0.6 --name trained_exp --exist-ok --save-conf
/content/yolov5/runs/detect/trained_expに出力されます。
モデルをONNX形式に変換する
学習モデルをonnx形式に変換します。
!python export.py --img 416 --weights /content/drive/MyDrive/ai/data/yolov5/ipro/output/exp/weights/best.pt --include onnx --opset 11 --batch 1
変換結果は、PyTorchのモデルと同じフォルダに拡張子 .onnx で出力されます。
i-PRO用モデルへの変換
ONNXモデルの構造確認
AIモデル変換ツールで使用するsetting.confにパラメータを設定するため、ONNXモデルの構造を確認します。
onnxモデルの名前は学習内容がわかるように名前を変更しておきます。
best.onnx -> iprocamera.onnx
機械学習モデルのビジュアライズツール(netron)でモデル図を確認します。
open modelでファイルを指定して開きます。
左上のハンバーガーメニューからFindを選択(Ctrl+F)します。
transposeで検索し、その上にあるConvのノードをクリックすると、このような3つのノードが確認できます。
OUTPUTSのところに表示されるname:をメモしておきます。
これはsetting.confのOUT_LAYERとして記載します。
/model.24/m.0/Conv_output_0,/model.24/m.1/Conv_output_0,/model.24/m.2/Conv_output_0
AIモデル変換ツールを実行する
AIモデル変換ツールの環境構築および使い方はこちらをご参照ください。
学習に使用したjpegファイルをdockerの以下フォルダに配置します。
~/conversion/iprocamera_img
onnxファイルをdockerのyolov5用のフォルダに配置します。
sample/yolov5/models/iprocamera.onnx
変換用設定ファイル(setting.conf)の記述を変更します。
OUT_LAYERには、netronで確認したレイヤー名を列挙します。
NET_NAME=iprocamera DRA_IMAGE_DIR=../../iprocamera_img OUT_LAYER=/model.24/m.0/Conv_output_0,/model.24/m.1/Conv_output_0,/model.24/m.2/Conv_output_0
IN_DATA_WIDTH, IN_DATA_HEIGHTについては、
今回INPUTデータを416でモデル生成したのでデフォルト値のままで使用していますが、
異なるデータサイズであれば変更してください。
変換コマンドを実行します。
./onnx_conversion.sh setting.conf
変換が終了すると、以下ファイルが作成されます。
最適化されたonnxファイル : sample/yolov5/models/iprocamera_surgery.onnx
カメラ実行用ファイル : out/iprocamera/MIX/iprocamera_surgery.onnx/iprocamera_cavalry.bin
アプリへ組み込み
サンプルアプリyuv_yolov5_appに組み込み、カメラ上で実行させます。
サンプルアプリのビルド
バイナリファイルを以下にコピーします。
data/cnn/
main.cをモデルに合わせて編集します。
#define NETNAME "iprocamera_cavalry.bin"
#define LAYERNAMEOUT_CONV1037 "/model.24/m.2/Conv_output_0"
#define LAYERNAMEOUT_CONV1017 "/model.24/m.1/Conv_output_0"
#define LAYERNAMEOUT_CONV997 "/model.24/m.0/Conv_output_0"
#define TOTAL_CLS (1)
char const *names[] = {"ipro"};
configuration.txtをモデルに合わせて編集します。
APPLICATION yuv_yolov5_ipro_app APPNAME0 YUV&YOLOv5 i-PRO Application
Makefileを編集します。
実行ファイル名を変更したので、Makefileもそれに合わせて変更します。
PROG_NAME= yuv_yolov5_ipro_app
アプリをビルドします。
make
アプリを実行する
ビルドして作成されたアプリ yuv_yolov5_ipro_app_V1_0_ambaCV2X.extをカメラにインストールします。
アプリ画面にアクセスします。
カメラで画像を映してみると、枠が出てiproと表示されました。
