目次

責任制限

• 本ツールはセキュリティカメラ上で動作するアプリを開発するための機能を提供するもので、ツールを利用したアプリの動作保証を行うものではありません。また、追加アプリ動作中はセキュリティカメラに組み込まれた機能の動作は保証されません。

• 付属のサンプルはツールの使用方法を記述したものであり、実際の監視運用を目的として作成されたものではありません。

• 弊社は、いかなる場合も以下に関して一切の責任を負わないものとします。

  • 本製品に関連して直接または間接に発生した、偶発的、特殊、または結果的損害・被害

  • お客様の故意や誤使用、不注意による障害または本製品の損傷など

  • お客様による本商品の逆コンパイル、逆アセンブルが行われた場合、それに起因するかどうかにかかわらず、発生した一切の故障または不具合

  • セキュリティデバイスからダウンロードしたデータ等のパソコンにおける消失、あるいは漏洩等によるいかなる損害、クレームなど

  • ネットワーク上からの不正アクセスなど悪意を持った第三者による画像データ、音声データ、認証情報（ユーザー名、パスワード）の漏えいなどによるいかなる損害、クレームなど

概要

AIを使用する追加アプリを開発する際には、Caffe/Tensorflow/ONNXで作成したモデルをAIカメラ内蔵のアクセラレータ(CVFlow)で実行可能なバイナリ(cavalry.bin)に変換する必要があります。

...

...

注

開発フロー

学習済みモデルをCVflowの実行可能バイナリに変換するまでのフローを記載します。

CVツールでは図中の色付きの項目に対する処理を実施します。

...

Conversion

学習モデルをcavalry.binに変換します。

Conversionではモデルの再学習は行いません。

カメラのアクセラレータ(CVFlow)は16bitまたは8bitの固定小数点で演算を行うため、元のモデルは16bitまたは8bitに量子化されます。

量子化の設定は、16bit固定・16bit/8bit混合(各演算のbit幅は、ツールが自動で決定します)・8bit固定の3種類から、ユーザが選択可能です。

通常、8bitの方が推論時間は高速になりますが、精度は劣化します。

環境構築

...

チュートリアルでのインストール対象OS

• Ubuntu 1820.04 .6 LTS

Dockerをインストールする

Docker環境の構築に必要なパッケージをインストール、環境設定を行います。

他のLinuxディストリビューションでのインストール方法など、詳細については公式サイトなどを参照してください。

参考：https://docs.docker.com/engine/install/

$ sudo apt-get update
$ sudo apt-get install \
    apt-transport-https \
    ca-certificates \     curl
\$ sudo install -m 0755 gnupg-agent \
    software-properties-common
$ d /etc/apt/keyrings
$ sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
$ sudo add-apt-repository -o /etc/apt/keyrings/docker.asc
$ sudo chmod a+r /etc/apt/keyrings/docker.asc

$ echo \
   "deb [arch=amd64$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable". /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
$ sudo apt-get update

$ sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Dockerイメージをインポートする（初回のみ）

インポートが完了するまでに数分程度の時間がかかります。

[image name]は任意の名前

$ cat cvtool_v1vx.18xx.tar.bz2 | sudo docker import - [image name]

コンテナを作成する（初回のみ）

ホストOSとコンテナとの間でデータをやりとりする際は –v オプションも指定してください。

プロキシを設定している場合は、以下のリンクを参考にdockerのプロキシ設定を行ってください。

参考：https://matsuand.github.io/docs.docker.jp.onthefly/network/proxy/ [container name]は任意の名前

$ sudo docker run -d -it --name [container name] [image name] /bin/bash

プロキシを設定している場合は、以下のリンクを参考にdockerのプロキシ設定を行ってください。

参考：https://matsuand.github.io/docs.docker.jp.onthefly/network/proxy/

CVツールを実行する

コンテナを起動します。

$ sudo docker start [container name]

...

$ sudo docker exec -it -u cvtool [container name] /bin/bash

passwordが必要な場合は「cv」を利用ください。

（コンテナ内で）環境設定を行います。

• ambaCV2Xカメラ向けの設定

$ cd /home/cvtool
$ source setup_env.sh

モデルを変換する

モデルの変換方法はこちらを参照してください。

　サンプルモデルをダウンロードして変換する

　任意のモデルを変換する

設定ファイル（setting.conf）仕様

Caffe

# Network Name
NET_NAME=mobilenetv1

# Path to Deploy Prototxt
DEPLOY_PROTOTXT=./sample/mobilenet_v1/mobilenet_deploy.prototxt

# Path to Directory for (Deploy) Caffe Models
MODEL_DIR=./sample/mobilenet_v1/models

# Path to Directory for DRA Images
DRA_IMAGE_DIR=../dra_img

# Path to Directory for Output Data
OUTPUT_DIR=./out

# Quantization Mode
#  FIX8  : Fixed-point  8bit
#  FIX16 : Fixed-point 16bit
#  MIX   : FIX8/FIX16 mixed
PARSER_OPTION=FIX8

# Input Data Format (0:NHWC, 1:NCHW)
IN_DATA_FORMAT=1

# Input Data Channel
IN_DATA_CHANNEL=3

# Input Data Width
IN_DATA_WIDTH=224

# Input Data Height
IN_DATA_HEIGHT=224

# Input Data Mean Vector or Name of .binaryproto
IN_MEAN=103.94,116.78,123.68

# Input Data Scale
# IN_SCALE=1/Scale
IN_SCALE=58.823529411

# RGB or BGR (0:RGB, 1:BGR)
IS_BGR=1

# Input Layer Name
IN_LAYER=data

# Output Layers Name
OUT_LAYER=mbox_loc,mbox_conf_flatten

#cavalry version
#if not specified -> ""
CAVALRY_VER="2.1.7"

# Unique preprocess
# if use im2bin -> NONE
# if use unique preprocess -> script path
PREPRO=NONE
PREPRO_ARG=""

# Input file data format
IN_DATA_FILEFORMAT=0,0,0,0

# Transpose indices(NONE:without transpose , 0,3,1,2:transpose (EX))
IN_DATA_TRANSPOSE=NONE

• NET_NAME：ネットワーク名

  • 任意の名前を設定できます。

• DEPLOY_PROTOTXT：deploy用prototxtファイルへのパス

• MODEL_DIR：caffemodelが格納されたディレクトリ

  • ディレクトリ下の全てのモデルに対して、変換処理を実行します。

• DRA_IMAGE_DIR：量子化の最適化処理で使用する、画像ファイルが格納されたディレクトリ

  • 学習に使った画像を格納してください。100～200枚が推奨枚数です。

  • 画像フォーマットはJPEGやPNGなど、OpenCVで対応しているものです。

  • 任意サイズの画像を使用可能です。

• OUTPUT_DIR：変換後のデータ出力先ディレクトリ

• PARSER_OPTION：量子化モード

  • FIX8/FIX16/MIX(FIX8/FIX16混合）から選択します。

• IN_DATA_CHANNEL：モデルの入力画像チャネル数

• N_DATA_WIDTH：モデルの入力画像サイズ(幅)

• IN_DATA_HEIGHT：モデルの入力画像サイズ(高さ)

• IN_MEAN：入力画像の正規化パラメータ（平均値）

  • 数値またはbinaryprotoファイルでの設定が可能です。

  • 数値で設定する場合には、以下のように”,”の間に空白を入れないようにしてください。
    IN_MEAN=127.5,127.5,127.5

  • binaryprotoファイルで設定する場合には、以下のようにファイルへのパスを設定してください。
    IN_MEAN=./model/mean.binaryproto

• IN_SCALE：入力画像の正規化パラメータ（スケール）

  • チャネルごとに異なる設定値にする場合は、”,”で値を区切ってください。”,”の間には空白を入れないようにしてください。

• IS_BGR：入力画像のフォーマット（RGB or BGR）

• IN_LAYER：ネットワークの入力レイヤ名

  • 次ページの ”注” もご覧ください。

  • 変換後のモデルでは入力レイヤ名が “${IN_LAYER}_0” に変わります。
    したがって追加アプリ上で変換後のモデルを動かす際も、モデルの入力レイヤとして “_0” を付ける必要があります。

• OUT_LAYER：ネットワークの出力レイヤ名

  • 複数指定する場合は”,”で区切ってください

• CAVALRY_VER：使用するcavalryバージョン

• PREPRO：前処理スクリプトパス(python)

  • スクリプトの作り方は“/home/cvtool/common/prepro.py”を参照してください。

• PREPRO_ARG：前処理スクリプトの引数

• IN_DATA_FILEFORMAT：入力データのフォーマット

  • 例：uint8-> 0,0,0,0,float32-> 1,2,0,7,float16-> 1,1,0,4)

  • N_DATA_FILEFORMAT を”0,0,0,0”から変更した場合はPREPROの設定が必要になります

• N_DATA_TRANSPOSE：入力データに対してTRANSPOSE を行う場合指定する

...

• ambaCV5Xカメラ向けの設定

$ cd /home/cvtool
$ source setup_env.sh ipro-ambaCV5X

モデルの変換

...

モデル変換については下記ページをご参照ください。

　設定ファイル仕様・サンプルモデル変換（Caffe編）

　設定ファイル仕様・サンプルモデル変換（Tensorflow編）

　設定ファイル仕様・サンプルモデル変換（ONNX/PyTorch編）