Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Table of Contents
minLevel1
maxLevel1

はじめに

ツールダウンロード申請はこちらから

Info

お問い合わせからご提供までは数日お時間をいただいております。

Dockerファイル バージョン履歴

...

Introduction

...

Please contact us from here to download tool.

Info

Docker files will be provided after receiving approval from Ambarella. Therefore, it will take a few days from sending the request till we send the Docker file.

Docker file version history

...

If there are no problems with the tools you are currently using, updating the tools is not required.

v1.21

  • Added yolov8 to ONNX sample.

v1.20

  • Updated CV tool provided by SoC vender (CNNGen Ver.2.5.6.0.1245)

  • Updated DnnSdApp to v0.5
    Added setting items for AI model input. Please refer herefor details.

  • Update Document

v1.19

v1.18

v1.17

...

v1.16

概要

AIを使用する追加アプリを開発する際には、Caffe/Tensorflow/ONNXで作成したモデルをAIカメラ内蔵のアクセラレータ(CVFlow)で実行可能なバイナリ(cavalry.bin)に変換する必要があります。

CVツールはこの変換処理を行うものです。

...

Note
  • 本ツールは、ユーザがAIモデルの学習に習熟していることを前提として作成されています。

  • CVツールはAIモデルの学習に関する機能を提供するものではありません。
    各フレームワークでの学習は、ユーザが前もって実施してください。

  • CVツールはAIモデルとしてCNNを対象としています。

  • tensorflow v2.xのモデルは事前にtfliteに変換が必要です。

  • PyTorchのモデルは事前にONNXに変換が必要です。

開発フロー

CVツールでは図中の色付きの項目に対する処理を実施します。

...

Conversionではモデルの再学習は行いません。

カメラのアクセラレータ(CVFlow)は16bitまたは8bitの固定小数点で演算を行うため、元のモデルは16bitまたは8bitに量子化されます。

量子化の設定は、下記3種類からユーザが選択可能です。

通常、8bitの方が推論時間は高速になりますが、精度は劣化します。

環境構築

環境構築手順はこちらをご参照ください。

モデルの変換

モデル変換については下記ページをご参照ください。

 設定ファイル仕様・サンプルモデル変換(Caffe編)

 設定ファイル仕様・サンプルモデル変換(Tensorflow編)

 設定ファイル仕様・サンプルモデル変換(ONNX/PyTorch編)

責任制限

  • 本ツールはセキュリティカメラ上で動作するアプリを開発するための機能を提供するもので、ツールを利用したアプリの動作保証を行うものではありません。また、追加アプリ動作中はセキュリティカメラに組み込まれた機能の動作は保証されません。

  • 付属のサンプルはツールの使用方法を記述したものであり、実際の監視運用を目的として作成されたものではありません。

  • 弊社は、いかなる場合も以下に関して一切の責任を負わないものとします。

  • 本製品に関連して直接または間接に発生した、偶発的、特殊、または結果的損害・被害

  • お客様の故意や誤使用、不注意による障害または本製品の損傷など

  • お客様による本商品の逆コンパイル、逆アセンブルが行われた場合、それに起因するかどうかにかかわらず、発生した一切の故障または不具合

  • セキュリティデバイスからダウンロードしたデータ等のパソコンにおける消失、あるいは漏洩等によるいかなる損害、クレームなど

  • ネットワーク上からの不正アクセスなど悪意を持った第三者による画像データ、音声データ、認証情報(ユーザー名、パスワード)の漏えいなどによるいかなる損害、クレームなど

    Updated CV tool provided by SoC vender

  • Note: Caffe SSD model cannot be converted. Please contact us if you have an urgent request.

Overview

...

In developing additional application with AI, trained AI model on Caffe/Tensorflow/ONNX framework needs to be convert to binary file (cavalry.bin), which is executed by accelerator H/W (CVFlow) embedded to AI camera.

The CV tool processes this conversion.

...

Note
  • The target users of this document are supposed to have skill of training AI model.

  • The cvtool is not the tool for training AI model.
    Users have to train it in each framework in advance.

  • The cvtool handles CNN as target AI model.

  • The model of tensorflow v2.x needs to be converted to tflite or ONNX in advance.

  • Pytorch model needs to be converted to ONNX in advance

  • Different binary file (cavalry.bin) is required for ambaCV2X camera and ambaCV5X camera.

Development Flow

...

The CV Tool handles colored items in the figure below.

...

Retraining of a model is not included in this process.

AI camera’s accelerator H/W (CVFlow) performs in 16bit or 8bit fixed point operation, so data length of trained model is quantized into 16bit or 8bit.

The user can select the quantization setting from the following three types.

  • only 16bit

  • 16bit/8bit mixed (the CV tool decides data length of each operation)

  • only 8bit

The inference time of 8bit operation is faster but less accurate compared to 16bit operation.

Preparation

...

Please refer here for the environment construction procedure.

Conversion

...

Please refer to the following pages for model conversion.

 AI model convert tool: Caffe

 AI model convert tool: Tensorflow

 AI model convert tool: ONNX/PyTorch

Limitation of liability

...

  • This tool provides the features for developing additional application executed in security cameras. The behavior of developed application is not guaranteed. In addition, the embedded features will not be guaranteed after installing additional application to the camera.

  • The provided sample files are only to show users how to use this tool and that they are not practically used for actual surveillance system.

  • In no event shall i-PRO Co., Ltd. be liable to any party or any person, except for replacement or reasonable maintenance of the product, for the cases, including but not limited to below;

    • Any damage and loss, including without limitation, direct or indirect, special, consequential or exemplary, arising out of or relating to the product;

    • Personal injury or any damage caused by inappropriate use or neglect operation of the user;

    • Any problems, consequential inconvenience, or loss or damage, arising out of the reverse compiling or reverse engineering of the product;

    • Any loss or damage, or claims arising out from loss or leak of PS data including video data in the PC;

    • Any claim or action for damages, brought by any person or organization being a photogenic subject, due to violation of privacy with the result of that surveillance camera's picture, including saved data, for some reason, becomes public or is used for the purpose other than surveillance;