GST-NVINFER의 역할은 TensorRT를 이용하여, Gstreamer에서 Inferece를 하는 역할이다.
주기능은 Object Detection 과 Classfication이 될 것이다.
TensorRT의 경우는 자세한 설명은, 별도의 NVIDIA TensorRT를 찾아보거나, 현재 정리된 Manual을 참조하자.
GST_NVINFER는 단지 TensorRT의 기능의 역할만 하는 것이 아니라, IPlugIn이라는 확장 Interface를 제공하고 있다.
이는 공유라이브러리와 연결하여, 이기능을 확장하여 사용이 가능하다고 한다. 주로, cumtom layer에 사용이 된다.
기본동작은 Gstremer의 Pipeline구조에 따라 아래와 같이 동작하며, 이 때 전달되는 매개체들을 알아두자.
일반 Gstreamer 처럼 Input Buffer가 들어오고, Output Buffer가 나가는 형식이며,
nvll_infer는 Low Leve Library(libnvill_infer)에서 float RGB or BGR planar data를 Network의 dimention에따라 처리한다고 한다.
- Input
- Gst_Buffer
- Meta Data (NvStreamMeta)
- Caffe Model and Caffe Prototxt
- ONNX
- UFF file
상위 3,4,5 번 TensorRT의 지원되는 Platform부분을 보고, Parser를 보면 쉽게 이해가 간다.
- Output
- Gst_Buffer:
- Meta Data (NvStreamMeta)
- Infer Meta Data (NvDsMeta: NVInfer에 의해 생성된 classes 정보 및 bounding box정보
- Control Paramets
- Batch size
- Inference interval
- Clustering parameters
- Class theshold
- Bonding Box color
- Width and height of bounding box to filter boxes for downstream component
Gst-nvInfer의 구조를 보면, 다른 Gst-PlugIn의 구조도 거의 비슷하기에 관련부분을 이해하기가 쉬워지며, 중요한 것은 TensorRT를 어떻게 넣고, 이를 적용하는 것 같다.
1.1 Gst-nvinfer 의 Properties
Gst Properties는 Gstreamer Command로 실행 했을 경우, 직접 넣을 수 있는 Argument라고 생각하면될 것 같다.
Source로 보면 g_object_set 함수를 이용하여 설정이 가능하며, 각각의 기능을 정확히 알아두자
아래의 config-file-path는 File을 이용하여 세부적으로 설정가능한데, 1.2에서 설명
1.2 Gst-nvinfer File Configuration Specifications
Gst-nvifer의 config file은 Key File Format으로 구성된다고 하는데, 아래의 사이트를 보거나, Config File을 보면 쉽게 이해간다.
[groupname]
Key=Value
https://specifications.freedesktop.org/desktop-entry-spec/latest/
예제의 config_infer_primary.txt File Format이 Key File Format이라고 생각하면된다.
Gst-nvinfer 의 Config 파일 크게 아래와 같이 구성되며 세부 설정은 Manual을 참조
- [property] : 필수 설정이므로, 반드시 알아야 하며, 관련내용 Manual 참조
- [class-attrs-all] : 모든 class 를 위한 detection 설정
- [class-attrs-
] : 특정 class-id만을 별도 설정가능
Gst-nvinfer PlugIn만 이기능을 지원하며, 이 관련소스는 현재 Library로만 제공되어있기때문에 자세한 구조 및 Parsing 소스를 알수 없으며,
Manual 과 Sample 예제 Config를 참조하여 각 값을 보고 설정하고 테스트를 진행해야한다.
- Gst-nvinfer(1st GIE, TensorRT)의 설정
$ cd ~/deepstream_sdk_on_jetson/samples/configs/deepstream-app
$ cat config_infer_primary.txt
....
[property]
net-scale-factor=0.0039215697906911373
## caffe model
model-file=../../models/Primary_Detector/resnet10.caffemodel
## model의 Layer 구조 및 이름파악
proto-file=../../models/Primary_Detector/resnet10.prototxt
model-engine-file=../../models/Primary_Detector/resnet10.caffemodel_b30_int8.engine
labelfile-path=../../models/Primary_Detector/labels.txt
int8-calib-file=../../models/Primary_Detector/cal_trt4.bin
batch-size=30
## 0=FP32, 1=INT8, 2=FP16 mode
network-mode=1
## 상위 labels의 class 종류가 4개
num-detected-classes=4
interval=0
gie-unique-id=1
## 0: Custom 4 : Resnet
parse-func=4
## 상위 proto-file의 output layer name , 즉 결과물을 보여주는 Layer 표시
output-blob-names=conv2d_bbox;conv2d_cov/Sigmoid
#parse-bbox-func-name=NvDsInferParseCustomResnet
#custom-lib-path=/home/nvidia/deepstream_sdk_on_jetson/sources/libs/nvdsparsebbox/libnvdsparsebbox.so
## DBSCAN or OpenCV groupRectangles for grouping detected object (군집화)
#enable-dbscan=1
[class-attrs-all]
threshold=0.2
group-threshold=1
## Set eps=0.7 and minBoxes for enable-dbscan=1
eps=0.2
#minBoxes=3
roi-top-offset=0
roi-bottom-offset=0
detected-min-w=0
detected-min-h=0
detected-max-w=0
detected-max-h=0
## Per class configuration
#[class-attrs-2]
#threshold=0.6
#eps=0.5
#group-threshold=3
#roi-top-offset=20
#roi-bottom-offset=10
#detected-min-w=40
#detected-min-h=40
#detected-max-w=400
#detected-max-h=800
- [propertyp] 숙지정보
- model-file: Caffe의 기본 Model 사용
- proto-file: Caffe에서 제공하는 Layer Graph 인것 같음
- model-engine-file:TensorRT용 Model Engine이며, 상위 model-file 기반으로 처음생성
- labelfile-path: 현재 제공되어지는 Label File
- network-mode: FP32/INT8/FP16기반으로 생성가능 이를 설정
- batch-szie: 들어오는 buffer의 수 (Frame/Object) , 현재 Frame이라고 생각하면됨
- num-detected-classes: Label의 갯수와 맞추면됨
- parse-func : [0 custom] [4: resnet] 세부사항은 Manual
상위 파란색으로 막아진 기능은 현재 /libs/libnvdsparsebox 기능으로 기본 Binary 설치가 안되었으며, 역할은 bounding box parsing 기능이며,
사용하고 싶다면, parse-func =0 변경과 함께source/libs/libnvdparsebox/libnvdsparsebbox.so 생성후 설정 (아래의 IPlugIn에서 다시언급)
- DBSCAN (Density-based spatial clustering of applications with noise)
상위 옵션 중에 DBSCAN이 존재하는데, 군집화를 하기위해서 사용하는 것 같으며, OpenCV 역시 비슷할 것 같다. (상위 EPS 설정과 같이 함)
- enable-dbscan
- eps=0.2
https://bcho.tistory.com/1205
- 관심영역 ROI(Region of Interest) 관련설정
- roi-top-offset=0 : ROI의 Frame Top에서 부터 OFFSET
- roi-bottom-offset=0 : ROI의Frame Bottom에서 부터 OFFSET
- TensorRT Engine
- model-engine-file
- 주의사항
- batch-size
- network-mode
다양한 예제 (for Telsa version)
https://github.com/NVIDIA-AI-IOT/redaction_with_deepstream/blob/master/configs/pgie_config_fd_lpd.txt
1.3 deepstream-app 의 Config
deepstream-app 에서만 사용되는 Config File 이며, 이 구조도 상위 구조와 동일하며, 다만 다른 점은 Gst-nvinfer Properties 의 Gst-nvinfer File Configuration 값을 덮어쓰는 것이 가능하다.
이 파일의 구조는 이전에 분석한 부분의 Parser에서 각각 값을 얻고 값을 별도로 저장을 한다.(여기서 부터는 소스로 확인가능)
이전의 Config File은 Primary-GIE (TensorRT) 설정이며, 아래의 Config에서 중복설정을 하여, 덮어쓰는 것이 가능하다.
- Manual의 Configuration Groups (Manual 참조)
Group
|
Configuration
|
application
|
Configuration settings that are not related to a specific component.
|
tiled-display
|
Settings that configure tiled display in the application.
|
source
|
Settings that specify source properties. There can be multiple sources, with one configuration group for each source. The groups must be named [source0], [source1], and so on.
|
streammux
|
Settings that specify the properties and modify the behavior of the streammux component.
|
primary-gie
|
Settings that specify the properties and modify the behavior of the primary GIE.
|
secondary-gie
|
Settings that specify the properties and modify the behavior of the secondary GIE. There may be multiple secondary GIEs, with one configuration group for each GIE. These groups must be named [secondary-gie0], [secondary-gie1], etc.
|
tracker
|
Settings that specify the properties and modify the behavior of the object tracker.
|
osd
|
Settings that specify the properties and modify the behavior of the on-screen display (OSD) component which overlays text and rectangles on the frame.
|
sink
|
Settings that specify the properties and modify the behavior of the sink components, which represent outputs such as displays or files for rendering, encoding, and file saving. The pipeline may contain multiple sinks, with one configuration group for each sink. The groups must be named [sink0], [sink1], etc.
|
tests
|
Settings for diagnostics and debugging. This configuration group is experimental.
|
- 이외의 group 설정
이외에 [messsage-broker] 및 [message-conv]도 지원할것 같으나, 현재 소스는 미지원이다.
(deepstrem_config_file_parser.c/h 소스참조)
- 4Ch Deepstream의 전체설정
1st GIE(Gst-nvinfer)의 설정을 보면, [primary-gie] 를 보면 이 설정은 config_infer_primary.txt와 중복이 되며, 재정의 하는 것이 가능하므로, 이 값으로 설정가능.
$ cd ~/deepstream_sdk_on_jetson/samples/configs/deepstream-app $ cat source4_720p_dec_infer-resnet_tracker_sgie_tiled_display_int8.txt [application] enable-perf-measurement=1 perf-measurement-interval-sec=5 #gie-kitti-output-dir=streamscl [tiled-display] enable=1 rows=2 columns=2 width=1280 height=720 [source0] enable=1 #Type - 1=CameraV4L2 2=URI 3=MultiURI type=3 uri=file://../../streams/sample_720p.mp4 num-sources=4 [sink0] enable=1 #Type - 1=FakeSink 2=EglSink 3=File 4=RTSPStreaming 5=Overlay type=2 sync=1 display-id=0 offset-x=0 offset-y=0 width=0 height=0 overlay-id=1 source-id=0 [sink1] enable=0 type=3 #1=mp4 2=mkv container=1 #1=h264 2=h265 3=mpeg4 codec=1 sync=0 bitrate=2000000 output-file=out.mp4 source-id=0 [sink2] enable=0 #Type - 1=FakeSink 2=EglSink 3=File 4=RTSPStreaming 5=Overlay type=4 #1=h264 2=h265 3=mpeg4 ## only h264 is supported right now. codec=1 sync=0 bitrate=4000000 # set below properties in case of RTSPStreaming rtsp-port=8554 udp-port=5400 [osd] enable=1 border-width=1 text-size=15 text-color=1;1;1;1; text-bg-color=0.3;0.3;0.3;1 font=Arial show-clock=0 clock-x-offset=800 clock-y-offset=820 clock-text-size=12 clock-color=1;0;0;0 [streammux] ##Boolean property to inform muxer that sources are live live-source=0 batch-size=4 ##time out in usec, to wait after the first buffer is available ##to push the batch even if the complete batch is not formed batched-push-timeout=40000 ## Set muxer output width and height width=1280 height=720 # config-file property is mandatory for any gie section. # Other properties are optional and if set will override the properties set in # the infer config file. [primary-gie] enable=1 model-engine-file=../../models/Primary_Detector/resnet10.caffemodel_b4_int8.engine labelfile-path=../../models/Primary_Detector/labels.txt batch-size=4 #Required by the app for OSD, not a plugin property bbox-border-color0=1;0;0;1 bbox-border-color1=0;1;1;1 bbox-border-color2=0;0;1;1 bbox-border-color3=0;1;0;1 interval=0 gie-unique-id=1 config-file=config_infer_primary.txt [tracker] enable=1 tracker-width=640 tracker-height=368 #1 - KLT, 2 - IOU, other values are invalid tracker-algorithm=1 iou-threshold=0.1 [secondary-gie0] enable=1 model-engine-file=../../models/Secondary_VehicleTypes/resnet18.caffemodel_b16_int8.engine labelfile-path=../../models/Secondary_VehicleTypes/labels.txt batch-size=16 gie-unique-id=4 operate-on-gie-id=1 operate-on-class-ids=0; config-file=config_infer_secondary_vehicletypes.txt [secondary-gie1] enable=1 model-engine-file=../../models/Secondary_CarColor/resnet18.caffemodel_b16_int8.engine labelfile-path=../../models/Secondary_CarColor/labels.txt batch-size=16 gie-unique-id=5 operate-on-gie-id=1 operate-on-class-ids=0; config-file=config_infer_secondary_carcolor.txt [secondary-gie2] enable=1 model-engine-file=../../models/Secondary_CarMake/resnet18.caffemodel_b16_int8.engine labelfile-path=../../models/Secondary_CarMake/labels.txt batch-size=16 gie-unique-id=6 operate-on-gie-id=1 operate-on-class-ids=0; config-file=config_infer_secondary_carmake.txt [tests] file-loop=0
재미있는 것은 Gstreamer 처럼 상위 정보들이 순서대로 동작될 것이라고는 생각하지 말아야하며, 소스를 분석해서 동작방식을 알아야한다.
상위정보들은 오직 config만 해당하므로, 전체 Pipeline 구조는 소스에서 확인을 해야한다.
- 기본으로 숙지해야할 정보들 정리
- [plug-in ]
- enable : 사용여부
- batch-size : data 갯수
- [tiled-display]
- row: 2 , columns: 2 일 경우 4 Channel 로 표시
- width, height : 본인이 설정하기 나름
- [source0)
- type=3 //MultiURI RTSP/FILE 동시 설정가능
- uri=rtsp://10.0.0.196:554/h264
- uri=file://../../streams/sample_720p.mp4
- num-sources: 4 # 4channel
- [sink0]
- sync: Indicates how the stream is to be rendered ( 0 = As fast as possible ,1 = Synchronously)
Deepstream SDK Manual 참조
2. DeepStream 기본소스분석
상위에서 설명한 각각의 GStreamer 구조와 DeepStream의 Properties 부분을 파악해보자.
- Deepstream의 SDK Source 전체구조 파악
$ cd ~/deepstream_sdk_on_jetson/sources
$ tree -t -L 2 .
.
├── apps //Deepstream Sample Application
│ ├── apps-common
│ └── sample_apps // DeepStream Samples App
├── gst-plugins // DeepStream PlugIn
│ ├── gst-dsexample
│ ├── gst-nvmsgbroker
│ └── gst-nvmsgconv
├── libs // Deepstream Plugin Lib
│ ├── kafka_protocol_adaptor
│ ├── nvdsparsebbox //nvinfer의 IPlugIn (Gst-nvinfer 의 config file에서 Load가능)
│ ├── nvmsgconv
│ └── nvds_logger
├── objectDetector_FasterRCNN // nvInfer의 IPlugIn FasterRCNN
│ ├── config_infer_primary_fasterRCNN.txt
│ ├── deepstream_app_config_fasterRCNN.txt
│ ├── labels.txt
│ ├── README
│ └── nvdsinfer_custom_impl_fasterRCNN
├── objectDetector_SSD // nvInfer의 IPlugIn SSD
│ ├── config_infer_primary_ssd.txt
│ ├── deepstream_app_config_ssd.txt
│ ├── nvdsinfer_custom_impl_ssd
│ └── README
└── includes
├── gstnvdsinfer.h
├── gstnvdsmeta.h
├── gst-nvquery.h
├── gstnvstreammeta.h
├── nvbuffer.h
├── nvbuf_utils.h
├── nvdsinfer_custom_impl.h
├── nvdsinfer.h
├── nvds_logger.h
├── nvdsmeta.h
├── nvds_msgapi.h
└── nvosd.h
- Deepstream의 Sampeapp의 Gstreamer PlugIn 구조파악
- deepstream-app : create_pipeline 분석가능하며, config file갯수/설정에따라 변경
- deepstream-test1-app : 나머지 3개는 이해하기가 쉬움
- deepstream-test2-app
- deepstream-test3-app
$ vi app/apps-common/includes/deepstream_config.h // 전체 Gstreamer (DeepStream의 구조파악)
......
#define NVDS_ELEM_SRC_CAMERA_CSI "nvarguscamerasrc"
#define NVDS_ELEM_SRC_CAMERA_V4L2 "v4l2src"
#define NVDS_ELEM_SRC_URI "uridecodebin"
#define NVDS_ELEM_QUEUE "queue"
#define NVDS_ELEM_CAPS_FILTER "capsfilter"
#define NVDS_ELEM_TEE "tee"
#define NVDS_ELEM_PGIE "nvinfer"
#define NVDS_ELEM_SGIE "nvinfer"
#define NVDS_ELEM_TRACKER "nvtracker"
#define NVDS_ELEM_VIDEO_CONV "nvvidconv"
#define NVDS_ELEM_STREAM_MUX "nvstreammux"
#define NVDS_ELEM_STREAM_DEMUX "nvstreamdemux"
#define NVDS_ELEM_TILER "nvmultistreamtiler"
#define NVDS_ELEM_OSD "nvosd"
#define NVDS_ELEM_DSEXAMPLE_ELEMENT "dsexample"
#define NVDS_ELEM_MSG_CONV "nvmsgconv"
#define NVDS_ELEM_MSG_BROKER "nvmsgbroker"
........
$ grep -r gst_element_factory_make . // Gstreamer 구조 파악
./apps/apps-common/src/deepstream_primary_gie_bin.c: gst_element_factory_make (NVDS_ELEM_VIDEO_CONV, "primary_gie_conv");
./apps/apps-common/src/deepstream_primary_gie_bin.c: bin->queue = gst_element_factory_make (NVDS_ELEM_QUEUE, "primary_gie_queue");
./apps/apps-common/src/deepstream_primary_gie_bin.c: gst_element_factory_make (NVDS_ELEM_CAPS_FILTER, "primary_gie_caps");
./apps/apps-common/src/deepstream_primary_gie_bin.c: gst_element_factory_make (NVDS_ELEM_PGIE, "primary_gie_classifier");
./apps/apps-common/src/deepstream_tracker_bin.c: gst_element_factory_make (NVDS_ELEM_TRACKER, "tracking_tracker");
./apps/apps-common/src/deepstream_sink_bin.c: bin->sink = gst_element_factory_make (NVDS_ELEM_SINK_EGL, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->sink = gst_element_factory_make (NVDS_ELEM_SINK_OVERLAY, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: gst_element_factory_make (NVDS_ELEM_SINK_FAKESINK, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: gst_element_factory_make (NVDS_ELEM_EGLTRANSFORM, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->queue = gst_element_factory_make (NVDS_ELEM_QUEUE, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->queue = gst_element_factory_make (NVDS_ELEM_QUEUE, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->transform = gst_element_factory_make (NVDS_ELEM_VIDEO_CONV, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->encoder = gst_element_factory_make (NVDS_ELEM_ENC_H264, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->encoder = gst_element_factory_make (NVDS_ELEM_ENC_H265, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->encoder = gst_element_factory_make (NVDS_ELEM_ENC_MPEG4, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->mux = gst_element_factory_make (NVDS_ELEM_MUX_MP4, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->mux = gst_element_factory_make (NVDS_ELEM_MKV, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->sink = gst_element_factory_make (NVDS_ELEM_SINK_FILE, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->queue = gst_element_factory_make (NVDS_ELEM_QUEUE, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->transform = gst_element_factory_make (NVDS_ELEM_VIDEO_CONV, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->encoder = gst_element_factory_make (NVDS_ELEM_ENC_H264, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: gst_element_factory_make (NVDS_ELEM_CAPS_FILTER, elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->rtph264pay = gst_element_factory_make ("rtph264pay", elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->sink = gst_element_factory_make ("udpsink", elem_name);
./apps/apps-common/src/deepstream_sink_bin.c: bin->queue = gst_element_factory_make (NVDS_ELEM_QUEUE, "sink_bin_queue");
./apps/apps-common/src/deepstream_sink_bin.c: bin->tee = gst_element_factory_make (NVDS_ELEM_TEE, "sink_bin_tee");
./apps/apps-common/src/deepstream_dsexample.c: gst_element_factory_make (NVDS_ELEM_QUEUE, "dsexample_queue");
./apps/apps-common/src/deepstream_dsexample.c: gst_element_factory_make (NVDS_ELEM_DSEXAMPLE_ELEMENT, "dsexample0");
..............
- Deepstream 의 상위의 1.3 deepstream-app Config 구조파악
$ tree -t apps/apps-common
apps/apps-common
├── includes
│ ├── deepstream_app.h
│ ├── deepstream_colors.h
│ ├── deepstream_common.h
│ ├── deepstream_config_file_parser.h // 상위 1.3 deepstream-app config 의 GROUP
│ ├── deepstream_config.h // gstream plugin (app-common *.c 참조 )
│ ├── deepstream_dsexample.h
│ ├── deepstream_gie.h
│ ├── deepstream_metadata_pool.h
│ ├── deepstream_osd.h
│ ├── deepstream_perf.h
│ ├── deepstream_primary_gie.h
│ ├── deepstream_secondary_gie.h
│ ├── deepstream_sinks.h
│ ├── deepstream_sources.h
│ ├── deepstream_streammux.h
│ ├── deepstream_tiled_display.h
│ └── deepstream_tracker.h
└── src
├── deepstream_common.c
├── deepstream_config_file_parser.c // 상위 1.3 deepstream-app config의 GROUP
├── deepstream_dsexample.c
├── deepstream_metadata_pool.c
├── deepstream_osd_bin.c
├── deepstream_perf.c
├── deepstream_primary_gie_bin.c
├── deepstream_secondary_gie_bin.c
├── deepstream_sink_bin.c // Gstreamer output
├── deepstream_source_bin.c // Gstreamer Input
├── deepstream_streammux.c // Video 영상 Mux 기능
├── deepstream_tiled_display_bin.c
├── deepstream_tracker_bin.c // Tracker 관련 기능, KLT or IOU
├── deepstream_primary_gie_bin.o
├── deepstream_tracker_bin.o
├── deepstream_config_file_parser.o
├── deepstream_metadata_pool.o
├── deepstream_source_bin.o
├── deepstream_common.o
├── deepstream_perf.o
├── deepstream_sink_bin.o
├── deepstream_dsexample.o
├── deepstream_osd_bin.o
├── deepstream_secondary_gie_bin.o
├── deepstream_tiled_display_bin.o
└── deepstream_streammux.o
$ cat apps/apps-common/includes/deepstream_config_file_parser.h // 1.3 참조, 이 곳에 선언된 GROUP가준으로 Gst Properies의 Config를 작성가능
......
#define CONFIG_GROUP_SOURCE "source"
#define CONFIG_GROUP_OSD "osd"
#define CONFIG_GROUP_PRIMARY_GIE "primary-gie"
#define CONFIG_GROUP_SECONDARY_GIE "secondary-gie"
#define CONFIG_GROUP_TRACKER "tracker"
#define CONFIG_GROUP_SINK "sink"
#define CONFIG_GROUP_TILED_DISPLAY "tiled-display"
#define CONFIG_GROUP_DSEXAMPLE "ds-example"
#define CONFIG_GROUP_STREAMMUX "streammux"
......
$ cat apps/apps-common/src/deepstream_config_file_parser.c // 1.3 참조, 이 곳에 선언된 GROUP의 각각의 Properies 설정부터 관련기능 확인가능
......
#define CONFIG_GROUP_ENABLE "enable"
#define CONFIG_GROUP_APP "application"
#define CONFIG_GROUP_APP_ENABLE_PERF_MEASUREMENT "enable-perf-measurement"
#define CONFIG_GROUP_APP_PERF_MEASUREMENT_INTERVAL "perf-measurement-interval-sec"
#define CONFIG_GROUP_APP_GIE_OUTPUT_DIR "gie-kitti-output-dir"
#define CONFIG_GROUP_TESTS "tests"
#define CONFIG_GROUP_TESTS_FILE_LOOP "file-loop"
#define CONFIG_GROUP_SOURCE_ENABLE "enable"
#define CONFIG_GROUP_SOURCE_TYPE "type"
#define CONFIG_GROUP_SOURCE_CAMERA_WIDTH "camera-width"
#define CONFIG_GROUP_SOURCE_CAMERA_HEIGHT "camera-height"
#define CONFIG_GROUP_SOURCE_CAMERA_FPS_N "camera-fps-n"
#define CONFIG_GROUP_SOURCE_CAMERA_FPS_D "camera-fps-d"
#define CONFIG_GROUP_SOURCE_CAMERA_CSI_SID "camera-csi-sensor-id"
#define CONFIG_GROUP_SOURCE_CAMERA_V4L2_DEVNODE "camera-v4l2-dev-node"
#define CONFIG_GROUP_SOURCE_URI "uri"
#define CONFIG_GROUP_SOURCE_LATENCY "latency"
#define CONFIG_GROUP_SOURCE_NUM_SOURCES "num-sources"
#define CONFIG_GROUP_SOURCE_INTRA_DECODE "intra-decode-enable"
#define CONFIG_GROUP_STREAMMUX_WIDTH "width"
#define CONFIG_GROUP_STREAMMUX_HEIGHT "height"
#define CONFIG_GROUP_STREAMMUX_BATCH_SIZE "batch-size"
#define CONFIG_GROUP_STREAMMUX_BATCHED_PUSH_TIMEOUT "batched-push-timeout"
#define CONFIG_GROUP_STREAMMUX_LIVE_SOURCE "live-source"
#define CONFIG_GROUP_OSD_MODE "osd-mode"
#define CONFIG_GROUP_OSD_BORDER_WIDTH "border-width"
#define CONFIG_GROUP_OSD_BORDER_COLOR "border-color"
#define CONFIG_GROUP_OSD_TEXT_SIZE "text-size"
#define CONFIG_GROUP_OSD_TEXT_COLOR "text-color"
#define CONFIG_GROUP_OSD_TEXT_BG_COLOR "text-bg-color"
#define CONFIG_GROUP_OSD_FONT "font"
#define CONFIG_GROUP_OSD_CLOCK_ENABLE "show-clock"
#define CONFIG_GROUP_OSD_CLOCK_X_OFFSET "clock-x-offset"
#define CONFIG_GROUP_OSD_CLOCK_Y_OFFSET "clock-y-offset"
#define CONFIG_GROUP_OSD_CLOCK_TEXT_SIZE "clock-text-size"
#define CONFIG_GROUP_OSD_CLOCK_COLOR "clock-color"
//현재 GIE에서 설정가능한 Properties 들이며, 세부사용법은 Manual
#define CONFIG_GROUP_GIE_BATCH_SIZE "batch-size"
#define CONFIG_GROUP_GIE_MODEL_ENGINE "model-engine-file"
#define CONFIG_GROUP_GIE_CONFIG_FILE "config-file"
#define CONFIG_GROUP_GIE_LABEL "labelfile-path"
#define CONFIG_GROUP_GIE_UNIQUE_ID "gie-unique-id"
#define CONFIG_GROUP_GIE_ID_FOR_OPERATION "operate-on-gie-id"
#define CONFIG_GROUP_GIE_BBOX_BORDER_COLOR "bbox-border-color"
#define CONFIG_GROUP_GIE_BBOX_BG_COLOR "bbox-bg-color"
#define CONFIG_GROUP_GIE_CLASS_IDS_FOR_OPERATION "operate-on-class-ids"
#define CONFIG_GROUP_GIE_INTERVAL "interval"
#define CONFIG_GROUP_GIE_RAW_OUTPUT_DIR "infer-raw-output-dir"
.............
이 기능들은 각각의 GROUP인 parse_xxx 함수에 의해 호출되며, GIE인 경우 parse_gie가 된다.
그리고, 상위의 Gst Properites의 Config 파일로 읽어 각 Group의 Config 변수에 저장되어지며, GIE의 경우 NvDsGieConfig 저장
3. Gst-nvinfer(TensorRT)의 IPlugin 확장기능
TensorRT의 Custom layer를 위한 확장기능으로 동작하는 방식은 IPlugin Interface를 연결하여 만들고, 본인이 원하는 Layer를 공유라이브러리로 구현하면된다고한다.
이 기능을 테스트하기위해서는 각각의 Framwork의 Model과 관련 Label 정보가 필요하며, 이는 기존의 TensorRT 예제에서 가져오고 테스트를 진행한다.
그러므로, 기존에 사용했던 TensorRT 부분을 확인하고 가자.
- 필요사항
- Framework의 pre-trained Model (Caffe, UFF (Tensorflow) )
- lable or prototxt file ( Framework에 의존적임)
- Deepstream 에서 제공되어지는 기본예제들
- nvinfer의 IPlugIn FasterRCNN (Caffe)
- nvinfer의 IPlugIn SSD (Tensorflow)
- TensorRT Layer 특징과 Presion 정보 (PlugIn Layer)
https://docs.nvidia.com/deeplearning/sdk/tensorrt-support-matrix/index.html#layers-matrix
https://docs.nvidia.com/deeplearning/sdk/tensorrt-support-matrix/index.html#hardware-precision-matrix
- TensorRT Layer 전체 Index
- TensorRT Plugin Layer 와 API
https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#plugin-api-desc
3.1 IPlugin 관련 소스 확인 및 기본적인 이해 와 분석
Deepstream 3.0 SDK에서 Gst-nvinfer(TensorRT)는 IPluginV2 and IPluginCreator interface를 지원하며 DeepStream SDK Manual의 5장참조하자.
상위 2장의 전체 Deepstream SDK 3.0 Source에서 IPlugin 부분들을 보면될 것 같다.
Gst-nvinfer에서 config file에서 key로 설정하여 본인이 만든 공유 library loading 방식이며, bbox(boundbox)를 다 독자적으로 구현을 했다.
현재 주 사용하는 목적은 현재로는 bbox 구현으로만 보이지만, 본인이 원하면, 다른것으로도 구현이 가능할 것 같다.
Output layer를 기반으로 본인이 얻고자하는 Data를 가공하여 이를 만들면 되겠지만, 역시 등록해야하는 함수 Key가 필요하기때문에 제한적일 것 같다.
- TensorRT의 IPlugInV2 예제 소스
- libs/nvdsparsebox: bound box 구현
- ObjectDetector_FasterRCNN: bound box 구현
- ObjectDetector_SSD: bound box 구현
TensorRT는 C++기반의 Library Engine이며, 아래와 같이 Class를 제공하더라도 어디에 속했는지가 중요하므로, 각각의 Manual을 볼때 주의하도록하자.
- TensorRT의 Main Class List
- nvcaffeparser1
- nvinfer1
- nvonnxparser
- nvuffparser
Class List
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/annotated.html
- nvdsinfer_custom_impl.h
- NvDsInferPluginFactoryCaffeGet
- NvDsInferPluginFactoryCaffeDestroy
- NvDsInferPluginFactoryUffGet
- NvDsInferPluginFactoryUffDestroy
IPluginFactory Class의 제공하는 Main Class들
- nvinfer1::IPluginFactory : TensorRT
- nvuffparser1::IPluginFactory : UFF Parser
- nvuffparser1::IPluginFactoryExt : UFF Parser
- nvcaffeparser1::IPluginFactory : Caffe Parser
- nvcaffeparser1::IPluginFactoryExt : Caffe Parser
- nvcaffeparser1::IPluginFactoryV2 : Caffe Parser
DeepStream SDK Manual 의 5.0 IPLUGIN INTERFACE 부분 참조
IPluginCreator or IPluginFactory Interface를 사용하기위해 반드시 독립적인 custom library(공유 Library)를 구현해야하며, 이 Library는 Gst-nvinfer 의 custom-lib-path key로 설정이 가능하다.
이 예가 lib/nvdsparsebox 이며 Gst-nvinfer에 상위 설정을 적용하며, 이 Library를 Plugin가능하다.
- 1stGIE Config File
$ cat deepstream_sdk_on_jetson/samples/configs/deepstream-app/config_infer_primary.txt ## 1st GIE는 오직 4개만 분류가능 num-detected-classes=4 ## Array of output layer names , 세미콜론을 구분 output-blob-names=conv2d_bbox;conv2d_cov/Sigmoid ... # 0:custom 1:GoogleNet 2:NVIDIA Type0 3:NVIDIA Type1 4: ResNet parse-func=4 ## //libs/nvsparsebox/nvdsparsebbox.cpp 에 함수가 구현됨 #parse-bbox-func-name=NvDsInferParseCustomResnet ## IPlugin 연결 (Gst-nvinfer 이를 dlopen 연결) #custom-lib-path=/home/nvidia/deepstream_sdk_on_jetson/sources/libs/nvdsparsebbox/libnvdsparsebbox.so $ cat deepstream_sdk_on_jetson/sources/objectDetector_FasterRCNN/config_infer_primary_fasterRCNN.txt .. # 1st GIE는 오직 21 개만 분류가능 num-detected-classes=21 # Array of output layer names , 세미콜론을 구분 output-blob-names=bbox_pred;cls_prob;rois ... # 0:custom 1:GoogleNet 2:NVIDIA Type0 3:NVIDIA Type1 4: ResNet parse-func=0 parse-bbox-func-name=NvDsInferParseCustomFasterRCNN custom-lib-path=nvdsinfer_custom_impl_fasterRCNN/libnvdsinfer_custom_impl_fasterRCNN.so $ cat deepstream_sdk_on_jetson/sources/objectDetector_SSD/config_infer_primary_ssd.txt ## 0=FP32, 1=INT8, 2=FP16 mode network-mode=0 ##1st GIE는 오직 91 개만 분류가능 num-detected-classes=91 ## Array of output layer names , 세미콜론을 구분 output-blob-names=MarkOutput_0 ... ## 0:custom 1:GoogleNet 2:NVIDIA Type0 3:NVIDIA Type1 4: ResNet parse-func=0 ## bbox 구현된 function parse-bbox-func-name=NvDsInferParseCustomSSD custom-lib-path=nvdsinfer_custom_impl_ssd/libnvdsinfer_custom_impl_ssd.so
현재는 UFF와 Caffer만 지원가능한 것 같고, ONMX의 경우는 언급이 없으며, 예제도 아직없다.
지원을 한다고 하는데, 지금은 왠지 동작 안될 것 같다.
- nvdsplugin_xxx.cpp : ( IPluginV2 , IPluginCreator )
nvinfer1
nvinfer1::IPluginV2 Class Reference
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/classnvinfer1_1_1_i_plugin_v2.html
nvinfer1::IPluginCreator Class Reference
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/classnvinfer1_1_1_i_plugin_creator.html
nvinfer1::IPluginFactory Class Reference
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/classnvinfer1_1_1_i_plugin_factory.html
- nvdsparsebbox_xxx.cpp
이때 사용되어지는 모듈들이 Layer를 찾기위해서 Parser를 사용하며, 상위 nvinfer도 같이 사용하는 것 같다.
nvuffparser and nvcaffeparser1
nvuffparser::IPluginFactory Class Reference
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/classnvuffparser_1_1_i_plugin_factory.html
nvcaffeparser1::IPluginFactory Class Reference
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/classnvcaffeparser1_1_1_i_plugin_factory.html
세부내용은Deepstream SDK Manual참조
- Deepstream SDK 3.0의 FasterRCNN 과 SSD 의 소스
$ cd ~/deepstream_sdk_on_jetson/sources/objectDetector_FasterRCNN/nvdsinfer_custom_impl_fasterRCNN $ ls factoryFasterRCNN.h libnvdsinfer_custom_impl_fasterRCNN.so nvdsinitinputlayers_fasterRCNN.cpp nvdsparsebbox_fasterRCNN.cpp factoryFasterRCNNLegacy.h Makefile nvdsiplugin_fasterRCNN.cpp nvdssample_fasterRCNN_common.h $ cd ~/deepstream_sdk_on_jetson/sources/objectDetector_SSD/nvdsinfer_custom_impl_ssd $ ls libnvdsinfer_custom_impl_ssd.so Makefile nvdsiplugin_ssd.cpp nvdsparsebbox_ssd.cpp
TensorRT의 IPlugIN의 C++ 기능
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/classnvinfer1_1_1_i_plugin.html
TensorRT의 IPlugIN Python API기능
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/python_api/infer/Plugin/pyPlugin.html
Extending TensorRT With Custom Layers
https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#extending
3.2 IPlugIn FasterRCNN 기능확인 (Caffe 기반)
DeepStream SDK의 포함된 FasterRCNN(objectDetector_FasterRCNN)을 Build하여, 각각의 Sample 영상을 확인하자.
- Deepstram FasterRCNN 준비작업
CaffeModel은 인터넷에서 아래와 같이 사이트에서 찾고, config 파일 기준으로 환경을 설정해주자.
https://docs.openvinotoolkit.org/2018_R5/_samples_object_detection_demo_README.html
$ cd ~/deepstream_sdk_on_jetson/sources/objectDetector_FasterRCNN $ ls //README 참고하고, 두개의 Config가 존재 config_infer_primary_fasterRCNN.txt deepstream_app_config_fasterRCNN.txt labels.txt nvdsinfer_custom_impl_fasterRCNN README $ cd nvdsinfer_custom_impl_fasterRCNN/ $ make // libnvdsinfer_custom_impl_fasterRCNN.so 생성확인 $ cd .. //download VGG16_faster_rcnn_final.caffemodel $ wget https://dl.dropboxusercontent.com/s/o6ii098bu51d139/faster_rcnn_models.tgz?dl=0 $ mv 'faster_rcnn_models.tgz?dl=0' faster_rcnn_models.tgz $ tar zxvf faster_rcnn_models.tgz faster_rcnn_models/ faster_rcnn_models/ZF_faster_rcnn_final.caffemodel faster_rcnn_models/VGG16_faster_rcnn_final.caffemodel $ ln -s faster_rcnn_models/VGG16_faster_rcnn_final.caffemodel VGG16_faster_rcnn_final.caffemodel $ cp /usr/src/tensorrt/data/faster-rcnn/faster_rcnn_test_iplugin.prototxt .
- FastRCNN의 CMD Gstreamer 와 deepstream-app 비교 영상확인
$ pwd
/home/nvidia/deepstream_sdk_on_jetson/sources/objectDetector_FasterRCNN
$ gst-launch-1.0 filesrc location=../../samples/streams/sample_720p.mp4 ! \
decodebin ! nvinfer config-file-path= config_infer_primary_fasterRCNN.txt ! \
nvvidconv ! nvosd ! nvegltransform ! nveglglessink
$ deepstream-app -c deepstream_app_config_fasterRCNN.txt
두개의 영상 느리며, 실시간으로 사용하기가 힘들것으로 보이며, 현재 FP32엔진으로 사용
CMD-Gstreamer에 Gst-nvinfer 설정은 가능하지만 metadata 처리를 위한 Callback Function이 없기에 아래와 같이 OSD에 Class를 표시 못하고 Detection만 가능
deepstream-app 기존처럼 동작하지만, PERF의 7 ~8 FPS로 동작되어 느림 (실시간은 힘듦)
3.3 IPlugIn SSD 기능확인 (Tensorflow 기반)
Deepstream SDK에 동일하게 UFFSSD(objectDetector_SSD)를 부분을 Build를 진행하고, Tensorflow에서 Training 된 *.PB파일을 받아 이를 UFF로 변경 후에
이를 상위 objectDetector_SSD를 이용하여 동영상을 확인하자.
- Deepstream SSD 작업준비사항
UFF Model: x86에서 Tensorflow PB파일을 받아 UFF로 변환을 하고 이를 가져와야한다
Label File: TensorRT Sampel에서 가져옴
$ cd ~/deepstream_sdk_on_jetson/sources/objectDetector_SSD $ ls //README 참고하고, 두개의 Config가 존재 config_infer_primary_ssd.txt deepstream_app_config_ssd.txt nvdsinfer_custom_impl_ssd README $ cd nvdsinfer_custom_impl_ssd/ $ make // libnvdsinfer_custom_impl_ssd.so 생성확인 $ cd .. //$ cat /usr/src/tensorrt/samples/sampleUffSSD/README //download ssd_inception_v2_coco_2017_11_17.tar.gz $ wget http://download.tensorflow.org/models/object_detection/ssd_inception_v2_coco_2017_11_17.tar.gz $ tar zxvf ssd_inception_v2_coco_2017_11_17.tar.gz ssd_inception_v2_coco_2017_11_17/ ssd_inception_v2_coco_2017_11_17/model.ckpt.index ssd_inception_v2_coco_2017_11_17/model.ckpt.meta ssd_inception_v2_coco_2017_11_17/frozen_inference_graph.pb ssd_inception_v2_coco_2017_11_17/model.ckpt.data-00000-of-00001 ssd_inception_v2_coco_2017_11_17/saved_model/ ssd_inception_v2_coco_2017_11_17/saved_model/saved_model.pb ssd_inception_v2_coco_2017_11_17/saved_model/variables/ ssd_inception_v2_coco_2017_11_17/checkpoint //$ cp /usr/src/tensorrt/samples/sampleUffSSD/config.py . (config.py) //$ convert-to-uff --input-file frozen_inference_graph.pb -O NMS -p config.py (x86에서 변환) $ mv frozen_inference_graph.uff sample_ssd_relu6.uff $ cp /usr/src/tensorrt/data/ssd/ssd_coco_labels.txt .
- SSD CMD GStreamer와 deepstream-app 비교 영상확인
Stream의 metadata처리하여 OSD에 이를 적용하는부분 때문에 두 실행결과가 다르다.
결과적으로, metadata 처리를 위한 callback function들은 작성을 해야겠다.
$ pwd
/home/nvidia/deepstream_sdk_on_jetson/sources/objectDetector_SSD
$ gst-launch-1.0 filesrc location=../../samples/streams/sample_720p.mp4 ! \
decodebin ! nvinfer config-file-path= config_infer_primary_ssd.txt ! \
nvvidconv ! nvosd ! nvegltransform ! nveglglessink
$ deepstream-app -c deepstream_app_config_ssd.txt
CMD-Gstreamer 실행 , 이전 Faster RCNN과 속도는 비교가 안되며, 실시간으로 가능
(상위와 동일하게 Callback Function이 동작하지 않으므로, OSD Label 표시가 안됨)
deepstream-app 돌려서 OSD에서 각 Class가 구분되며, 실시간으로 FPS 30으로 동작가능확인
- RTSP (IP Camera 설정으로 변경)
$ pwd /home/nvidia/deepstream_sdk_on_jetson/sources/objectDetector_SSD $ cp deepstream_app_config_ssd.txt deepstream_app_rtsp.txt $ vi deepstream_app_rtsp.txt [source0] ... #uri=file://../../samples/streams/sample_720p.mp4 uri=rtsp://10.0.0.196:554/h264 [sink0] .. sync=0 [tracker] //이부분 IOU 변경 .. tracker-algorithm=2 다른 batch-size도 변경해도 됨 $ deepstream-app -c deepstream_app_rtsp.txt
3.4 TensorRT의 기능 재확인
TensorRT의 기능 확인
- SampleFasterRCNN확인 (Caffe Model 사용)
- SampleUFFSSD 확인 (UFF Format 현재 거의 Tensorflow)
이를 테스트 한지 오래되어 아래와 같이 TensorRT 부분을 재확인
$ ls /usr/src/tensorrt/samples // TensorRT의 전체 Sample Source 확인 common Makefile sampleCharRNN sampleGoogleNet sampleINT8API sampleMNIST sampleMovieLens sampleOnnxMNIST sampleSSD sampleUffSSD getDigits Makefile.config sampleFasterRCNN sampleINT8 sampleMLP sampleMNISTAPI sampleNMT samplePlugin sampleUffMNIST trtexec $ ls /usr/src/tensorrt/samples/sampleFasterRCNN //FasterRCNN Source 및 README 확인 factoryFasterRCNN.h Makefile README.txt sampleFasterRCNN.cpp $ ls /usr/src/tensorrt/samples/sampleUffSSD //sampleUffSSD Source 및 README 확인 BatchStreamPPM.h config.py Makefile README.txt sampleUffSSD.cpp $ ls /usr/src/tensorrt/bin/ // TensorRT의 Binary 확인 chobj/ sample_fasterRCNN sample_int8_api_debug sample_mnist_api_debug sample_onnx_mnist sample_uff_mnist dchobj/ sample_fasterRCNN_debug sample_int8_debug sample_mnist_debug sample_onnx_mnist_debug sample_uff_mnist_debug download-digits-model.py sample_googlenet sample_mlp sample_movielens sample_plugin sample_uff_ssd giexec sample_googlenet_debug sample_mlp_debug sample_movielens_debug sample_plugin_debug sample_uff_ssd_debug sample_char_rnn sample_int8 sample_mnist sample_nmt sample_ssd trtexec sample_char_rnn_debug sample_int8_api sample_mnist_api sample_nmt_debug sample_ssd_debug trtexec_debug $ ls /usr/src/tensorrt/data/faster-rcnn/ 000456.ppm 000542.ppm 001150.ppm 001763.ppm 004545.ppm faster_rcnn_test_iplugin.prototxt $ ls /usr/src/tensorrt/data/ssd/ bus.ppm dog.ppm ssd_coco_labels.txt
TensorRT-UFF Convert Python API
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/python_api/uff/uff.html
TensorRT Python and Python API
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/python_api/index.html
https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/#python
convert-to-uff 상위의 python API로 제공 혹은 tf_to_trt.py 제공하지만, x86기반만 가능
https://devtalk.nvidia.com/default/topic/1025246/jetson-tx2/where-is-convert-to-uff/
https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html
관련소스
https://github.com/NVIDIA-AI-IOT/tf_to_trt_image_classification
Tensorflow 와 TensorRT Chatbot 예제
https://github.com/AastaNV/ChatBot
