DeepStream SDK 4.0 전체구조 파악
- Deepstream Sample 구조
$ cd ~/deepstream-4.0/samples // /opt/nvidia/deepstream/deepstream-4.0에서 복사해옴 (이전에) $ tree . ├── configs │ └── deepstream-app // deepstream-app 만을 위한 설정 │ ├── config_infer_primary_nano.txt // Jetson Nano를 위한 version 인것 같음 │ ├── config_infer_primary.txt │ ├── config_infer_secondary_carcolor.txt │ ├── config_infer_secondary_carmake.txt │ ├── config_infer_secondary_vehicletypes.txt │ ├── iou_config.txt │ ├── source12_1080p_dec_infer-resnet_tracker_tiled_display_fp16_tx2.txt // deepstream-app 의 다양한 설정제공 (CSI,USB 테스트 못함) │ ├── source1_csi_dec_infer_resnet_int8.txt │ ├── source1_usb_dec_infer_resnet_int8.txt │ ├── source2_csi_usb_dec_infer_resnet_int8.txt │ ├── source30_1080p_dec_infer-resnet_tiled_display_int8.txt │ ├── source4_1080p_dec_infer-resnet_tracker_sgie_tiled_display_int8.txt │ ├── source6_csi_dec_infer_resnet_int8.txt │ ├── source8_1080p_dec_infer-resnet_tracker_tiled_display_fp16_nano.txt │ ├── source8_1080p_dec_infer-resnet_tracker_tiled_display_fp16_tx1.txt │ └── tracker_config.yml ├── models │ ├── Primary_Detector // 1nd GIE Object Detection │ │ ├── cal_trt.bin │ │ ├── labels.txt │ │ ├── resnet10.caffemodel │ │ ├── resnet10.caffemodel_b1_int8.engine // TensorRT Engine │ │ ├── resnet10.caffemodel_b4_int8.engine │ │ └── resnet10.prototxt │ ├── Primary_Detector_Nano │ │ ├── labels.txt │ │ ├── resnet10.caffemodel │ │ ├── resnet10.caffemodel_b12_fp16.engine │ │ └── resnet10.prototxt │ ├── Secondary_CarColor // 2nd GIE Classfication │ │ ├── cal_trt.bin │ │ ├── labels.txt │ │ ├── mean.ppm │ │ ├── resnet18.caffemodel │ │ ├── resnet18.caffemodel_b16_int8.engine │ │ └── resnet18.prototxt │ ├── Secondary_CarMake // 2nd GIE Classfication │ │ ├── cal_trt.bin │ │ ├── labels.txt │ │ ├── mean.ppm │ │ ├── resnet18.caffemodel │ │ ├── resnet18.caffemodel_b16_int8.engine │ │ └── resnet18.prototxt │ ├── Secondary_VehicleTypes // 2nd GIE Classfication │ │ ├── cal_trt.bin │ │ ├── labels.txt │ │ ├── mean.ppm │ │ ├── resnet18.caffemodel │ │ ├── resnet18.caffemodel_b16_int8.engine │ │ └── resnet18.prototxt │ └── Segmentation // 이전 Segmentation을 위한 UFF Format Model 2개 │ ├── industrial │ │ ├── unet_output_graph.uff │ │ ├── unet_output_graph.uff_b1_fp32.engine │ │ └── unet_output_graph.uff_b2_fp32.engine │ └── semantic │ ├── unetres18_v4_pruned0.65_800_data.uff │ └── unetres18_v4_pruned0.65_800_data.uff_b2_fp32.engine ├── streams //예제 동영상 │ ├── sample_1080p_h264.mp4 │ ├── sample_1080p_h265.mp4 │ ├── sample_720p.h264 │ ├── sample_720p.jpg │ ├── sample_720p.mjpeg │ ├── sample_720p.mp4 │ ├── sample_cam6.mp4 │ └── sample_industrial.jpg └── streams2 // 내가 복사해서 만든 예제 └── sample_720p.h264
- Source 구조
$ cd ~/deepstream-4.0/sources $ tree . ├── apps │ ├── apps-common │ │ ├── includes │ │ │ ├── deepstream_app_version.h │ │ │ ├── deepstream_common.h │ │ │ ├── deepstream_config_file_parser.h │ │ │ ├── deepstream_config.h // DeepStream PLUGIN 확인 │ │ │ ├── deepstream_dewarper.h │ │ │ ├── deepstream_dsexample.h │ │ │ ├── deepstream_gie.h │ │ │ ├── deepstream_osd.h │ │ │ ├── deepstream_perf.h │ │ │ ├── deepstream_primary_gie.h │ │ │ ├── deepstream_secondary_gie.h │ │ │ ├── deepstream_sinks.h │ │ │ ├── deepstream_sources.h │ │ │ ├── deepstream_streammux.h │ │ │ ├── deepstream_tiled_display.h │ │ │ └── deepstream_tracker.h │ │ └── src │ │ ├── deepstream_common.c │ │ ├── deepstream_config_file_parser.c │ │ ├── deepstream_dewarper_bin.c │ │ ├── deepstream_dsexample.c │ │ ├── deepstream_osd_bin.c │ │ ├── deepstream_perf.c │ │ ├── deepstream_primary_gie_bin.c │ │ ├── deepstream_secondary_gie_bin.c │ │ ├── deepstream_sink_bin.c │ │ ├── deepstream_source_bin.c │ │ ├── deepstream_streammux.c │ │ ├── deepstream_tiled_display_bin.c │ │ └── deepstream_tracker_bin.c │ └── sample_apps │ ├── deepstream-app │ │ ├── deepstream_app.c │ │ ├── deepstream_app_config_parser.c │ │ ├── deepstream_app.h │ │ ├── deepstream_app_main.c │ │ ├── Makefile │ │ └── README │ ├── deepstream-dewarper-test │ │ ├── config_dewarper.txt │ │ ├── csv_files │ │ │ ├── nvaisle_2M.csv │ │ │ └── nvspot_2M.csv │ │ ├── deepstream_dewarper_test.c │ │ ├── Makefile │ │ └── README │ ├── deepstream-gst-metadata-test │ │ ├── deepstream-gst-metadata-app │ │ ├── deepstream_gst_metadata.c │ │ ├── deepstream_gst_metadata.o │ │ ├── dsmeta_pgie_config.txt │ │ ├── Makefile │ │ └── README │ ├── deepstream-image-decode-test │ │ ├── deepstream_image_decode_app.c │ │ ├── dstest_image_decode_pgie_config.txt │ │ ├── Makefile │ │ └── README │ ├── deepstream-infer-tensor-meta-test │ │ ├── deepstream_infer_tensor_meta_test.cpp │ │ ├── dstensor_pgie_config.txt │ │ ├── dstensor_sgie1_config.txt │ │ ├── dstensor_sgie2_config.txt │ │ ├── dstensor_sgie3_config.txt │ │ ├── Makefile │ │ └── README │ ├── deepstream-nvof-test │ │ ├── deepstream_nvof_test.c │ │ ├── Makefile │ │ └── README │ ├── deepstream-perf-demo │ │ ├── deepstream-perf-demo │ │ ├── deepstream_perf_demo.cpp │ │ ├── deepstream_perf_demo.o │ │ ├── Makefile │ │ ├── perf_demo_pgie_config.txt │ │ ├── perf_demo_sgie1_config.txt │ │ ├── perf_demo_sgie2_config.txt │ │ ├── perf_demo_sgie3_config.txt │ │ └── README │ ├── deepstream-segmentation-test │ │ ├── deepstream-segmentation-app │ │ ├── deepstream_segmentation_app.c │ │ ├── deepstream_segmentation_app.o │ │ ├── dstest_segmentation_config_industrial.txt │ │ ├── dstest_segmentation_config_semantic.txt │ │ ├── Makefile │ │ └── README │ ├── deepstream-test1 │ │ ├── deepstream-test1-app │ │ ├── deepstream_test1_app.c │ │ ├── deepstream_test1_app.o │ │ ├── dstest1_pgie_config.txt │ │ ├── Makefile │ │ └── README │ ├── deepstream-test2 // 가장 많이 사용할 예제 인것 같으며, TEST3와 같이 결합하면, RTSP지원 │ │ ├── deepstream-test2-app │ │ ├── deepstream_test2_app.c │ │ ├── deepstream_test2_app.o │ │ ├── dstest2_pgie_config.txt │ │ ├── dstest2_sgie1_config.txt │ │ ├── dstest2_sgie2_config.txt │ │ ├── dstest2_sgie3_config.txt │ │ ├── dstest2_tracker_config.txt │ │ ├── Makefile │ │ ├── README │ │ └── tracker_config.yml │ ├── deepstream-test3 │ │ ├── deepstream-test3-app │ │ ├── deepstream_test3_app.c │ │ ├── deepstream_test3_app.o │ │ ├── dstest3_pgie_config.txt │ │ ├── Makefile │ │ └── README │ ├── deepstream-test4 │ │ ├── cfg_amqp.txt │ │ ├── cfg_azure.txt │ │ ├── cfg_kafka.txt │ │ ├── deepstream-test4-app │ │ ├── deepstream_test4_app.c │ │ ├── deepstream_test4_app.o │ │ ├── dstest4_msgconv_config.txt │ │ ├── dstest4_pgie_config.txt │ │ ├── Makefile │ │ └── README │ └── deepstream-user-metadata-test │ ├── deepstream-user-metadata-app │ ├── deepstream_user_metadata_app.c │ ├── deepstream_user_metadata_app.o │ ├── dsmeta_pgie_config.txt │ ├── Makefile │ └── README ├── gst-plugins │ ├── gst-dsexample │ │ ├── dsexample_lib │ │ │ ├── dsexample_lib.c │ │ │ ├── dsexample_lib.h │ │ │ └── Makefile │ │ ├── gstdsexample.cpp │ │ ├── gstdsexample.h │ │ ├── Makefile │ │ └── README │ ├── gst-nvinfer │ │ ├── gstnvinfer_allocator.cpp │ │ ├── gstnvinfer_allocator.h │ │ ├── gstnvinfer.cpp │ │ ├── gstnvinfer.h │ │ ├── gstnvinfer_meta_utils.cpp │ │ ├── gstnvinfer_meta_utils.h │ │ ├── gstnvinfer_property_parser.cpp │ │ ├── gstnvinfer_property_parser.h │ │ ├── Makefile │ │ └── README │ ├── gst-nvmsgbroker │ │ ├── gstnvmsgbroker.c │ │ ├── gstnvmsgbroker.h │ │ ├── Makefile │ │ └── README │ └── gst-nvmsgconv │ ├── gstnvmsgconv.c │ ├── gstnvmsgconv.h │ ├── Makefile │ └── README ├── includes │ ├── gstnvdsinfer.h │ ├── gstnvdsmeta.h │ ├── gst-nvevent.h │ ├── gst-nvmessage.h │ ├── gst-nvquery.h │ ├── nvbufsurface.h │ ├── nvbufsurftransform.h │ ├── nvds_dewarper_meta.h │ ├── nvdsinfer_context.h │ ├── nvdsinfer_custom_impl.h │ ├── nvdsinfer_dbscan.h │ ├── nvdsinfer.h │ ├── nvdsinfer_tlt.h │ ├── nvdsinfer_utils.h │ ├── nvds_latency_meta.h │ ├── nvds_logger.h │ ├── nvdsmeta.h //NvDsFrameMeta , NvDsObjectMeta 구조를 파악 DeepStream SDK API에서도 확인가능 │ ├── nvdsmeta_schema.h │ ├── nvds_msgapi.h │ ├── nvds_opticalflow_meta.h │ ├── nvdstracker.h │ ├── nvds_version.h │ ├── nvll_osd_api.h │ └── nvll_osd_struct.h ├── libs │ ├── amqp_protocol_adaptor │ │ ├── cfg_amqp.txt │ │ ├── Makefile.test │ │ ├── README │ │ ├── test_amqp_proto_async.c │ │ └── test_amqp_proto_sync.c │ ├── azure_protocol_adaptor │ │ ├── device_client │ │ │ ├── cfg_azure.txt │ │ │ ├── Makefile.test │ │ │ ├── README │ │ │ ├── test_azure_proto_async.c │ │ │ └── test_azure_proto_sync.c │ │ └── module_client │ │ ├── cfg_azure.txt │ │ ├── Dockerfile │ │ ├── Makefile.test │ │ ├── README │ │ ├── test_azure_iotedge_async.c │ │ └── test_azure_iotedge_sync.c │ ├── kafka_protocol_adaptor │ │ ├── json_helper.cpp │ │ ├── kafka_client.cpp │ │ ├── kafka_client.h │ │ ├── Makefile │ │ ├── Makefile.test │ │ ├── nvds_kafka_proto.cpp │ │ ├── README │ │ ├── test_kafka_proto_async │ │ ├── test_kafka_proto_async.cpp │ │ ├── test_kafka_proto_sync │ │ └── test_kafka_proto_sync.cpp │ ├── nvdsinfer │ │ ├── Makefile │ │ ├── nvdsinfer_context_impl_capi.cpp │ │ ├── nvdsinfer_context_impl.cpp │ │ ├── nvdsinfer_context_impl.h │ │ ├── nvdsinfer_context_impl_output_parsing.cpp │ │ ├── nvdsinfer_conversion.cu │ │ ├── nvdsinfer_conversion.h │ │ └── README │ ├── nvdsinfer_customparser │ │ ├── Makefile │ │ ├── nvdsinfer_custombboxparser.cpp │ │ ├── nvdsinfer_customclassifierparser.cpp │ │ └── README │ └── nvmsgconv │ ├── Makefile │ ├── nvmsgconv.cpp │ ├── nvmsgconv.h │ └── README ├── objectDetector_FasterRCNN │ ├── config_infer_primary_fasterRCNN.txt // Custom Layer 설정확인 │ ├── deepstream_app_config_fasterRCNN.txt │ ├── labels.txt │ ├── nvdsinfer_custom_impl_fasterRCNN // IPluginFactory Custom Layer │ │ ├── factoryFasterRCNN.h │ │ ├── factoryFasterRCNNLegacy.h │ │ ├── Makefile │ │ ├── nvdsinitinputlayers_fasterRCNN.cpp │ │ ├── nvdsiplugin_fasterRCNN.cpp │ │ ├── nvdsparsebbox_fasterRCNN.cpp // OutLayer 이름 bbox_pred;cls_prob;rois 3개 사용하여 NvDsInferParseCustomFasterRCNN 생성 │ │ └── nvdssample_fasterRCNN_common.h │ └── README ├── objectDetector_SSD │ ├── config_infer_primary_ssd.txt │ ├── deepstream_app_config_ssd.txt │ ├── nvdsinfer_custom_impl_ssd │ │ ├── Makefile │ │ ├── nvdsiplugin_ssd.cpp //IPlugIn , 상위와 구조가 좀 다름 │ │ └── nvdsparsebbox_ssd.cpp // OutLayer (NMS,NMS_1) 2개를 사용하고 새 CustomLayer NvDsInferParseCustomSSD 생성 │ └── README ├── objectDetector_Yolo │ ├── config_infer_primary_yoloV2_tiny.txt │ ├── config_infer_primary_yoloV2.txt │ ├── config_infer_primary_yoloV3_tiny.txt │ ├── config_infer_primary_yoloV3.txt │ ├── deepstream_app_config_yoloV2_tiny.txt │ ├── deepstream_app_config_yoloV2.txt │ ├── deepstream_app_config_yoloV3_tiny.txt │ ├── deepstream_app_config_yoloV3.txt │ ├── labels.txt │ ├── nvdsinfer_custom_impl_Yolo // 기존과 다르게 완전히 구성 │ │ ├── kernels.cu │ │ ├── Makefile │ │ ├── nvdsinfer_yolo_engine.cpp // 기존과 다르게 Engine도 구성 │ │ ├── nvdsparsebbox_Yolo.cpp // Yolo version 마다 구성 NvDsInferParseCustomYoloV3 생성 │ │ ├── trt_utils.cpp // 필요하면, Layer를 직접 사용 │ │ ├── trt_utils.h │ │ ├── yolo.cpp // Yolo Engine 생성과 Layer도 직접 추가 │ │ ├── yolo.h │ │ ├── yoloPlugins.cpp │ │ └── yoloPlugins.h │ ├── prebuild.sh │ ├── README │ └── yolov3-calibration.table.trt5.1 └── tools └── nvds_logger ├── README └── setup_nvds_logger.sh
- DeepStream 봐야할 기본문서들
DeepStream 전체 문서
https://docs.nvidia.com/metropolis/index.html
DeepStream Quick Guide
설치부터 기본사용법을 쉽게 이해할수 있다.
https://docs.nvidia.com/metropolis/deepstream/4.0/dev-guide/index.html
DeepStream PlugIn Manual
DeepStream 의 개별 PlugIn 옵션과 기능의 변화들을 알아야한다.
https://docs.nvidia.com/metropolis/deepstream/4.0/DeepStream_Plugin_Manual.pdf
- DeepStream Source를 수정시 봐야할 문서
DeepStream SDK 4.0 API
소스 수정시 내부 관련 함수이해를 위해서 봐야함
https://docs.nvidia.com/metropolis/deepstream/4.0/dev-guide/DeepStream_Development_Guide/baggage/index.html
Jetson Multimedia Document
Multimedia 관련부분의 문서로 Buffer 관련부분
https://docs.nvidia.com/jetson/l4t-multimedia/index.html
2. Gst-Invfer 구조 변화 와 TensorRT의 IPlugIn 사용예제
이번의 DeepStream SDK 4.0으로 오면서 MetaData구조가 변경이 되었는데, 그 부분의 이전의 부분에서 확인하자.
변경된 특징을 정리해보면,
- Transfer-learning-Toolkit encoded Model 지원 ( Model을 재학습이 가능 , 추후 테스트)
- Tensor output as meta ( Gst Buffer로 meata data를 포함해서 보낸다고 하는데, Sample 예제 있는 것 같다)
- Segmentation Model 지원 ( 이부분 이전에 테스트한 Segmetation 부분같다)
- Gray input Model ( Gray input Model 이 별도로 존재이유를 아직 잘 모르겠음)
- Yolo 의 지원인데, 이전 DS3.0 도 Github를 통해서 지원이 가능했으므로, 별로
자세한 properties는 아래의 PlugIn Manual에서 참조하자
관련문서
https://docs.nvidia.com/metropolis/deepstream/4.0/DeepStream_Plugin_Manual.pdf
2.1 IPlugIn FastRCNN 기능확인 (Caffe기반 )
이전과 거의 동일하하기에 자세한 부분은 생략
$ cd ~/deepstream-4.0/sources/objectDetector_FasterRCNN $ wget --no-check-certificate \ https://dl.dropboxusercontent.com/s/o6ii098bu51d139/faster_rcnn_models.tgz?dl=0 \ -O faster-rcnn.tgz $ tar zxvf faster-rcnn.tgz -C . --strip-components=1 --exclude=ZF_* faster_rcnn_models/VGG16_faster_rcnn_final.caffemodel $ cp /usr/src/tensorrt/data/faster-rcnn/faster_rcnn_test_iplugin.prototxt . $ ls config_infer_primary_fasterRCNN.txt faster-rcnn.tgz README deepstream_app_config_fasterRCNN.txt labels.txt VGG16_faster_rcnn_final.caffemodel faster_rcnn_test_iplugin.prototxt nvdsinfer_custom_impl_fasterRCNN $ make -C nvdsinfer_custom_impl_fasterRCNN $ ls nvdsinfer_custom_impl_fasterRCNN/libnvdsinfer_custom_impl_fasterRCNN.so libnvdsinfer_custom_impl_fasterRCNN.so // 생성확인
DS 3.0과 다르게 Gstreamer로 실행해도 Label이 실행됨
$ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \ decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \ height=720 ! nvinfer config-file-path= config_infer_primary_fasterRCNN.txt ! \ nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink $ deepstream-app -c deepstream_app_config_fasterRCNN.txt
기존보다 약간 좋게 8FPS 정도를 유지하는 것 같다.
2.2 IPlugIn SSD 기능확인 (UFF, Tensorlfow 기반)
이전에는 DS3.0에서는 x86에서 이를 변환(convert-uff)하여 만들어서 가져와서 테스트를 했으나, 이번에는 버전은 Jetson에 이미 존재하므로,쉽게 설치하고 실행가능하다
- Tensorflow 설치진행 (시간이 많이 걸림)
README에서 Tensorflow로 설치를 권장하여, Tensorflow로 설치진행
# install prerequisites $ sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev # install and upgrade pip3 $ sudo apt-get install python3-pip $ sudo pip3 install -U pip # install the following python packages $ sudo pip3 install -U numpy grpcio absl-py py-cpuinfo psutil portpicker six mock requests gast h5py astor termcolor protobuf keras-applications keras-preprocessing wrapt google-pasta setuptools testresources # install the latest version of TensorFlow $ sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v42 tensorflow-gpu
Tensorflow 설치관련문서 (NVIDIA 문서를 참조를 해야 에러가 없음)
https://docs.nvidia.com/deeplearning/frameworks/install-tf-jetson-platform/index.html#prereqs
https://elinux.org/Jetson_Zoo#TensorFlow
- convert_to_uff.py 를 이용하여 PB->UFF 포맷으로 변경
처음 Tensorflow를 미설치하고 아래 같이 진행하며, 에러가 발생하는 것 같아 Tensorflow를 별도를 설치를 했는데, 아래의 에러발생
$ cd ~/deepstream-4.0/sources/objectDetector_SSD $ cp /usr/src/tensorrt/data/ssd/ssd_coco_labels.txt . $ wget http://download.tensorflow.org/models/object_detection/ssd_inception_v2_coco_2017_11_17.tar.gz $ tar zxvf ssd_inception_v2_coco_2017_11_17.tar.gz ssd_inception_v2_coco_2017_11_17/ ssd_inception_v2_coco_2017_11_17/model.ckpt.index ssd_inception_v2_coco_2017_11_17/model.ckpt.meta ssd_inception_v2_coco_2017_11_17/frozen_inference_graph.pb ssd_inception_v2_coco_2017_11_17/model.ckpt.data-00000-of-00001 ssd_inception_v2_coco_2017_11_17/saved_model/ ssd_inception_v2_coco_2017_11_17/saved_model/saved_model.pb ssd_inception_v2_coco_2017_11_17/saved_model/variables/ ssd_inception_v2_coco_2017_11_17/checkpoint $ cd ssd_inception_v2_coco_2017_11_17 $ python /usr/lib/python2.7/dist-packages/uff/bin/convert_to_uff.py frozen_inference_graph.pb -O NMS -p /usr/src/tensorrt/samples/sampleUffSSD/config.py -o sample_ssd_relu6.uff Traceback (most recent call last): File "/usr/lib/python2.7/dist-packages/uff/bin/convert_to_uff.py", line 15, inimport uff File "/usr/lib/python2.7/dist-packages/uff/__init__.py", line 1, in $ pip list | grep protobuf // Tensorflow-GPU 설치를 해도 동일해서 Package 검색 protobuf 3.9.1from uff import converters, model # noqa File "/usr/lib/python2.7/dist-packages/uff/model/__init__.py", line 1, in from . import uff_pb2 as uff_pb # noqa File "/usr/lib/python2.7/dist-packages/uff/model/uff_pb2.py", line 6, in from google.protobuf.internal import enum_type_wrapper ImportError: No module named google.protobuf.internal
- Python 3로 해결 ( Anaconda , 이문제인줄 알았는데, 아님)
$ python3 /usr/lib/python3.6/dist-packages/uff/bin/convert_to_uff.py ./frozen_inference_graph.pb -O NMS -p /usr/src/tensorrt/samples/sampleUffSSD/config.py -o sample_ssd_relu6.uff No. nodes: 563 UFF Output written to sample_ssd_relu6.uff $ cp sample_ssd_relu6.uff .. $ cd .. $ pwd /home/nvidia/deepstream-4.0/sources/objectDetector_SSD $ export CUDA_VER=10.0 $ make -C nvdsinfer_custom_impl_ssd $ ls nvdsinfer_custom_impl_ssd/libnvdsinfer_custom_impl_ssd.so nvdsinfer_custom_impl_ssd/libnvdsinfer_custom_impl_ssd.so
관련자료
https://www.cnblogs.com/sdu20112013/p/10702173.html
$ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \ decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \ height=720 ! nvinfer config-file-path= config_infer_primary_ssd.txt ! \ nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink //Gst-Tracker 도 동작됨 $ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \ decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \ height=720 ! nvinfer config-file-path= config_infer_primary_ssd.txt ! \ nvtracker tracker-width=640 tracker-height=368 gpu-id=0 \ ll-lib-file=/opt/nvidia/deepstream/deepstream-4.0/lib/libnvds_nvdcf.so \ ll-config-file=tracker_config.yml enable-batch-process=1 ! \ nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink // dstest2_sgie1_config.txt 를 test2에서 가져와야하며 내부 PATH를 제대로 설정해주면, 동작은 되지만, Batch Size 문제로 Engine을 새로생성하느라고 시간이 걸림 //상위와 동일하게 동작 (2nd nvinfer는 미동작, Gst-Tracker 까지는 동작됨) $ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \ decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \ height=720 ! nvinfer config-file-path= config_infer_primary_ssd.txt ! \ nvtracker tracker-width=640 tracker-height=368 gpu-id=0 \ ll-lib-file=/opt/nvidia/deepstream/deepstream-4.0/lib/libnvds_nvdcf.so \ ll-config-file=tracker_config.yml enable-batch-process=1 ! \ nvinfer config-file-path= dstest2_sgie1_config.txt ! \ nvinfer config-file-path= dstest2_sgie2_config.txt ! \ nvinfer config-file-path= dstest2_sgie3_config.txt ! \ nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink $ deepstream-app -c deepstream_app_config_ssd.txt
기존과 동일하게 실시간 동작하며, Gstreamer로 해도 Label 표시 (30FPS로 동작)
- Config 설정부분
$ vi ./config_infer_primary_ssd.txt .... [property] gpu-id=0 net-scale-factor=0.0078431372 offsets=127.5;127.5;127.5 model-color-format=0 model-engine-file=sample_ssd_relu6.uff_b1_fp32.engine // TensorRT Engine labelfile-path=ssd_coco_labels.txt uff-file=sample_ssd_relu6.uff // Caffe Model 이 아니므로 UFF-File , Caffe는 model-file uff-input-dims=3;300;300;0 uff-input-blob-name=Input batch-size=1 ## 0=FP32, 1=INT8, 2=FP16 mode network-mode=0 num-detected-classes=91 interval=0 gie-unique-id=1 is-classifier=0 output-blob-names=MarkOutput_0 parse-bbox-func-name=NvDsInferParseCustomSSD // BBox 함수 custom-lib-path=nvdsinfer_custom_impl_ssd/libnvdsinfer_custom_impl_ssd.so // Custom Layer (IPlugIn [class-attrs-all] threshold=0.5 roi-top-offset=0 roi-bottom-offset=0 detected-min-w=0 detected-min-h=0 detected-max-w=0 detected-max-h=0 .......
- DeepStream SDK 3.0 IPlugIn 사용
https://ahyuo79.blogspot.com/2019/07/deepstream-gst-nvinfer-tensorrt-iplugin.html
2.3 IPlugIn Yolov3 (TensorRT Directly)
이전에 DeepStream SDK 3.0에서 Github를 통해 Download하여 Build하고 테스트한 부분이 이번 버전에 반영이 되었다.
DeepStream SDK 3.0 Yolo 사용
https://ahyuo79.blogspot.com/2019/07/deepstream-30-sdk-deepstream-referece.html
TensorRT Example(이전 DS3.0의 Yolo가 아니고, TensorRT 예제)에서는 Yolov3를 ONNX로 변경해서 사용했던것으로 기억하는데,
이번 것은 어떻게 동작이 되는지 사실 이해가 안된다, 이전의 DS 3.0에서도 구조가 비슷한 것 같은데, 지금 구조를 보면 Caffe Model로 설정사용을 하는데, 이부분은 좀 의아했다.
$ cd ~/deepstream-4.0/sources/objectDetector_Yolo // 원래 opt 지만, 본인은 소스보호를 위해 이쪽으로 복사했음 $ ./prebuild.sh // 이전과 유사하게 yolo에 관련된 weight 와 cfg download $ ls /usr/local/cuda-10.0 // CUDA Version 확인 $ export CUDA_VER=10.0 $ make -C nvdsinfer_custom_impl_Yolo
- Yolov3 와 Yolov2 실행 (Gstreamer 과 deepstream)
//Yolov3 TEST $ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \ decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \ height=720 ! nvinfer config-file-path= config_infer_primary_yoloV3.txt ! \ nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink //YoloV2 TEST $ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \ decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \ height=720 ! nvinfer config-file-path= config_infer_primary_yoloV2.txt ! \ nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink 만약 아래처럼 Tracker 와 2차 Classification TensorRT를 삽입을 해도 되지만, 사람도 적용이 되어 문제발생 , 속도가 느리다면, model-engine을 반드시 정의 및 복사 $ gst-launch-1.0 filesrc location=../../samples/streams/sample_1080p_h264.mp4 ! \ decodebin ! m.sink_0 nvstreammux name=m batch-size=1 width=1280 \ height=720 ! nvinfer config-file-path= config_infer_primary_yoloV3.txt ! \ nvtracker tracker-width=640 tracker-height=368 gpu-id=0 \ ll-lib-file=/opt/nvidia/deepstream/deepstream-4.0/lib/libnvds_nvdcf.so \ ll-config-file=../objectDetector_SSD/tracker_config.yml enable-batch-process=1 ! \ nvinfer config-file-path= ../objectDetector_SSD/dstest2_sgie1_config.txt ! \ nvinfer config-file-path= ../objectDetector_SSD/dstest2_sgie2_config.txt ! \ nvinfer config-file-path= ../objectDetector_SSD/dstest2_sgie3_config.txt ! \ nvvideoconvert ! nvdsosd ! nvegltransform ! nveglglessink //실제 Yolo TEST 진행 $ deepstream-app -c deepstream_app_config_yoloV3.txt //26~27 FPS $ deepstream-app -c deepstream_app_config_yoloV3_tiny.txt //60~61 FPS $ deepstream-app -c deepstream_app_config_yoloV2.txt //18 FPS $ deepstream-app -c deepstream_app_config_yoloV2_tiny.txt //60~61 FPS
yolov3
yolov3_tiny
- Yolo Config
$ vi ./config_infer_primary_yoloV3.txt //model-engine-file 을 선언해주면, 매번 TensorRT Engine을 생성할 필요없다. .... [property] gpu-id=0 net-scale-factor=1 #0=RGB, 1=BGR model-color-format=0 custom-network-config=yolov3.cfg model-file=yolov3.weights // modle-file 이 yolov3.weight 인데, Caffe Model이 아니여서 혼동 model-engine-file=model_b1_int8.engine // 처음 정의 되어 있지 않다면 반드시 정의 labelfile-path=labels.txt int8-calib-file=yolov3-calibration.table.trt5.1 // INT8로 사용시 별도로 필요한 Table (Jetson Xavier) ## 0=FP32, 1=INT8, 2=FP16 mode network-mode=1 num-detected-classes=80 gie-unique-id=1 is-classifier=0 maintain-aspect-ratio=1 parse-bbox-func-name=NvDsInferParseCustomYoloV3 custom-lib-path=nvdsinfer_custom_impl_Yolo/libnvdsinfer_custom_impl_Yolo.so // Custom Layer로 연결 , 아래 설명 .......
- 설정부분 재확인 (model-file 은 Caffe Model만 지원)
- Custom Layer 부분
$ tree nvdsinfer_custom_impl_Yolo/ nvdsinfer_custom_impl_Yolo/ ├── kernels.cu //Implementation of cuda kernels for ├── kernels.o ├── libnvdsinfer_custom_impl_Yolo.so // 상위 config 설정 ├── Makefile ├── nvdsinfer_yolo_engine.cpp //Implementation of 'NvDsInferCudaEngineGet' for nvdsinfer to create cuda engine ├── nvdsinfer_yolo_engine.o ├── nvdsparsebbox_Yolo.cpp //Output layer , BBox Function 상위 NvDsInferParseCustomYoloV3 정의 이전 IPlugIn 구조와 유사 ├── nvdsparsebbox_Yolo.o ├── trt_utils.cpp //Implementation of Utilities to setup tensorRT networks ├── trt_utils.h //Utilities to setup tensorRT networks ├── trt_utils.o ├── yolo.cpp //Implementation to create Yolo Cuda-Engine ( IPluginV2) ├── yolo.h //Interface to create Yolo Cuda-Engine ├── yolo.o ├── yoloPlugins.cpp //Implementation of YoloLayerV3 and YoloLayerV3PluginCreator (IPluginV2) ├── yoloPlugins.h //Declaration of YoloLayerV3 and YoloLayerV3PluginCreator └── yoloPlugins.o
- NVIDIA에 Yolo 모델 관련질문
TensorRT의 예제와 구성이 다르니 이 부분을 알아두어야 겠다.
직접 TensorRT에 Network를 구성하여 구현을 했다고 한다.
https://devtalk.nvidia.com/default/topic/1061574/deepstream-sdk/objectdetector_yolo-in-ds-4-0-on-xavier-/post/5375710/#5375710
3. DeepStream-test4
3.1 Kafka 환경구성
- libnvds_kafka_proto.so 빌드 및 테스트 프로그램 빌드 (생략가능)
$ sudo apt-get update $ sudo apt-get install libglib2.0 libglib2.0-dev $ sudo apt-get install libjansson4 libjansson-dev $ sudo apt-get install librdkafka1=0.11.3-1build1 // rdkafka.h 파일이 없음 or // 직접설치로 변경 $ cd ~ $ git clone https://github.com/edenhill/librdkafka.git $ cd librdkafka $ git reset --hard 7101c2310341ab3f4675fc565f64f0967e135a6a $ ./configure $ make $ sudo make install $ sudo cp /usr/local/lib/librdkafka* /opt/nvidia/deepstream/deepstream-4.0/lib/ $ cd ~/deepstream-4.0/sources/libs/kafka_protocol_adaptor $ make // libnvds_kafka_proto.so (apt install 하면 , rdkafka.h: 문제발생) $ make -f Makefile.test // test_sample_proto_sync , test_sample_proto_async 생성 $ find / -name libnvds_kafka_proto.so 2> /dev/null /home/nvidia/deepstream-4.0/sources/libs/kafka_protocol_adaptor/libnvds_kafka_proto.so // 지금 설치한 것 /home/nvidia/deepstream-4.0/lib/libnvds_kafka_proto.so // lib 제공 /opt/nvidia/deepstream/deepstream-4.0/lib/libnvds_kafka_proto.so // lib 제공
- Zookeeper 및 Kafka 설치
//Zookeeper 설치 $ sudo apt-get install zookeeperd /etc/zookeeper/conf /etc/zookeeper/conf_example $ cat /etc/zookeeper/conf/zoo.cfg .... //설치후 Zookeeper 동작확인 $ netstat -nlp|grep 2181 (Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.) tcp6 0 0 :::2181 :::* LISTEN $ sudo /usr/share/zookeeper/bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /etc/zookeeper/conf/zoo.cfg Mode: standalone //Kafka 설치 $ cd ~ $ wget http://www-us.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz //download 가능 (다른version가능) $ tar zxvf kafka_2.12-2.2.1.tgz $ sudo mv kafka_2.12-2.2.1 /usr/local/kafka $ cd /usr/local/kafka $ vi config/server.properties // Log Data 설정된 장소확인 및 변경 log.dirs=/tmp/kafka-logs/ $ sudo vi /etc/systemd/system/kafka.service // 새로운 File 생성 [Unit] Description=kafka-server After=network.target [Service] Type=simple User=root Group=root SyslogIdentifier=kafka-server WorkingDirectory=/usr/local/kafka Restart=no RestartSec=0s ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh $ systemctl daemon-reload $ systemctl enable kafka.service $ systemctl start kafka.service $ systemctl status kafka.service 8월 01 11:21:32 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:32,939] INFO [GroupMetadataManager brokerId=0] Removed 0 expired offsets in 8 milliseconds. (kafka.coordinator.group.GroupMe 8월 01 11:21:32 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:32,968] INFO [ProducerId Manager 0]: Acquired new producerId block (brokerId:0,blockStartProducerId:0,blockEndProducerId:999 8월 01 11:21:33 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:33,016] INFO [TransactionCoordinator id=0] Starting up. (kafka.coordinator.transaction.TransactionCoordinator) 8월 01 11:21:33 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:33,022] INFO [Transaction Marker Channel Manager 0]: Starting (kafka.coordinator.transaction.TransactionMarkerChannelManager 8월 01 11:21:33 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:33,022] INFO [TransactionCoordinator id=0] Startup complete. (kafka.coordinator.transaction.TransactionCoordinator) 8월 01 11:21:33 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:33,141] INFO [/config/changes-event-process-thread]: Starting (kafka.common.ZkNodeChangeNotificationListener$ChangeEventProc 8월 01 11:21:33 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:33,185] INFO [SocketServer brokerId=0] Started data-plane processors for 1 acceptors (kafka.network.SocketServer) 8월 01 11:21:33 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:33,208] INFO Kafka version: 2.2.1 (org.apache.kafka.common.utils.AppInfoParser) 8월 01 11:21:33 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:33,208] INFO Kafka commitId: 55783d3133a5a49a (org.apache.kafka.common.utils.AppInfoParser) 8월 01 11:21:33 nvidia-desktop kafka-server[6521]: [2019-08-01 11:21:33,212] INFO [KafkaServer id=0] started (kafka.server.KafkaServer) $ sudo apt install lsof $ sudo lsof -i :2181 //Zookeeper 만 동작될 때 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 18819 zookeeper 43u IPv6 759187 0t0 TCP *:2181 (LISTEN) $ sudo lsof -i :2181 //Zookeeper 와 Kafka 동작될 때 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 22350 nvidia 109u IPv6 767085 0t0 TCP *:2181 (LISTEN) java 22350 nvidia 110u IPv6 761679 0t0 TCP localhost:2181->localhost:46018 (ESTABLISHED) java 22675 nvidia 109u IPv6 766151 0t0 TCP localhost:46018->localhost:2181 (ESTABLISHED)
- Kafka Topic 생성 및 확인
$ /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dsapp Created topic dsapp. $ /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic Created topic testTopic. $ /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 // Topic list 확인 __consumer_offsets dsapp testTopic $ ls /tmp/kafka-logs/ cleaner-offset-checkpoint __consumer_offsets-17 __consumer_offsets-26 __consumer_offsets-35 __consumer_offsets-44 __consumer_offsets-9 __consumer_offsets-0 __consumer_offsets-18 __consumer_offsets-27 __consumer_offsets-36 __consumer_offsets-45 dsapp-0 __consumer_offsets-1 __consumer_offsets-19 __consumer_offsets-28 __consumer_offsets-37 __consumer_offsets-46 log-start-offset-checkpoint __consumer_offsets-10 __consumer_offsets-2 __consumer_offsets-29 __consumer_offsets-38 __consumer_offsets-47 meta.properties __consumer_offsets-11 __consumer_offsets-20 __consumer_offsets-3 __consumer_offsets-39 __consumer_offsets-48 recovery-point-offset-checkpoint __consumer_offsets-12 __consumer_offsets-21 __consumer_offsets-30 __consumer_offsets-4 __consumer_offsets-49 replication-offset-checkpoint __consumer_offsets-13 __consumer_offsets-22 __consumer_offsets-31 __consumer_offsets-40 __consumer_offsets-5 testTopic-0 __consumer_offsets-14 __consumer_offsets-23 __consumer_offsets-32 __consumer_offsets-41 __consumer_offsets-6 __consumer_offsets-15 __consumer_offsets-24 __consumer_offsets-33 __consumer_offsets-42 __consumer_offsets-7 __consumer_offsets-16 __consumer_offsets-25 __consumer_offsets-34 __consumer_offsets-43 __consumer_offsets-8
- How to send Messages to Topic
$ /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic >Welcome to kafka >This is my first topic // Ctrol+c
- How to receive Messages from Topic
$ /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginning Welcome to kafka This is my first topic
- deepstream-test4-app
$ cd ~/deepstream-4.0/sources/apps/sample_apps/deepstream-test4 $ make $./deepstream-test4-app -i ../../../../samples/streams/sample_720p.h264 -p /home/nvidia/deepstream-4.0/lib/libnvds_kafka_proto.so --conn-str="127.0.0.1;9092;dsapp" -c cfg_kafka.txt -s 1 // $ cat /etc/ld.so.conf include /etc/ld.so.conf.d/*.conf $ ls /etc/ld.so.conf.d/ aarch64-linux-gnu.conf aarch64-linux-gnu_EGL.conf aarch64-linux-gnu_GL.conf cuda-10-0.conf deepstream.conf fakeroot-aarch64-linux-gnu.conf libc.conf nvidia-tegra.conf $ cat /etc/ld.so.conf.d/deepstream.conf //이곳밖에 못찾음 /opt/nvidia/deepstream/deepstream-4.0/lib $ sudo ldconfig // 상위 ld.so.conf 변화가 있거나, lib path를 추가 했을 경우 실행 $./deepstream-test4-app -i ../../../../samples/streams/sample_720p.h264 -p /opt/nvidia/deepstream/deepstream-4.0/lib/libnvds_kafka_proto.so --conn-str="127.0.0.1;9092;dsapp" -c cfg_kafka.txt -s 1 //
- How to receive Messages from Topic
$ /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic dsapp --from-beginning { "messageid" : "53724824-163f-43e5-bbf7-41c4cca4fc05", "mdsversion" : "1.0", "@timestamp" : "2019-08-05T05:42:27.060Z", "place" : { "id" : "1", "name" : "XYZ", "type" : "garage", "location" : { "lat" : 30.32, "lon" : -40.549999999999997, "alt" : 100.0 }, "aisle" : { "id" : "walsh", "name" : "lane1", "level" : "P2", "coordinate" : { "x" : 1.0, "y" : 2.0, "z" : 3.0 } } }, ..........
- Deepstream SDK 3.0 Kafka 구성
https://ahyuo79.blogspot.com/2019/07/deepstream-sdk-30-kafka.html?zx=944829aea867a266
댓글 없음 :
댓글 쓰기