1. Edge AI (TinyML)
TinyML을 Meetup or Linkedin을 통해 여러번 보기만 하고, 관련자료들을 거의 잘 정리하지 않아,
아래와 같이 간단히 정리하도록 한다.
우선 TinyML 을 알기전에 기본적인 Machine Learning 과 Deep Learning을 좀 알아보고
Tensorflow or Edge Impulse를 사용해보는게 맞을 것 같다.
ESP32/ARM 기반의 TinyML
TinyML 관련된 부분 내용이며, 개발 Tool 과 Inference를 위한 NN network 관련자료
Tensorflow/Tensorboard
Tensorflow 와 Tensorboard 기본사용법 과 분석방법 (오래되어 많이 까먹음)
CNN(Convolutional Neural Network) 관련자료
Convolution Network 예전에 정리한 자료
1.1 Edge AI/TinyML 개발 Tool
Edge Impulse or Tensorflow Lite를 사용방법은 서로 비슷하리라고 본다.
아직 Edge Impulse는 사용해보지 못하고 매번 글만 읽어 보기만 했으며, 관련 Tool들만 간단히 소개한다.
TensorFlow Lite for Microcontrollers
TinyML 기반으로 진행할 경우, Tensorflow 와 Tensorboard로 진행
Edge Impuse
TinyML Meetup에서 알게되었으며, 이걸로도 많이 진행하며, 주로 보면 Tensorflow와 비슷하리라 본다.
TensorFlow Lite for ESP32
ESP32 의 Tensorflow 관련자료
1.2 Edage AI Use Case 와 Cloud
Edge AI, TinyML을 주로 많이 사용하는 것 같으며, ARM 뿐만 아니라 ESP32 시리즈 각 CPU 아키텍쳐마다
이를 지원을 해주는 것으로 보인다.
- Edge AI Use Case
요즘 Edge AI , TinyML은 거의 들어갈 것으로 보이며, 핵심을 주로 보면, Cloud와 조합이다.
Edge는 Edge 일 뿐이며, Cloud와 어떻게 조합할 것이며, 역할을 어디까지 정하는게 중요할 것 같다.
- Google Firebase
Realtime Database를 제공해주고 있으며, 간단한 IoT를 제작하여 실시간으로 확인하고 싶다면 괜찮은 것 같다.
- AWS
AWS는 현재 거의 사용해본게 AWS EC2 와 IoT(S3) 만 사용해봐서 뭐라고 말을 못하겠다.
추후에 AWS를 좀 더 잘 알면, 그때 더 보도록 하자. 특히 Lamda !!!
- AWS/GCP/Azure
Could를 사용해보면, 항상 이곳에서 이 기능을 제공하며, 거의 다 다른 곳에서도 비슷한 기능을 제공해준다.
나도 Cloud를 좀 더 사용해보고 말을 해야 겠지만, 얼추 제공은 다 해주는 것 같다.
- RealTime Chart 관련자료
이전에 Chart 관련 JavaScript을 Firebase기반으로 Realtime으로 이용한 적 있는데, 추후 이를 다시 이용할때 확인
2. ESP 기반의 TinyML 분석
ESP32 or ESP32-S3 기반으로 TinyML을 구성하기 위해서는 기본적으로 아래의 Component기본으로 사용한다.
ARM 과 달리 ESP 경우 DL을 별도로 또 제공해주고 있다.
ESP-NN(Neural Network)
ARM도 이를 제공하고 있으며, 나중에 Inference할 때 같이 사용
ESP-DL(Deep Learning Model)
아래를 보면, ESP32-S3기반으로 성능측정된게 있는데, Data Cache만 64KB사용했을 경우이다.
ESP32 Memory (SRAM)
문제는 나중에 SRAM이 될 것 같으며, 이 부분은 별도로 생각을 해야 할 것 같다.
2.1 Human Activity Recognition Edge AI
ESP32-S3 기반의 TinyML기반 동작되어진다.
마지막에 보면 Model을 ESP-DL로 Converting 해서 사용하며, 이는 .cpp 와 hpp로 구성되어진다.
나중에 직접 실행을 해보면 알겠지 ㅋㅋㅋ (Fine Tuning 도)
- Model 구조
CNN 기반으로 가속도계 센서 기반으로 사람의 행동 파악
- Input: 가속도계 센서 (MPU6050)
- Output: 7가지 행동패턴
- Tensorflow 기반의 CNN 구조 및 설명
Model을 만들어가면서 설명해주고 있어 괜찮음
- Espressif Blog (Human Activity Recognition)
상위 내용들은 모두 아래의 Blog 기반으로 작성되어있으며, 아래의 Blog을 읽으면 세부적인 내용이 나온다.
2.2 Hand Gesture Recognition Edge AI
ESP32-S3 기반의 TinyML기반 동작되어지며, 상위와 비슷하다.
Jupyter를 Colab을 사용한다고 하며, 나중에 ESP-DL Format으로 Convert해서 사용한다고 하며,
ONNX로 한다고 하는데, 내가 까먹었다. (CNN는 동일)
- ONNX
나중에 시간되면 다시 보면 되겠지
- Edge AI H/W Optimzation 과 관련내용
좋은 설명을 해주고 있는데, 내가 아직 이해를 다 못하겠다.
- Model 구조
CNN 기반으로 Model이며, 카메라에서 얻은 것을 ESP32-S3 EYE
- Input: Camera Image (ESP32-S3 EYE)
- Output: 손가락 Pattern (현재 6개의 Gesture, score기반으로 구분)
Model의 Dataset (Kaggle 것 사용)
- ESP-EYE
ESP32의 기반의 Camera 와 Tensorflow
- 관련자료 수집
Espressif Blog (Hand Gesture Recognition)
상위 내용들은 모두 아래의 Blog 기반으로 작성되어있으며, 아래의 Blog을 읽으면 세부적인 내용이 나온다.
2.3 기타 Edge Impuse 기반 자료
- Edge Impuse 기반 진행
ESP32 TinyML
개발 Tool : Edge Impulse 와 Arduion IDE으로 진행을 한 것으로 보이며, 다양하게 존재하며
대부분 카메라 중심으로 되어있다.
