1. Radar 기반 TinyML 자료
- RF Radar 의 이해
Radar 관련 사항 정리
- TinyML/Edge AI
최근에 TinyML 이름도 공식적으로 Edge AI 로 이름이 변경이 되어졌다.
- Tensorflow 와 기타 지식
TinyML에서 주로 사용되는 게 Edge Impuse도 있지만, Tensorflow도 있다.(이외 다양하다)
- Tranfer Learning
분명 모델을 가져오면, Tranfer Learning 이 필요할 경우
아니면, 처음부터 Training 하던지
1.1 TinyML 의 Radar 자료
주로 TinyML Webinar 와 각 참여해서 많이 들어서, 이 부분들을 모았으며, 아래와 같이 간단히 링크만 남긴다.
이외 다양한 TinyML 자료도 있는데, 이 부분은 나중에 정리를 하든지 해야 할 듯하다
무작정 듣고 , 링크만 남기기가 좀 그렇다
TinyML 기반으로 Gesture Recoginition 관련부분 TinyML(Machine Leraning)으로 동작
- tinyML Talks-Michele Magno: LW Embedded Gesture Recognition Using Novel Short-Range Radar Sensors
TinyML 기반으로 Gesture Recoginition 과 Vital Sign Monitor
- tinyML Summit 2023: Low Power Radar Sensors and TinyML for Embedded Gesture Recognition and Non-Contact Vital Sign Monitoring
Infenion 사에서 XESNSIV의 60GHz Radar Sensor 소개
- tinyML Hackathon Challenge 2023 - Infineon XENSIV 60GHz Radar Sensor and devkit explanation
TI 사의 TinyRadar 기반의 사람행동
- tinyML Talks India: tinyRadar: mmWave Radar-based Human Activity Classification for Edge Computing
- tinyML Asia 2022 Video Poster: tinyRadar for fitness: A radar-based contactless activity tracker...
1.2 TinyML-Radar 기반의 사람 행동 분석
Radar-based Human Activity Classification for Edge Computing
TI Board와 ESP32기반으로 구성했으며, 상위에서 설명 했듯이 Edge AI기반으로 사람의 행동을 구분하는 기술이다.
주요 사용되는 기술을 보면, Edge Impulse Tool 로 CNN(CMSIS-NN, ARM) Inference 구조로 Edge AI를 구현했다.
tinyRadar: mmWave Radar-based Human Activity Classification for Edge Computing
TI IWR6843
TinyML Talk (TI IWR6843)
1.3 TinyML-Target Classification 소개
TI에서 발표한 내용으로, TI사의 Edge AI Tool을 이용하여 쉽게 개발내용
TI의 각 Tool을 잠깐 씩 소개하며, 상위 구조와 거의 흡사하지만, 이번에는 Edge Impluse 대신 TI의 Edge AI를 이용했기에, 상위에도 링크
최적화 핵심보면, HWA(or DSP) 와 EDMA의 조합이며, 역시 TI DSP(HWA)를 사용하면 EDMA는 필수이다.
이외 CFAR Detection(이 부분은 좀 더 확인??) 과 Tracker(칼만 필터?)는 아래에서 간단히 각 링크로 확인만 해보자
- TI EDMAv3
EDMA의 역사는 길며, TI DSP C6x부터 존재했으며, 주로 Davichi 시작되면서 모든 TI Chip에서 적용되어 사용 되어진 걸로 기억한다.
나도 이것 때문에 DSP와 무지하게 삽질을 많이 했으며, 주로 Channenl Chaining 많이 사용할 것이다.
주 기능은 HW기반의 SW설정(Channel설정)으로 A/B/C Count기반 Dimesion 개념으로 전송가능과 각 Channel Chaining.
- CFAR(Constant False Alarm Rate) Detection
TI에서 제공해주는 CFAR 엔진이며, 처음에 왜 필요한 지를 잘 몰랐으며, 오감지라는 것을 생각을 못했다.
나도 동작 시스템은 완벽히 이해를 못했으며, 중요한 것은 Threshold 조절하여 오감지(False Alarm) 확인
CFAR 의 기본 개념과 설명
CFAR-CA(Cell Average), GO(Greatest-Of), LO(Least-Of) 예제
TI CFAR-CA 적용
TI에서 제공하는 Point Cloud GTRACK
아래 링크, Filtering(EKF)보면, 통계에서 예측값 과 측정값 사이 의 중위값?, 중간값? (추후 확인?)
다음에, Clustering 보면, 상위에서 측정 값을 군집화하여 GTRACK
https://dev.ti.com/tirex/explore/node?node=A__AYZwK7t1GX7lsaN.HegOQw__RADAR-ACADEMY__GwxShWe__LATEST
Kalman Filter (EKF vs UKF)
- TI의 Edge AI 의 TinyML
Target Classification on the Edge Using mmWave Radar
TI IWRL6432
TI에서 직접 발표한 것으로 Point Cloud까지 같이 설명을 해주고 있다.
특히 Point Cloud 들어가면서 Tracking 추가되어 이를 더 보완하고 있다.
설명도 자세히 해주고 있어서 개념을 이해하는데 크게 도움되었지만, 완벽한 이해는 사실 이거 가지고 해봐야 알겠다.
- Machine Learning on the Edge with the mmWave Radar Device IWRL6432
일단 간단히 살펴 보도록 하면 다음 목적으로 Edge AI를 사용 (60GHz)
- Building automation (indoor and outdoor surveillance, elderly care)
- Personal electronics (gesture recognition, presence detection)
- Automotive body and chassis (in-cabin sensing, kick-2-open sensor).
- IWRL6432
ADC -> (Radar FFT) HWA -> Cortex-M4F(TinyML)
2TX , 4RX = 8 Virtual Array
- HWA(FFT 기능)
- Range-FFT
- Doppler-FFT
- Angle-FFT
4 Channel 의 Range 와 Doppler Data 이용
![]() |
https://www.ti.com/lit/wp/swra774/swra774.pdf |
1D CNN 3Layer 구조로 1D CNN 3 Layer가 결과로 보면 성능이 좋다.
- 기타사항
CNN과 다른 것도 섞어서 구성해도 될 듯하긴 한데, 이 부분 좀 더 나중에 파악 하겠다.
LSTM(Long Short-Term Memory)이나, SVM(Support Vector Machine)