본문 바로가기
반응형

최적화5

[최적화] Data Augmentation , AutoML Augmentation 기법 Data Augmentation 기존 데이터에 변화를 가해 데이터를 추가로 확보 데이터가 적거나 Imbalance한 상황에서 유용 모델에 데이터의 불변성을 전달함으로써 더 Robust해짐 ex) 강아지는 회전하거나, 늘리거나, 일부분만 보여도 강아지 데이터 종류(음성, 이미지, 텍스트 등)마다 Augmentation종류 달라짐 AutoML관점의 Augmentation 경량화와 직접적인 연결은 없지만, 성능 향상을 위한 필수 기법 Augmentation도 파라미터이므로, AutoML의 search space에 포함 가능 Object detection의 대표적인 Augmentation기법 Image classification의 대표적인 Augmentation기법 ShearX(Y).. 2021. 12. 15.
[최적화] Optuna , Yaml에서 Model 생성 Optuna Optuna 특징 및 과정 특징 SOTA 알고리즘 구현 병렬화 용이 Conditional parameter 구성 용이 search 과정 Optuna Study 인스턴스 생성 : blackbox optimizer역할 및 전체 trial관리 Study에 최적화할 목적함수(objective) 및 시도 횟수(n_trials), 조건 등 부여 Optimize! 전체 흐름 search_model : 모델을 sampling하여 config 반환 search_hyperparam : 하이퍼파라미터를 sampling하여 config 반환 train_model : 위의 config들을 가지고 model 학습 후, 학습된 모델 반환 evaluate : 위의 학습된 모델을 가지고 evaluate하여 score 반환.. 2021. 11. 25.
[최적화] AutoML , Surrogate Model , Acquisition Function AutoML Motivation Conventional Deep Learning Training Pipeline → AutoML 일반적으로 Data Engineering이라 함은, Data cleansing 및 Preprocessing과 Feature Engineering을 하고 적절한 ML알고리즘을 선택한 후 Hyperparameter를 튜닝한다. 좋은 configuration이 나올 때까지 모델을 선정하고 Hyperparameter를 설정하여 Train과 Evaluate을 하는 작업을 반복한다. 이 과정을 사람이 계속 반복하는데, AutoML로 이 반복 구조에서 사람의 노고를 뺀 진정한 End-to-end learning을 실현하고자 한다. AutoML 기본 개념 AutoML(Hyperparamete.. 2021. 11. 23.
[최적화] 모델 경량화 , AutoML , Pruning , Knowledge Distillation , Tensor Decomposition , Quantization , Compiling 딥러닝 모델 경량화를 위한 다양한 기법을 간단히 소개합니다. 경량화 기법 중 AutoML에 초점을 둘 것이며, AutoML에 대한 자세한 내용은 여기를 참고해주세요. 1. 경량화 목적 On device AI smart phone, warch 등 IoT devices Limitation : Battery, RAM, Storage, Computing power AI on cloud(or server) on device AI에 비해 배터리, 저장공간, 연산능력 등의 제약은 줄지만, 같은 자원으로 더 적은 latency(한 요청의 소요 시간)와 더 큰 throughput(단위 시간당 처리 가능 요청 수) Computation as a key component of AI progress 시간이 지날 수록 AI 모.. 2021. 11. 22.
728x90
반응형

티스토리툴바