본문 바로가기
반응형

경량화3

[최적화] Optuna , Yaml에서 Model 생성 Optuna Optuna 특징 및 과정 특징 SOTA 알고리즘 구현 병렬화 용이 Conditional parameter 구성 용이 search 과정 Optuna Study 인스턴스 생성 : blackbox optimizer역할 및 전체 trial관리 Study에 최적화할 목적함수(objective) 및 시도 횟수(n_trials), 조건 등 부여 Optimize! 전체 흐름 search_model : 모델을 sampling하여 config 반환 search_hyperparam : 하이퍼파라미터를 sampling하여 config 반환 train_model : 위의 config들을 가지고 model 학습 후, 학습된 모델 반환 evaluate : 위의 학습된 모델을 가지고 evaluate하여 score 반환.. 2021. 11. 25.
[최적화] AutoML , Surrogate Model , Acquisition Function AutoML Motivation Conventional Deep Learning Training Pipeline → AutoML 일반적으로 Data Engineering이라 함은, Data cleansing 및 Preprocessing과 Feature Engineering을 하고 적절한 ML알고리즘을 선택한 후 Hyperparameter를 튜닝한다. 좋은 configuration이 나올 때까지 모델을 선정하고 Hyperparameter를 설정하여 Train과 Evaluate을 하는 작업을 반복한다. 이 과정을 사람이 계속 반복하는데, AutoML로 이 반복 구조에서 사람의 노고를 뺀 진정한 End-to-end learning을 실현하고자 한다. AutoML 기본 개념 AutoML(Hyperparamete.. 2021. 11. 23.
[최적화] 모델 경량화 , AutoML , Pruning , Knowledge Distillation , Tensor Decomposition , Quantization , Compiling 딥러닝 모델 경량화를 위한 다양한 기법을 간단히 소개합니다. 경량화 기법 중 AutoML에 초점을 둘 것이며, AutoML에 대한 자세한 내용은 여기를 참고해주세요. 1. 경량화 목적 On device AI smart phone, warch 등 IoT devices Limitation : Battery, RAM, Storage, Computing power AI on cloud(or server) on device AI에 비해 배터리, 저장공간, 연산능력 등의 제약은 줄지만, 같은 자원으로 더 적은 latency(한 요청의 소요 시간)와 더 큰 throughput(단위 시간당 처리 가능 요청 수) Computation as a key component of AI progress 시간이 지날 수록 AI 모.. 2021. 11. 22.
728x90
반응형

티스토리툴바