반응형 Hyperparameter Optimization2 [최적화] Optuna , Yaml에서 Model 생성 Optuna Optuna 특징 및 과정 특징 SOTA 알고리즘 구현 병렬화 용이 Conditional parameter 구성 용이 search 과정 Optuna Study 인스턴스 생성 : blackbox optimizer역할 및 전체 trial관리 Study에 최적화할 목적함수(objective) 및 시도 횟수(n_trials), 조건 등 부여 Optimize! 전체 흐름 search_model : 모델을 sampling하여 config 반환 search_hyperparam : 하이퍼파라미터를 sampling하여 config 반환 train_model : 위의 config들을 가지고 model 학습 후, 학습된 모델 반환 evaluate : 위의 학습된 모델을 가지고 evaluate하여 score 반환.. 2021. 11. 25. [최적화] AutoML , Surrogate Model , Acquisition Function AutoML Motivation Conventional Deep Learning Training Pipeline → AutoML 일반적으로 Data Engineering이라 함은, Data cleansing 및 Preprocessing과 Feature Engineering을 하고 적절한 ML알고리즘을 선택한 후 Hyperparameter를 튜닝한다. 좋은 configuration이 나올 때까지 모델을 선정하고 Hyperparameter를 설정하여 Train과 Evaluate을 하는 작업을 반복한다. 이 과정을 사람이 계속 반복하는데, AutoML로 이 반복 구조에서 사람의 노고를 뺀 진정한 End-to-end learning을 실현하고자 한다. AutoML 기본 개념 AutoML(Hyperparamete.. 2021. 11. 23. 이전 1 다음 728x90 반응형
