본문 바로가기
반응형

분류 전체보기154

[최적화] Optuna , Yaml에서 Model 생성 Optuna Optuna 특징 및 과정 특징 SOTA 알고리즘 구현 병렬화 용이 Conditional parameter 구성 용이 search 과정 Optuna Study 인스턴스 생성 : blackbox optimizer역할 및 전체 trial관리 Study에 최적화할 목적함수(objective) 및 시도 횟수(n_trials), 조건 등 부여 Optimize! 전체 흐름 search_model : 모델을 sampling하여 config 반환 search_hyperparam : 하이퍼파라미터를 sampling하여 config 반환 train_model : 위의 config들을 가지고 model 학습 후, 학습된 모델 반환 evaluate : 위의 학습된 모델을 가지고 evaluate하여 score 반환.. 2021. 11. 25.
[최적화] AutoML , Surrogate Model , Acquisition Function AutoML Motivation Conventional Deep Learning Training Pipeline → AutoML 일반적으로 Data Engineering이라 함은, Data cleansing 및 Preprocessing과 Feature Engineering을 하고 적절한 ML알고리즘을 선택한 후 Hyperparameter를 튜닝한다. 좋은 configuration이 나올 때까지 모델을 선정하고 Hyperparameter를 설정하여 Train과 Evaluate을 하는 작업을 반복한다. 이 과정을 사람이 계속 반복하는데, AutoML로 이 반복 구조에서 사람의 노고를 뺀 진정한 End-to-end learning을 실현하고자 한다. AutoML 기본 개념 AutoML(Hyperparamete.. 2021. 11. 23.
[최적화] 모델 경량화 , AutoML , Pruning , Knowledge Distillation , Tensor Decomposition , Quantization , Compiling 딥러닝 모델 경량화를 위한 다양한 기법을 간단히 소개합니다. 경량화 기법 중 AutoML에 초점을 둘 것이며, AutoML에 대한 자세한 내용은 여기를 참고해주세요. 1. 경량화 목적 On device AI smart phone, warch 등 IoT devices Limitation : Battery, RAM, Storage, Computing power AI on cloud(or server) on device AI에 비해 배터리, 저장공간, 연산능력 등의 제약은 줄지만, 같은 자원으로 더 적은 latency(한 요청의 소요 시간)와 더 큰 throughput(단위 시간당 처리 가능 요청 수) Computation as a key component of AI progress 시간이 지날 수록 AI 모.. 2021. 11. 22.
[MRC] Retrieval, Scaling up with FAISS 지난 포스팅에서 Retrieval with dense embedding에 대해 알아보았다. 간단히 보면, question과 passage 각각을 위한 encode있다. question은 질문이 들어올 때마다 encoding을 하고, passage는 확보한 것을 미리 연산한다. question이 들어올 때마다 미리 확보한 passage와 비교해서 question과 유사도가 높은 passage를 내보낸다. embedding space에서 quesiton이 들어오면 그 question과 가장 거리가 가까운 passage들을 vector space에서 보게된다. 문제는 passage(파란색 점)가 많을 때, question과 유사한 passage를 어떻게 효율적으로 찾을 것인지이다. 이렇게 유사한 문서를 찾는 .. 2021. 10. 17.
728x90
반응형

티스토리툴바