[특강] AI 서비스 개발 및 AI 기술팀 조직 구성

※ 이 글은 Upstage CTO 이활석 마스터님의 강의 내용 및 자료를 바탕으로 작성합니다.

서비스에 사용되는 AI모델 개발과 수업에서 배우는 AI모델 개발이 어떻게 다른지와 AI개발을 위한 기술팀의 조직 구성과 관련된 내용입니다.

서비스 AI 모델 개발 VS 연구 AI 모델 개발

보통 학교, 연구에서는 정해진 데이터셋과 평가방식 아래서 더 뛰어난 성능을 가지는 모델을 찾는다.
반면 서비스 개발에서는 데이터셋과 평가방식 모두 없으며, 오직 서비스 요구사항만 있다.

따라서 서비스 요구사항으로부터 학습 데이터셋의 종류, 수량, 정답부터 직접 정해야 한다.

예를 들어, OCR기술을 활용하여 수식이미지를 Latex로 변환하는 서비스를 생각해보자. 서비스 기획팀과 커뮤니케이션하여 데이터셋의 종류 및 정답 등을 확정한다.

위의 대화를 종합하면, 아래 그림의 입출력을 갖는 Image to Latex기술 모듈이 필요함을 알 수 있다. 입력으로 수식 이미지가 들어가면 출력으로 Latex문법이 나온다.

그러나 입력을 위해 데이터셋을 마련하려다 보면, 아래와 같은 여러가지 문제점을 발견할 수 있다.

이 문제를 해결하기 위해서는 Image to Latex기술 모듈 앞단에 수식 영역을 검출하는 기술 모듈을 추가해야 한다.

수식 영역 검출 모듈의 경우, 입력으로 전체 이미지를 넣으면 출력으로 수식이 위치한 영역이 나온다.

수식 영역 검출의 출력을 Imge to Latex모듈의 입력으로 넣으면 출력으로 Latex문법이 나온다.

Image to Latex모듈의 기능을 보면, 크게 Latex Symbol별로 검출하는 검출기와, Symbol별로 분류하는 인식기와, Symbol들을 한 줄로 정렬하는 정렬기와 Latex string을 생성하는 변환기가 있다.

데이터셋을 준비하기 위해서는 모델 파이프라인이 있어야함을 알 수 있다. 모델 파이프라인을 설계하기 위해서는 데이터셋도 어느정도 있어야 한다. 데이터셋 제작과 모델링은 여러번 반복하며 서비스 요구사항에 맞게 수렴해간다.


학습 데이터셋 준비 담당자의 경우 하는 일은 아래와 같다. 외주 업체에 필요한 데이터 수집을 요구할 수도 있고, AI 모델 개발자와 학습데이터 형태와 모델 설계관련 논의할 수 있고, 서비스 기획자와 요구사항을 구체화하여 학습데이터 형태를 정할 수 있다.

게임 유저와 1 vs 1 대전하는 AI 모델을 예시로 하여 평가 데이터 및 평가 방식에 대해 알아보자. AI모델의 입력은 게임화면 이미지이고 출력은 그 이미지 상황에 맞는 스킬셋 하나가 될 것이다.

프로게이머들의 로그로 AI모델을 학습시켰더니 분류 정확도가 99%가 나왔다.

그러나 실제 유저와 대전하였을 때 아무 스킬셋도 사용하지 않아 완패를 하였다. 프로게이머들이 아무때나 스킬을 남발하지 않고 중요한 순간에만 사용하여 대부분의 로그가 no_action이었으며, 그에 따라 모델이 항상 no_action을 예측하도록 학습하였다. 이러한 이유로 모델의 정확도는 99%지만 실제 승률은 0%이다.

이렇듯 실 서비스 적용 전, 개발 환경에서의 정량 평가와 실 서비스에서의 정량평가 사이 Gap이 클 수 있다. 따라서 실 서비스의 평가 결과를 잘 설계하는 것이 중요하다. 평가 방식을 정할 때는 아래의 항목을 고려해보자.

서비스 요구사항은 일반적으로 처리 시간, 목표 정확도, 목표 qps, Serving 방식, 장비 사양 등이 있다. 이 요구사항에 맞도록 서비스를 개발해야 한다.

기본적인 요구사항을 하나씩 보자.

■ 처리 시간 / 목표 정확도

■ 목표 qps

■ Serving 방식, 장비 사양

---

AI 모델 개발 기술팀의 조직 구성

AI를 모델을 개발하는 Modeling 인력과 데이터 수집 및 품질관리를 하는 Data 인력과 Modeling/Data 업무의 효율성을 위한 Tool 인력이 필요하다.

이 기술팀에 AI서비스 Serving이 요구되면 추가로 Model Engineering 인력이 필요하다.

Serving을 위한 추가 작업들은 end device에 있다.

---

당부의 말씀!

Modeling의 전문성을 중심으로 주변 역량을 확대하는 것이 좋다.