프로젝트/KHUDA 겨울방학 프로젝트 (1) 썸네일형 리스트형 이론 > 트랜스퍼 러닝 트랜스퍼 러닝 : 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법. - 태스크1: 업스트림 태스크(ex. 다음 단어 맞히기, 빈칸채우기 등) / 태스크2: 다운스트림 태스크(ex. 문서 분류, 개체명 인식 등) - 프리트레인: 업스트림 태스크를 학습하는 과정 - 기존보다 모델의 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향이 있다. 업스크림 태스크 대표적인 태스크 가운데 하나가 다음 단어 맞히기 입니다. GPT 계열 모델이 바로 이 태스크로 프리트레인을 수행합니다. 예를 들어 티끌 모아라는 문맥이 주어졌고 학습 데이터 말뭉치에 티끌 모다 태산이라는 구가 많다고 하면 모델은 이를 바탕으로 다음에 올 단어를 태산으로 분류.. 이전 1 다음
