륵늘

오늘은 Facebook AI Research에서 2021년 12월 19일을 마지막으로 제출 완료한 논문인 Masked Autoencoders Are Scalabel Vision Learners에 대해서 알아보고자 한다. 이 논문의 주요 키워드는 Masked AutoEncoder(MAE), Self-Supervised Learning, Reconstruction, Mask token 등이 있다. 오늘도 정리를 시작해보자 ~~~!!! Abstract 이 논문에서는 Masked autoencoder(MAE)를 computer vision을 위한 확장가능한 Self-Supervised learners라고 보여주고 있다. 이 논문의 MAE approach는 간단한데, 입력이미지의 랜덤한 patch들에 대해서 ma..

정말 오랜만에 다시 글을 쓰려고 하는데 읽었던 논문들에 대해서 다시 천천히 정리를 해보려고 한다. 꾸준히 정말 열심히 해야겠따.. 다시 돌아와서 처음으로 정리하게 된 논문은 자연어처리 부분의 논문인 BERT이다. 정리를 시작해보자~~~~~!!!!! Abstract 새로운 Language representation model로 BERT라고 불린다. BERT는 Bidirectional Encoder Representations from Transformers의 약자이다. 최근 Language representaion model 들과 달리 BERT만의 특이한 특징이 있는데, 그는 바로 라벨링 되지 않은 텍스트로부터 pre-train deep bidirectinoal representations을 하고, 모든 ..