Text Mining 3 - Dense Contextual Representation
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Text Mining 과목의 수업을 다룬다. Contextual Representation 저번 글에서 다뤘던 Dense Static Representation은 단어별로 고정된 vector를 갖는다....
CloudHolic's Blog
Text Mining 2 - Dense Static Representation
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Text Mining 과목의 수업을 다룬다. Dense Representation 저번 글에서 다뤘던 Sparse Representation은 vector의 크기가 상당히 크다. Vector의 dime...
Text Mining 1 - Sparse Representation
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Text Mining 과목의 수업을 다룬다. Representing texts with vectors 쇼핑몰을 운영한다고 가정해보자. 각각의 상품들의 이름, 설명, 태그 등은 물론이고 고객의 검색 등도...
Linear Algebra 10 - Diffusion
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Linear Algebra 과목의 수업을 다룬다…만, 과목명은 페이크고 사실은 생성형 모델을 다루는 수업이다. Diffusion Model Diffusion은 원래 물리/화학 용어로, 고밀도/고농도에서...
Advanced Machine Learning 13 - Generative Models & Diffusion Models
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Advanced Machine Learning 과목의 수업을 다룬다. Unsupervised Learning Generative Model은 여태까지 다뤘던 Supervised Learning이 아니라...
Linear Algebra 9 - Principal Component Analysis
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Linear Algebra 과목의 수업을 다룬다…만, 과목명은 페이크고 사실은 생성형 모델을 다루는 수업이다. Recap. Gaussian Distribution 먼저 Gaussian Distribu...
Advanced Machine Learning 12 - Transformer (2)
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Advanced Machine Learning 과목의 수업을 다룬다. Transformer 저번 글에서 RNN의 근본적인 한계점에 대해 알아봤는데, 이러한 문제점들 때문에 RNN 기반의 구조를 아예 버...
Linear Algebra 8 - Continuous Normalizing Flow
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Linear Algebra 과목의 수업을 다룬다…만, 과목명은 페이크고 사실은 생성형 모델을 다루는 수업이다. Ordinary Differential Equation 아래와 같은 미분방정식을 생각해보자...
Deep Learning 6 - Attention & Transformer
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Deep Learning 과목의 수업을 다룬다. Seq2Seq Seq2Seq는 가변적인 길이의 Input Sequence를 입력받아 역시 가변적인 길이의 Output Sequence로 변환하는 모델이다...
Advanced Machine Learning 11 - RNNs (2) & Transformer (1)
Before starting “Class” 카테고리에 있는 포스팅들은 실제로 수업에서 배운 내용을 정리하려는 목적으로 작성되었다. 이 글은 그 중 Advanced Machine Learning 과목의 수업을 다룬다. Vanilla RNN 저번 글에서 다룬 RNN의 구조는 아래 사진과 같다. 즉, 하나의 Hidden State가 모델 내부적으...