Spicy Tuna Sushi
본문 바로가기

분류 전체보기47

Self-supervised Pre-training Models - It introduces special tokens, such as // $, to achieve effective transfer learning during fine tuning - 예측을 위한 output layer는 떼어버리고, 전단계 output의 word별 인코딩 벡터를 가져와 사용함 - 마지막 layer는 randomization을 통해 시작이 되어 충분히 학습이 되어야 하지만, 기학습된 layer는 큰 변화가 일어나지 않도록 함. 즉, 기존 지식을 충분히 task에 활용할 수 있도록 함. - Language models only use left context or right context , but language understanding is bi-directional Masked L.. 2022. 10. 23.
Beam Search and BLEU score - Greedy decoding has no way to undo decisions! - Exhaustive search : This O(𝑉𝑡)complexity is far too expensive! - on each time step of the decoder, we keep track of the 𝑘 most probable partial translations (which we call hypothese) - k : beam size (in practice around 5 to 10) - longer hypotheses have lower scores - 그러므로 Normalize가 필요함 - model 2는 100%가 나왔지만 문법적으로 전혀 말이 안 됨. 이 부분을 보완하자! - BLUE sc.. 2022. 10. 23.
Seq2Seq - 각 단어마다 발생하는 hidden state vector들을 전체적으로 Decoder에 제공 Decoder는 Time step마다 그때그때 필요한 h를 선별적으로 가져와서 예측에 도움이 되는 형태로 사용함 https://google.github.io/seq2seq/ Overview - seq2seq Introduction tf-seq2seq is a general-purpose encoder-decoder framework for Tensorflow that can be used for Machine Translation, Text Summarization, Conversational Modeling, Image Captioning, and more. Design Goals We built tf-se.. 2022. 10. 23.
RNN, LSTM, GRU Notice: The same function and the same set of parameters are used at every time step One to one - Standard Neural Networks One to many - Image Captioning Many to one - Sentiment Classification Sequence to sequence - Machine Translation - Video classification on frame level ex) "hello" voca : [h,e,l, o] 이를 one-hot 벡터로 나타냄 - 'hell'이 주어졌을 때, 끝에 있는 'll'에서 첫 번째 'l'은 'l'을 예상, 두 번째 'l'은 'o'를 예상하도록 학습해야.. 2022. 10. 12.
Word Embedding: Word2Vec, GloVe - 단어를 특정 차원으로 이루어진 공간 상의 한 점, 그 점으로 이루어진 벡터로 변환 - 'cat' and 'kitty' are similar words, so they have similar vector representations-short distance - 의미상으로 비슷한 단어들을 좌표 공간 상에 비슷한 위치에 mapping되도록 함으로써 단어간 의미상 유사도를 잘 반영한 벡터표현을 nlp 알고리즘에 내어주는 역할을 함 Assumption: words in similar context will have similar meanings The cat purrs. The cat hunts mice. ex) I study math 슬라이딩 윈도우를 이용하여 중심 단어와 주변 단어의 쌍을 구성하여 학습 .. 2022. 10. 11.
22-10-11 깃헙특강 이고잉님의 깃헙특강 (오전) - 버전 관리가 반드시 필요함 프로젝트 하다보면 버그가 생김 1. 행복한 버그 : 문법 에러! 해결하지 않으면 프로그램이 돌아가지 않기 때문 2. 눈에 보이지 않는.. 슬픈 버그 : 로직, 기획자의 오판, 소통 미스 등.. 당대에는 발견되지 않았던 버그였을 수 있음 버전 관리를 하지 않았다면, 버그 발생시 전수 검사해야 함 버전 관리를 했다면, 과거로 돌아가 단하나의 버전 안에서 버그를 찾을 수 있음! 문제 해결 능력이 완전히 다름 but 날릴 위험성이 있으니.. 잘 익혀보자. https://seomal.com/ Seomal - 서말 seomal.com 놓친 부분은 여기서 공부하자 - 폴더 생성 후 끌어오고, 소스 컨트롤에서 저장소 초기화->파일 생성->메시지 적어서 커밋 -.. 2022. 10. 11.
Bag-of-Words, NaiveBayes Classifier Step 1. Constructing the vocabulary containing unique words Example sentences: “John really really loves this movie“, “Jane really likes this song” Vocabulary: {“John“, “really“, “loves“, “this“, “movie“, “Jane“, “likes“, “song”} -중복 단어 제거 - 8개의 단어이므로 8차원 벡터 공간을 설정하여 해당 차원의 값만을 1, 나머지는 0으로 설정하여 나타낼 수 있음 - 단어 의미에 상관 없이 동일 관계를 가진 벡터로 설정 - 이러한 one-hot vector들을 더한 것으로 문장/문서를 표현할 수 있음. 이를 Bag-of-Word.. 2022. 10. 11.

티스토리툴바