부스트캠프 AI Tech11 [nlp 기초대회 준비] 강의 - NLP Tasks - Sequence to Sequence(S2S) Learning - N21 Problem : Topic Classification, Semantic Textual Similarity, Natural Language inference - N2N Problem : Named Entity Recognition, Morphology Analysis - N2M Problem : Machine Translation, Dialogue Model, Summarization, Image Captioning Deep Learning Process - Data Preparation : 입출력 Data를 담는 Tensor 생성 - Model Implementation : 모델 구현 - Loss Impl.. 2022. 10. 25. Self-supervised Pre-training Models - It introduces special tokens, such as // $, to achieve effective transfer learning during fine tuning - 예측을 위한 output layer는 떼어버리고, 전단계 output의 word별 인코딩 벡터를 가져와 사용함 - 마지막 layer는 randomization을 통해 시작이 되어 충분히 학습이 되어야 하지만, 기학습된 layer는 큰 변화가 일어나지 않도록 함. 즉, 기존 지식을 충분히 task에 활용할 수 있도록 함. - Language models only use left context or right context , but language understanding is bi-directional Masked L.. 2022. 10. 23. Beam Search and BLEU score - Greedy decoding has no way to undo decisions! - Exhaustive search : This O(𝑉𝑡)complexity is far too expensive! - on each time step of the decoder, we keep track of the 𝑘 most probable partial translations (which we call hypothese) - k : beam size (in practice around 5 to 10) - longer hypotheses have lower scores - 그러므로 Normalize가 필요함 - model 2는 100%가 나왔지만 문법적으로 전혀 말이 안 됨. 이 부분을 보완하자! - BLUE sc.. 2022. 10. 23. Seq2Seq - 각 단어마다 발생하는 hidden state vector들을 전체적으로 Decoder에 제공 Decoder는 Time step마다 그때그때 필요한 h를 선별적으로 가져와서 예측에 도움이 되는 형태로 사용함 https://google.github.io/seq2seq/ Overview - seq2seq Introduction tf-seq2seq is a general-purpose encoder-decoder framework for Tensorflow that can be used for Machine Translation, Text Summarization, Conversational Modeling, Image Captioning, and more. Design Goals We built tf-se.. 2022. 10. 23. RNN, LSTM, GRU Notice: The same function and the same set of parameters are used at every time step One to one - Standard Neural Networks One to many - Image Captioning Many to one - Sentiment Classification Sequence to sequence - Machine Translation - Video classification on frame level ex) "hello" voca : [h,e,l, o] 이를 one-hot 벡터로 나타냄 - 'hell'이 주어졌을 때, 끝에 있는 'll'에서 첫 번째 'l'은 'l'을 예상, 두 번째 'l'은 'o'를 예상하도록 학습해야.. 2022. 10. 12. Word Embedding: Word2Vec, GloVe - 단어를 특정 차원으로 이루어진 공간 상의 한 점, 그 점으로 이루어진 벡터로 변환 - 'cat' and 'kitty' are similar words, so they have similar vector representations-short distance - 의미상으로 비슷한 단어들을 좌표 공간 상에 비슷한 위치에 mapping되도록 함으로써 단어간 의미상 유사도를 잘 반영한 벡터표현을 nlp 알고리즘에 내어주는 역할을 함 Assumption: words in similar context will have similar meanings The cat purrs. The cat hunts mice. ex) I study math 슬라이딩 윈도우를 이용하여 중심 단어와 주변 단어의 쌍을 구성하여 학습 .. 2022. 10. 11. 22-10-11 깃헙특강 이고잉님의 깃헙특강 (오전) - 버전 관리가 반드시 필요함 프로젝트 하다보면 버그가 생김 1. 행복한 버그 : 문법 에러! 해결하지 않으면 프로그램이 돌아가지 않기 때문 2. 눈에 보이지 않는.. 슬픈 버그 : 로직, 기획자의 오판, 소통 미스 등.. 당대에는 발견되지 않았던 버그였을 수 있음 버전 관리를 하지 않았다면, 버그 발생시 전수 검사해야 함 버전 관리를 했다면, 과거로 돌아가 단하나의 버전 안에서 버그를 찾을 수 있음! 문제 해결 능력이 완전히 다름 but 날릴 위험성이 있으니.. 잘 익혀보자. https://seomal.com/ Seomal - 서말 seomal.com 놓친 부분은 여기서 공부하자 - 폴더 생성 후 끌어오고, 소스 컨트롤에서 저장소 초기화->파일 생성->메시지 적어서 커밋 -.. 2022. 10. 11. 이전 1 2 다음
