johyeongseob 님의 블로그

Pytorch 기초부터 시작하는 NLP 시리즈1. 문자-단위 RNN으로 이름 분류하기2. 문자-단위 RNN으로 이름 생성하기3. Sequence to Sequence 네트워크와 Attention을 이용한 번역 Pytorch 기초부터 시작하는 NLP: Sequence to Sequence 네트워크와 Attention을 이용한 번역페이지: https://tutorials.pytorch.kr/intermediate/seq2seq_translation_tutorial.html Author: Sean Robertson번역: 황성수  Pytorch 기초부터 시작하는 NLP 마지막 튜토리얼입니다. 튜토리얼의 내용은 '프랑스어를 영어로 번역하는 모델 학습하기' 입니다. 제가 재해석한 코드를 공유드립니다. 큰 틀에서 작..

Pytorch 기초부터 시작하는 NLP 시리즈1. 문자-단위 RNN으로 이름 분류하기2. 문자-단위 RNN으로 이름 생성하기3. Sequence to Sequence 네트워크와 Attention을 이용한 번역 Pytorch 기초부터 시작하는 NLP: 문자-단위 RNN으로 이름 분류하기페이지: https://tutorials.pytorch.kr/intermediate/char_rnn_generation_tutorial.html Author: Sean Robertson번역: 황성수  Pytorch 기초부터 시작하는 NLP 두 번째 튜토리얼입니다. 첫 번째 튜토리얼과 유사한 점이 많습니다.  제가 재해석한 코드를 공유드립니다. 큰 틀에서 작동원리는 동일합니다. Step 1: 카테고리 (나라)별 이름 목록 생성..

Pytorch 기초부터 시작하는 NLP 시리즈1. 문자-단위 RNN으로 이름 분류하기2. 문자-단위 RNN으로 이름 생성하기3. Sequence to Sequence 네트워크와 Attention을 이용한 번역Pytorch 기초부터 시작하는 NLP: 문자-단위 RNN으로 이름 분류하기페이지: https://tutorials.pytorch.kr/intermediate/char_rnn_classification_tutorial.html Author: Sean Robertson번역: 황성수, 김제필  Pytorch 기초부터 시작하는 NLP 첫 번째 튜토리얼입니다. NLP의 기본적인 작동 원리를 배울 수 있는 좋은 예시입니다. 다만 해당 튜토리얼의 코드가 이해하기 어렵습니다. 제가 재해석한 코드를 공유드립니다. ..

논문: https://arxiv.org/abs/1409.3215저자: Ilya Sutskever - ilyasu@google.com, Oriol Vinyals - vinyals@google.com, Quoc V. Le - qvl@google.com인용: Sutskever, I. "Sequence to Sequence Learning with Neural Networks." arXiv preprint arXiv:1409.3215 (2014).   0. 초록 (Abstract) 심층신경망 (Deep Neural Networks, DNNS)은 대규모 라벨 데이터셋이 존재한다면, 여러 테스크에 대해 좋은 성능을 보여주었다. 하지만 문장 번역에 대해서는 그렇지 않다. 저자는 언어 구조에 대한 최소한의 조건으로 문..

제목: 삶삶이 무엇인지 고민한 적이 있다. * 영혼이 우주라는 작은 무대에서 인간이라는 생명에 들어와 짧은 유희를 즐거는 것이다. 태아부터 죽음이 도래하기까지 영혼은 자신을 둘러싼 환경에 적응하며 자신을 잊어버린다. 인간에서 벗어나는 순간 영혼은 자신의 존재를 깨닫게 된다. 영혼은 또 다시 반복할 것이다. 자신의 존재를 잊고, 새로운 삶에 적응하고, 유희를 즐기다, 다시 자신을 깨닫는다. 그러니, 언제 끝이 도래할 지 모르는 삶이여, 삶은 그저 한 순간의 유희임을 잊지 말자. * 이런 생각이 든 나는 주어진 하루하루에 충실해야겠다고 생각한다. 지금 이 순간은 한 번 뿐인 삶이기에. 해설: 요새 빙의물을 많이 봐서...

데이터 증강 (Data Augmentation) 데이터 증강은 데이터 수를 늘려, Overfitting을 방지하고, 모델이 Generalization을 갖도록 한다. 이미지에서 데이터 증강에는 다양한 종류가 있다. 아래 그림은 MNIST(28px*28px)를 이용한 이미지 증강 예시이다. 하나씩 살펴보자. 코드는 Pytorch 기준이다. Pytorch의 torchvision 제공import torchvision.transforms as transforms 1. 뒤집기(Flip)horizon = transforms.RandomHorizontalFlip(p=1)vertical = transforms.RandomVerticalFlip(p=1)  P는 Probability로 이미지 증강을 적용할 확률값이다. 흔..

논문: https://ieeexplore.ieee.org/document/9063543 저자: Jiangxin Yang , Guizhong Fu , Wenbin Zhu , Yanlong Cao , Yanpeng Cao , Member, IEEE, and Michael Ying Yang, Senior Member, IEEE 인용: Yang, Jiangxin, et al. "A deep learning-based surface defect inspection system using multiscale and channel-compressed features." IEEE transactions on instrumentation and measurement 69.10 (2020): 8032-8042. 깃허브: ..

제목: □□  □□가 깨졌다. 그건 일종이 제약이었으며, 반대로 인간이라면 가지고 있는 자제력, 양심, 혹은 측은함에서부터 해방이었다. 모든 사람이 느낀 것은 아니었다. 그것은 자신의 아버지 혹은 어머니, 그들의 조상 그 이전부터 유전자에 새겨진 자물쇠이다. 수많은 세대가 교체하고 섞이며 사라지기도 하고 혹은 더욱 강해지기도 했다. *  평범한 날이었다. 어느 날과 같이 출근하고, 밤새 비어 있는 메일함에 안도를 내시던 그런 하루. 점심 시간에 무엇을 먹을 지 고민하다 편의점에서 간단히 허기를 채우고, 회사에 돌아와 업무를 끝낸 후 퇴근하는 날. 그러다 갑자기 나는 내 안의 무언가 사라짐을 느꼈다. 말로 설명할 수 없는 기분이었다. 갑작스럽게 투쟁심, 파괴 욕구와 같은 감정들이 터졌다.  나는 한동안 이..

논문: https://ieeexplore.ieee.org/abstract/document/6795963 저자: Sepp Hochreiter(Fakultät für Informatik, Technische Universität München, 80290 München, Germany), Jürgen Schmidhuber(IDSIA, Corso Elvezia 36, 6900 Lugano, Switzerland) 인용: S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory," in Neural Computation, vol. 9, no. 8, pp. 1735-1780, 15 Nov. 1997, doi: 10.1162/neco.1997.9.8.1735. 참고:1..

논문: https://arxiv.org/abs/1409.0473 저자: Dzmitry Bahdanau (Jacobs University Bremen, Germany) KyungHyun Cho and Yoshua Bengio* (Universit´e de Montr´eal)* CIFAR Senior Fellow 인용: Bahdanau, Dzmitry. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).  튜토리얼 코드: https://tutorials.pytorch.kr/intermediate/seq2seq_translation_tutorial.html 데이터..