johyeongseob 님의 블로그

논문: https://proceedings.mlr.press/v139/radford21a저자: Alec Radford*, Jong Wook Kim*, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever(OpenAI, San Francisco, CA 94110, USA) *Equal contribution인용: Radford, Alec, et al. "Learning transferable visual models from natural language supervision." Intern..

논문: https://proceedings.mlr.press/v119/chen20j.html저자: Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton (Google Research, Brain Team)인용: Chen, Ting, et al. "A simple framework for contrastive learning of visual representations." International conference on machine learning. PmLR, 2020.깃허브: https://github.com/google-research/simclr0. 초록 (Abstract) 저자는 최근에 대두된 대조적 자기 지도 학습 (contrastiv..

교재: 컴퓨터 시스템 (Computer Systems - A Programmer's Perspective, Randal E. Bryant, David R. O'Hallaron, 제3판, 김형신 옮김, PEARSON, 2016.08.31)현대의 컴퓨터는 두 개의 값을 갖는 신호로 표현되는 정보를 저장하고 처리한다. 이 낮은 수준의 이진수인 비트는 디지털 혁명의 근원이다. 두 개의 값을 갖는 신호를 저장하고 계산하기 위한 전자회로는 매우 간단하고 안정적이어서 수백만에서 심지어 수천만 회로를 단 한 개의 실리콘 칩에 집적할 수 있을 정도다.이 장에서 우리는 세 개의 가장 중요한 숫자 표현에 대해 살펴본다. 비부호형 인코딩은 전통적인 이진수 표시를 사용하며, 0 이상의 수를 표시한다. 2의 보수 인코딩은 양수 ..

교재: 컴퓨터 시스템 (Computer Systems - A Programmer's Perspective, Randal E. Bryant, David R. O'Hallaron, 제3판, 김형신 옮김, PEARSON, 2016.08.31) 컴퓨터 시스템은 하드웨어(HW)와 시스템 소프트웨어(SW)로 구성되며, 이들이 함께 작동하여 응용프로그램을 실행한다. 이 책은 HW와 SW의 요소들이 어떻게 동작하고 프로그램의 성능과 정확성에 어떤 영향을 주는지 이해하여 프로그램을 더 잘 개발할 수 있도록 하기 위해 쓰여졌다.1.1 정보는 비트와 컨텍스트로 이루어진다 대부분의 컴퓨터 시스템은 텍스트 문자를 아스키(ASCII) 표준을 사용하여 표시한다. 아래 hello.c처럼 오로지 아스키 문자들로만 이루어진 파일들은 텍..

주제: Multi-light 기반 외관검사 알고리즘 개발기간: 2024년 03월 - 2025년 02월깃허브: https://github.com/johyeongseob/LGDisplay-DGU-cooperation-2024타임라인연구개발 로드맵기존 연구 조사1. A Deep Learning-Based Surface Defect Inspection System Using Multiscale and Channel-Compressed Features- SqueezeNet에 다양한 convolutional layer 추가 - 다양한 커널 사이즈는 더 큰 수용 영역 (receptive field) 을 가짐 2. Fusion of multi-light source illuminated images for effect..

H. Jo, S. Park, and S. I. Cho, "A Survey of Unsupervised Learning-Based Out-of-Distribution Detection," in *2024 IEEE International Conference on Consumer Electronics-Asia (ICCE-Asia)*, IEEE, 2024.링크: A Survey of Unsupervised Learning-Based Out-of-Distribution Detection

참고글: LLaVA  LLaVA

Kaggle의 Transformer from scratch using pytorch (작성자: arunmohan_003)의 글을 한글로 번역하였습니다. 원글: https://www.kaggle.com/code/arunmohan003/transformer-from-scratch-using-pytorch 참고: 아래 코드 조각들은 하나의 프로젝트에서 클래스 별 파일을 따로 생성하였습니다.)   1. 서론이 튜토리얼에서는 파이토치를 사용하여 “Attention is all you need”의 트랜스포머를 처음부터 구현하는 방법을 설명합니다. 기본적으로 트랜스포머는 인코더-디코더 아키텍처를 가지고 있습니다. 이는 언어 번역 모델에서 흔히 볼 수 있는 구조입니다.  위 이미지는 프랑스어에서 영어로 언어 번역 모델..

논문: https://arxiv.org/abs/2402.09353 저자: Shih-Yang Liu 1 2 Chien-Yi Wang 1 Hongxu Yin 1 Pavlo Molchanov 1 Yu-Chiang Frank Wang 1 Kwang-Ting Cheng 2 Min-Hung Chen 1 (1: NVIDIA, 2: HKUST) 인용: Liu, Shih-Yang, et al. "Dora: Weight-decomposed low-rank adaptation." arXiv preprint arXiv:2402.09353 (2024). 깃허브: https://github.com/nbasyl/DoRA 참고글1: https://discuss.pytorch.kr/t/dora-lora-weight-decomposed..

Pytorch 기초부터 시작하는 NLP 시리즈1. 문자-단위 RNN으로 이름 분류하기2. 문자-단위 RNN으로 이름 생성하기3. Sequence to Sequence 네트워크와 Attention을 이용한 번역 Pytorch 기초부터 시작하는 NLP: Sequence to Sequence 네트워크와 Attention을 이용한 번역페이지: https://tutorials.pytorch.kr/intermediate/seq2seq_translation_tutorial.html Author: Sean Robertson번역: 황성수  Pytorch 기초부터 시작하는 NLP 마지막 튜토리얼입니다. 튜토리얼의 내용은 '프랑스어를 영어로 번역하는 모델 학습하기' 입니다. 제가 재해석한 코드를 공유드립니다. 큰 틀에서 작..