Pretraining BERT model with Code example & using The Road Less Scheduled 1. Introduction 나에게 주어진 Task는 다음과 같다. (Assignment 1) 주어진 영어 문장에 대해 문법 적합성 판정을 이진분류(binary classification)하는 데이터셋인 ...
투빅스 20&21기 컨퍼런스 : 나만의 AI 펫 프로필 만들기 후기 0. Introduction 24년 4월부터 24년 7월까지, 대학생&대학원생 인공지능 및 데이터 분석 대표 연합 동아리 투빅스에서 나의 기수인 20기와 후배 기수인 21기의 20&21기 18회 컨퍼런스로 생성모델 팀에서 프로젝트를 진행하였다. 저번에 진행한...
Sound-Guided Semantic Image Manipulation (CVPR 2022) 논문 리뷰 https://arxiv.org/abs/2112.00007 0. Abstract 연구 배경 최근 생성 모델의 성공은 Multi-modal embedding space를 활용하여 텍스트 정보를 사용해 이미지를 조작할 수 있다는 ...
1. Introduction to SentencePiece tokenizer 2018년 8월에 Google이 발표한 tokenizer library (Not an official Google product) paper link : https://arxiv.org/pdf/1808.06226.pdf Github link : https://git...
Diffusion Models Without Attention 논문 리뷰 arxiv.org 0. Abstract 최근 고화질(hi-fidelity) 이미지 생성 분야의 발전 과정에서 Denoising Diffusion Probability Model(이하 DDPM)은 생성 모델로서 매우 중요한 Key player로 등장하게 되었다. 그러나 DD...
1. 기본적인 상황 처음에 주어진 Program.cs 코드를 실행하면 Main 함수에서 선언된 Thread t가 ThreadBody()에서 shared_var에 접근하고, Main 함수 스레드가 shared_var에 접근하여 총 두 개의 스레드가 공유 변수(volatile static int)인 shared_var에 접근하는 것을 알 수 있다. ...
이 게시글은 ‘파이썬을 활용한 머신러닝 해석 가능성’의 Ch 14. ‘머신러닝 해석 가능성, 그 다음은?’의 내용 30%, 제 사견 70%를 첨가하여 정리한 내용으로 만들어졌습니다. 1. 머신러닝 해석 가능성의 현재 상황 이해 1-1. 전체 요약 ML 해석 가능성의 세 가지 주요 주제 : FAT + E 공정성 (Fairness) 책...
이 게시글의 내용은 전부 제 사견으로 이루어진 글입니다. 230208 글귀를 올리며 내 생각을 정리하는 지금 이 계정이나, 아니면 기술 블로그를 언젠가 시작할 마음은 예전부터 항상 있었다. 그치만 항상 내 수준이 무언가를 정리하여 게시글을 올릴 만큼 올라와 있다고 느낀 적은 한 번도 없기에 쉽게 시작하지 못했다. ...
이 게시글의 내용은 전부 제 사견으로 이루어진 글입니다. 230111 “인간의 지력으로 도저히 다 이해할 수 없는 생태의 복잡성에 대한 이러한 조심스러움과 겸손함, 공경하는 마음은 사실 대단히 오래된 것이다. 이는 때로 “민들레 원칙”이라고도 불리는 철학적 개념이다.” 인류의 우월한 유전자만 남기고 열등한 ...
이 게시글의 내용은 전부 제 사견으로 이루어진 글입니다. 221227 “코드에서와 마찬가지로 현실에서도 역시 제어할 수 없는 것에 대한 의존성을 낮추고 제어할 수 있는 것을 선택하면 쉽게 흔들리지 않는 견고한 생활을 지킬 수 있습니다.” 우리는 소프트웨어를 만들 때 어떤 클래스, 인터페이스 등을 매개변수로 ...
이 게시글은 ‘파이썬을 활용한 머신러닝 해석 가능성’의 Ch 10. 해석 가능성을 위한 피처 선택과 피처 엔지니어링의 내용을 정리한 내용으로 만들어졌습니다. Ch 10. 해석 가능성을 위한 피처 선택과 피처 엔지니어링 0. Introduction Chapter 1, 2, 3 —> 복잡성이 머신러닝 해석 가능성을 어떻게 방해하는지에 대한 내용...
2021 서울 공공데이터 연구 공모전 후기 (미완) Upload: Proceeding… 본 연구 공모전은 2021년 9월~11월 동안 진행된 서울시 빅데이터-AI 아이디어 공모전의 최종 선정 6개팀 발표 후기입니다. 1. Introduction 2. 연구 진행 과정 3. 자치구 선정 ...
이 게시글은 ‘파이썬을 활용한 머신러닝 해석 가능성’, ‘XAI 설명 가능한 인공지능, 인공지능을 해부하다’ 두 도서의 내용을 혼합하여 정리하였습니다. XAI의 역사 & Feature Importance & Global model Interpretation 01. XAI의 역사와 등장배경 1. 설명 가능한 의사 결정 체계 XAI는...
1. AI principle 만들기 (Algorithmic Bias / Disinformation 등을 어떻게 줄이고 극복할 수 있는가?) Google, Microsoft, OpenAI 등등 현재 IT의 최전선을 달리고 있는 기업들은 각 사에서 제 정한 AI principle이 존재한다. 또한 국제 기구 중 최고의 권위를 갖고 있는 OECD에서도 A...
투빅스 19&20기 컨퍼런스 : RAG를 이용한 “투빅이 가이드 챗봇” 후기 0. Introduction 23년 7월부터 20기로 활동을 시작한 대학생&대학원생 인공지능 및 빅데이터 대표 연합 동아리 투빅스에서 19&20기 컨퍼런스로 NLP 팀에서 프로젝트를 진행하였다. 이 게시글은 컨퍼런스 프로젝트에 대한 리뷰 및 설명하려...
최적화(Optimization) & 경사하강(Gradient Descent)에 대한 정리 이 게시글은 딥러닝을 위한 선형대수학 저서의 6장. 최적화 파트를 정리한 내용과, 추가적으로 정리한 내용으로 만들어졌습니다. 0. 최적화(Optimization) ML, DL 분야에선 모델의 목적함수(Objective Function)인 손실 함수(L...
Instruction fine-tuning, Reinforcement Learning from Human Feedback(RLHF) Upload: Proceeding… ** 이 게시글은 아직 제작 과정 중에 있습니다! 내용이 부실하더라도 감안하여 주세요! https://youtu.be/SXpJ9EmG3s4?si=73A2nJoUpjFW5sqC 본...
Zero-shot Learning & Few-shot Learning, Chain-of-thought 본 게시글은 2023년도 스탠포드 강의 CS224n의 lecture 11 -prompting, rlhf의 내용을 정리한 게시글입니다. 0. Introduction 0-1. Larger and Larger models 현재 개발되고 있는 ...
Vision Transformer(ViT) 논문리뷰 1. 개요 Transformer 모델의 등장 이전, RNN은 오랜 시간동안 NLP(Natural Language Processing) 분야에서 기본 모델로써 활용되었다. Attention is all you need : Transformer 모델의 등장으로 인해 NLP 분야에서 RNN의 시대 종...
BERT 논문리뷰 1. 개요 Language Model(LM)의 pre-training 방법은 기존의 많은 NLP 태스크에서 효율적으로 개선되어 굉장히 좋은 성능을 내고 있다. 이는 특히 전체적인 sentenct(문장) 간의 관계를 예측하는 sentence(문장) 단위 레벨의 태스크(ex. Nature Language Inference)를 목표하...
High-Resolution Image Synthesis with Latent Diffusion Models (Stable diffusion) 논문리뷰 1. Introduction 이미지 합성은 엄청난 계산적 요구가 필요함에도 불구하고, 컴퓨터 비전 분야에 있어서 가장 많은 발전을 이룩한 주제이다. 특히 요즘들어 고해상도의 복잡하며 자연스러운 장...
GAN (Generative Adversarial Networks) 논문 리뷰 & How to evaluate GANs? 0. 이미지 데이터의 확률 분포와 생성 모델 이미지 데이터는 벡터나 행렬과 같은 데이터의 형태로 표현하여 컴퓨터가 연산을 진행할 수 있다. 이미지 데이터는 일반적인 일차원 데이터와 달리 RGB와 같은 여러 개의 채널로 이...
앙상블 정리 0. 단일 모델의 한계 결정 트리는 이해하고 해석하기 쉬우며, 사용하기 편하고, 여러 용도로 사용할 수 있으며, 성능도 뛰어나다. 이런 결정 트리는 데이터의 축에 수직으로 분할하는 것을 기반으로 학습을 진행하기 때문에 항상 계단 모양의 결정 경계를 생성한다. 수직으로 분할한다는 특성 상, 결정 트리의 훈련 세트의 회전이 진행되면...
How to Read a Paper (번역) 221216 original paper : https://www.academia.edu/37525767/How_to_Read_a_Paper 제대로된 연구를 시작하기 전, 꽤 유명한 논문인 ‘논문을 보다 효율적이면서 제대로 읽기 위한 가이드를 제시하는 논문’을 번역해보았다. (논문을 읽기 위한 논문 ㅋㅋ...