본문 바로가기

전체 글

 (19)
ImageNet Classification with Deep ConvolutionalNeural Networks 먼저 해당 포스팅은 NIPS 2012 논문 ImageNet Classification with Deep ConvolutionalNeural Networks를 참고하여 작성하였음을 밝힙니다. 이번 포스팅에서는 논문에서 제안하는 AlexNet과 흥미로웠던 내용들을 위주로 간략하게 살펴보도록 하겠습니다. 1. The Dataset AlexNet은 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)의 2012년 대회에서 Top 5 test error 기준으로 15.4%를 기록하여 1위를 차지했습니다. 위 대회에서 사용된 ImageNet 데이터 셋은 컴퓨터 비젼 분야에서 자주 사용되는 대표적인 데이터셋이라고 할 수 있습니다. ImageNet 데이터 셋은 그림 1..
Learning both Weights and Connections for Efficient Neural Networks 먼저 해당 포스팅은 NIPS 2015 논문 Learning both Weights and Connections for Efficient Neural Networks을 참고하여 작성하였음을 밝힙니다. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks 논문을 읽던 중 앞서 게재된 위 논문을 참조할 필요가 있다고 느꼈기에 이렇게 포스팅하여 정리해보았습니다. 1. Introduction Neural network는 computer vision, speech recognition, NLP 등에 걸쳐서 많은 분야에 사용되고 있습니다. 그 중 Computer vision 분야의 복잡한 문제들을 해결하는 과정에서 nueral network..
Thailand - Bankok, Pattaya, Samet Island, Nong Khai 해질녘이 되면 사담 루앙 공원에서는 석양에 비친 태국 왕궁의 모습을 볼 수 있다. 방콕에 있는 동안 가끔 저녁을 공원에 사들고 와서 먹곤했다. 그렇게 한참을 있다 보면 조깅하는 사람들, 옹기종기 모여 앉아 수다를 떠는 사람들이 눈에 들어온다. 이를 보고 있자면 어느 도시든 공원의 역할은 지역 구성원의 삶에 있어서 큰 부분을 차지하는것 같다는 생각이 든다. 사진에 보이지는 않지만 공원 옆으로는 짜오프라야 강이 흐르는데, 뭍머리에서 바라보면 배를 타고 강을 가로질러 퇴근하는 사람들이 보인다. 자동차를 타고 다리를 건너는 모습과는 사뭇 달라서 낯설었지만, 어쩌면 자동차에 빽빽하게 둘러 싸여 하루 일과를 마무리 하기 보다는 일렁이는 강물을 타고 집으로 돌아오는 길이 더 속시원하지 않을까한다. 동행한 친구가 유치..
Japan - Tokyo, Osaka 오사카에서 탑승한 JR , 도쿄가 가까워지자 구글 맵스를 켜고 왼쪽 창가로 분주하게 움직였다. 눈덮힌 후지산의 모습을 멀리서나마 보고 싶어서였다. 바람대로 광경을 카메라에 담지는 못하였지만, 우연하게도 후지산처럼 우뚝 선 하얀 굴둑의 모습은 잡을 수 있었다. 아침을 먹고 오사카 거리를 걸으며 촬영한 사진들. 나는 내가 촬영한 사진에 이름을 붙이는 걸 좋아한다. 나중에 사진과 이름을 함께 보며 당시 내가 느꼈던 감정을 잘 떠올릴 수 있기 때문이다. 해질 무렵 도쿄의 색감은 무척이나 다채로웠고, 거리에서 풍기는 냄새 또한 그러했다. 이리저리 오가는 사람들, 깜빡이는 신호등과 부르르 울리는 신호음, 덜컹거리며 오가는 전철, 어디선가 들리는 뒤섞인 노랫소리, 환하게 번쩍이는 건물의 전광판. 이것들이 각자 제 몫..
신경망 학습에서의 오차역전파 (Back-propagation) 먼저 해당 섹션의 포스팅들은 사이토 고키의 밑바닥부터 시작하는 딥러닝 2를 참조하여 작성되었음을 밝힙니다. 영상처리 분야와 더불어 기계 번역, 음성 인식 등 실생활에 큰 영향을 주는 기술의 근간에는 자연어 처리 분야가 활용되고 있는 것을 볼 수 있습니다. 더 나아가 멀티 모달리티 분야에서 딥러닝을 적용하여 문제를 해결하기 위해서는 자연어 처리와 시계열 데이터 처리에 대하여 추가로 학습할 필요가 있다고 생각하였기에 밑바닥부터 시작하는 딥러닝 2를 참조하여 공부해보고자 합니다. 신경망 학습의 목표는 손실 함수를 최소화 하는 가중치 파라미터를 찾는 것입니다. 이 과정에 있어서 중요한 것이 오차역전파(back-propagation)와 연쇄 미분 법칙(chain rule)이라고 할 수 있겠습니다. 머신러닝 알고리..
Column space 이번 포스팅에서는 열공간 그리고 열공간의 기저에 대해서 살펴보겠습니다. 1. 행렬의 계수 열공간을 살펴보기에 앞서 행렬의 계수($rank$)에 대해서 알아보도록 하겠습니다. 행렬 $A$의 선형독립인 행벡터(또는 열벡터)의 최대 개수를 행렬 $A$의 계수($rank$)라 하고 $rank(A)$로 표기합니다. 주어진 행렬 $A$에 대해서 $rank$를 확인하기 위해 보통 기본행 연산을 통해 $A$를 가우스 행렬로 변환합니다. 그 결과 영행이 아닌 행(열)의 개수가 정의에 따라 $rank(A)$에 해당합니다. $rank$는 행렬식과 함께 연립방정식에서 해의 존재 유무를 판단할 때 유용하게 사용됩니다. 행렬 방정식 $AX = B$가 존재할 때 $rank(A) = rank(A|B) = A$의 차원이라면 그 해는 ..
Basis 기저는 선형독립과 아주 밀접한 연관성을 가집니다. 먼저 기저(basis)는 벡터공간 $V$에 대하여 $V$의 모든 원소를 선형결합으로 유일하게 표현하는 선형독립인 벡터를 의미합니다. 기저의 정의는 다음과 같습니다. 1. 기저의 정의 벡터공간 $V$의 벡터집합 $S = \{v_1, v_2, ... , v_n\}$이 존재할 때 $S$가 선형독립이며, 벡터공간 $V$를 생성($span$)할 때 $S$를 $V$의 기저(basis)라고 합니다. 즉, 벡터공간 전체를 생성하는 선형독립인 벡터들을 바로 기저라고 합니다. 그 정의에 따라 우리는 기저가 벡터공간을 생성하기 위해 필요한 최소한의 벡터임을 알 수 있습니다. 2. 기저의 특징 앞서 설명한 바와 같이 기저는 벡터공간 $V$에 대하여 $V$의 모든 원소를 선형결..
Linearly independent 선형독립(linearly independent)과 선형종속(linearly dependent)은 선형대수학에서 가장 기본이 되는 개념이라고 할 수 있습니다. 선형독립은 일차독립, 일차종속이라고도 불리는데, 이는 차원(dimension)과 기저(basis)를 포함한 개념을 공부하는데 기본이 됩니다. 1. 선형독립과 선형종속의 정의 벡터집합 $S = \{u_1, u_2, u_3, ... , u_n\}$과 실수 $k_1, k_2, k_3, ... , k_n$에 대하여 $k_1u_1 + k_2u_2 + ... + k_nu_n = 0$ 을 만족하는 해가 $k_1 = k_2 = ... = k_n = 0$으로 유일하다면 벡터집합 $S$를 선형독립이라고 합니다. 반대의 경우 $k_1 = k_2 = ... = k_n =..

티스토리툴바