Clarify_Way

Neural Radiance Fields 희소한 이미지 뷰를 통해, 연속적인 Volumetic scence 함수를 최적화 하여 새로운 뷰를 합성하고 영상을 만들어냄. Algorithm 1) Fully connected deep network (non - convolutional) 2) input : a single continuous 5D coordinate (x,y,z,θ,φ) 3) output : volume density and view - dependent RGB color , 4D 4) volume rendering techniques => 복잡한 외관을 가진 장면을 사실적으로 렌더링하기 위해, NeRF를 효과적으로 최적화하는 방법을 설명하고 Neural Randering 및 뷰 합성에 대한 우..

자율주행의 4가지 기술: 인지, 측위, 판단, 제어 1.인지 기술 : 카메라, 라이다 등 의 센서 데이터로부터 차량, 보행자, 표지판, 신호등, 차선 등의 정보들을 추출 2.측위 기술: GNSS, IMU 등의 측위 센서와 인지 센서의 정보를 융합하여 차량의 위치와 자세를 추정 3.판단 기술: 주변 상황에 대한 인식 정보를 바탕으로 목적지까지 이동하기 위하여 필요한 경로, 속도, 행동 등을 계획 제어 기술: 계획한 경로와 속도를 최대한 따르도록 종횡방향 제어 값을 계산 서론 •연구 배경 및 필요성 – 현황 Ø현재 대부분의 양산차의 운전자 보조 시스템은 2단계에 해당 ØIT/ 서비스 업체들은 4단계 달성을 목표로 연구를 진행하고 있음 Ø최근에는 일본의 혼다모터스에서 3단계 자율주행차 모델을 판매하기 시작 •..

Introduction 자율 주행의 증가로 복잡한 다양한 환경을 다룰 수 있는 알고리즘이 필요해졌다. 고속도로와 같은 환경이 아닌, 혼잡이 많은 시내 주행은 고려되는 다양한 과제가 필요하다. 타이트한 교통 구정을 무조건 따라야한다. (속도 제한, 신호, 차선) 자동차, 보행자, 물체 등등이 포함된 주변 다이나믹한 곡선을 예측해야한다. LiDAR, 카메라, 라이다와 같은 센서 기반 vision은 불확실한 환경요소를 다룰 필요가 있다. (불확실한 환경요소 : 객체의 일부만 보이거나 가려진 상황) 본 논문에는 5가지의 시나리오를 소개한다. 상대 차량이 본 차량의 기준 경로를 막고 있는 경우 이 경우는 보통 우회전 차선에 추월 차량이 정지할 때 발생한다. (이 상황에서 추월하는 것은 교통 규정을 위반하는 것이지..

과연 Multimodal 없이 하나의 분야 모델로 개발을 하여 성과를 높인다는게 옳은 것인가의 고민이 생겼다. 이미지 분석으로만 감성을 판단하고 자연어처리로만 우리 일상 생활의 의사소통을 주고 받는다는 것은 무조건 한계가 있을 것이다. 이런 한계를 깰 수 있는 것이 바로 multi modal이다. multi modal은 다양한 modality를 각 모델에 넣어서 학습시킨 후, 결과값을 concat시켜 학습하는 과정을 말한다. Transformer 모델을 활용하여 multi modal을 진행하는 논문을 리뷰해 보겠다. Multimodal Transformer for Unaligned Multimodal Language Sequences Yao-Hung Hubert Tsai, Shaojie Bai, Paul..

Loss Function 모델의 output 즉, 예측값과 실제 데이터 셋과의 차이를 수치화시키는 함수다.(이 차이를 출이는 것이 목표이며, loss값이 필요한 이유다.) 어떤 종류의 Loss Function이든, 예측값과 실제값이 비슷할수록 0 & 비슷하지 않을수록 1 또는 ∞에 가까워야한다는 개념으로부터 파생된다는 것을 인지하자. MSE(Mean Squared Error) 이 또한, 둘이 비슷할수록 0에 가까워지고, 둘의 차이가 클수록 발산한다. 는 아래로 볼록한 모형의 그래프를 형성할 것이다. 보통 regression에서 주로 사용된다. BCE(Binary Cross Entropy) Binary Classification을 할 때 사용하는 Loss Function이다. y = 0이면, 앞에 항이 0..

최근 핫한 chatgpt, Bert의 모든 것은 이 transformer에서부터 시작된 것이다. gpt계열을 transformer의 decoder부분을 Bert부분은 encoder부분만 사용하여 적합한 task를 해결하는데 사용한다. 보통 gpt계열은 decoder의 특성으로 generative model로 사용되고 bert는 보통 summarization이나 classification model로 활용된다. 이 transformer는 nlp분야에서 한 차원의 변화를 준 모델로 그 전에 있었던 RNN기반의 모델들의 단점을 보완하였다. https://arxiv.org/pdf/1706.03762.pdf Transformer : Attention is all you need Abstract 여기서 The do..

학창시절에 배운 미분을 통해 이 딥러닝에서는 어떻게 적용되어 학습되는지 확인해보자. 학창시절에는 실수를 활용해서 함수를 통해 미분을 하여 y'=0일때의 x의 값을 구하는 문제를 많이 접해봤다. 이 Deep Learing에서는 어떤 차이점이 있는지 확인해보자. 또한 미분계수가 주는 의미가 무엇인지 알아보자. Gradient - Based Learning 학창시절 때 부터 배워온 미분을 통해 학습을 한다는 말로 x 값을 계속해서 dy/dx를 통해 업뎃하면서 최솟값을 찾는 학습기법을 말한다. 딥러닝에서 미분계수의 의미는 + : (-) 방향으로 가야 최솟값을 찾을 수 있다. - : (+) 방향으로 가야 최솟값을 찾을 수 있다. 의 의미를 갖고 있다. 즉 " -dy/dx : x값이 움직여야하는 방향이다!" 라고 ..

종종 긴 횡단보도나 교차로를 신호등 시간 내에 이동하지 못하시거나, 이동하시는데 위험한 상황을 격으시는 교통약자분들을 본 적이 있었다. 이런 경험을 없애고 교통약자분들도 안전한 야외활동을 할 수 있도록 도와주자는 생각으로 이번 프로젝트를 진행하였다. 처음 시작할 때의 목표는 대표적인 교통약자분들을 모두 인식하여 도움을 주자는 생각을 하였지만, 부족한 데이터로 인해 낮은 정확도를 보일 바에는 우선 많은 데이터를 가져올 수 있는 label만 가지고 모델을 구성해보자는 목표를 변경하여 진행했다. 프로젝트 목표 휠체어와 목발 이용자들이 횡단보도를 이동하면 카메라가 인식하여, 신호등 시간을 추가시키도록 도와주자. 프로젝트 계획 1. 휠체어와 목발 데이터를 google에서 크롤링한다. 2. 이미지 데이터에 인식할 ..

정도율과 재현율 그리고 f score을 우선 알아야 추후에 classification이나 computer vision을 모델링하여 결과를 평가할때, 필수적으로 알아야하는 부분이다. computer vision에서는 IOU가 사용한다. 그렇기에 yolo 프로젝트 모델링 파트를 블로그에 올리기 전에 평가지표들을 모두 정리하는 과정을 갖도록 해봤다. 오차행렬(Confusion Matrix) Binary Classification 평가 결과를 나타낼 때 가장 널리 사용하는 방법이다. multi Classification또한 평가지표들에 정도율 재현율 f score들을 사용한다. 정확도(accuracy) 모든 분석 결과에서 양성을 양성으로 판별하고 음성을 음성으로 판별한 값들의 비율을 말한다. Accuracy =..

한국어로 흔히 객체 인식으로 불리는 object detection은 다양한 모델로 구현이 가능하다. 이 다양한 모델의 장단점과 차이점을 구분하는 공부과정을 가져보았다. Object Detection Computer vision의 다양한 분야중 하나로, 주어진 이미지에서 사용자가 원하는 객체를 인식하고 찾아내는 기술이다. -Classification은 이미지내에 있는 객체를 분류하고 판별만 하는 것이고 Object Detection은 판별하는 동시에 객체가 어디에 위치해있는 지까지 탐지하는 것이다. 다시말해, Object Detection은 어떤 객체인지 분류(Classification)하고 그 객체가 어디에 있는지 좌표를 통해 찾아내는(Localization)의 이슈를 해결해야하는 기술이다. Object..