어떤 task에 대해 labeling이 되어있지 않는(ground-truth가 없는) 데이터셋을 segmentation해야 할 일이 있었습니다. 이 때, 어떻게 segmentation해야 할지 애매한 부분이 있었습니다. 데이터셋은 충분히 존재하고 정작 labeling이 하나도 되어 있지 않아서 이것을 일일이 labeling하기에는 시간, 노동이 너무 비효율적이라고 판단하였습니다. SAM(Segment Anything Model)이 zero-shot task로서 이 부분에서 강점이 있다고 판단하여 해당 데이터셋에 labeling을 해주는 것을 SAM에게 할당하였습니다. 아래 설명드리겠지만 pseudo labeling과 같은 방식으로 처리했습니다. labeling이 되지 않은 데이터셋들을 SAM이 infer..

개략적으로 Segment Anything에 관한 자료를 만들어보았습니다. PPT 내용은 바로 아래 있습니다. 논문 리뷰 글과 같이 보면 좋을 것 같습니다. demo 사용법은 여기에 있습니다. Segment Anything from fake can 다운로드가 필요하시면 아래 링크에서 다운로드하시면 됩니다. link: https://www.slideshare.net/ssusered2a90/segment-anything

본 논문은 4월 5일 Meta AI에서 발표되었습니다. 이름 그대로 어떤 것이든 segment를 해냅니다.(zero-shot) paper link는 각각 arxiv와 segment anything 블로그에 1개씩 있는데 내용은 동일한 것 같습니다. 온라인에서 demo를 사용하실 분은 여기를 참고하시고 PPT로 따로 만든 자료는 여기를 참고 바랍니다. 논문 들어가기에 앞서 prompt(프롬프트)라는 용어를 알아야 합니다. prompt : 사용자의 입력을 받는 것 정도로 해석하면 될 것 같습니다. 우리가 명령 프롬프트 창에서 직접 명령어를 주는 것처럼 말입니다. Abstract 약 1100만 여개의 이미지에서 약 10억 개 이상의 마스크를 사용했습니다. 해당 이미지와 마스크는 (여기)에 공개되어 있습니다. ..

TQA(Table Question Answering) 모델이 필요해서 찾다가 hugging face에서 글을 참고하였습니다.(원문) TAPAS Overview TAPAS 모델은 Jonathan Herzig, Pawew Krzyszof Nowak, Thomas Müller, Francesco Piccinno, Julian Martin Eisenschlos에 의해 사전 훈련을 통한 약하게 지도된 테이블 파싱에서 제안되었다. 표 형식 데이터에 대한 질문에 답하기 위해 특별히 설계된(사전 훈련된) BERT 기반 모델이다. BERT와 비교하여 TAPAS는 상대적인 위치 임베딩을 사용하며 테이블 구조를 인코딩하는 7개의 토큰 유형을 가지고 있다. TAPAS는 영어 위키백과의 수백만 개의 테이블과 해당 텍스트로 구성..

최근 Meta AI에서 Segmentation 분야에 쓸 만한 재미있는 모델을 내놓았습니다. 거의 반자동 이상으로 segmentation하겠다고 해서 논문 제목도 Segment Anything이고 model은 보통 SAM(Segment Anything Model)으로 언급합니다. 이 모델에 학습된 데이터셋이 1100만 여개의 이미지와 11억 여개의 마스크라고 합니다. 모델은 3가지로 vit-h, vit-l, vit-b가 있으며 default로는 vit-h를 언급하고 있습니다. segment 방식은 간단하게는 prompt 방식 혹은 automatic한 방법 2가지를 안내하고 있습니다. automatic 방식의 code는 여기, prompt 방식의 code는 여기에 있습니다. 아래는 간단한 shorts입니다..

Segmentation이나 Object Detection에서 종종 사용되는 평가 지표인 IoU(Intersection over Union)와 Dice Coefficient를 알아보겠습니다. IoU와 Dice Coefficient는 0~1 사이의 값을 가지며 실제 영역(Ground truth)과 예측 영역(Prediction)에 대한 수식으로 이뤄지며 느낌은 비슷한 듯하면서도 식은 서로 다릅니다. 위 그림에서 IoU의 분모는 Dice Coef.의 분모처럼 생기는 경우도 있는데 합집합이라는 것을 명확히 하고자 위와 같이 나타냈습니다. 이와 달리 Dice Coef.의 분모는 A와 B를 각각 더한 것입니다. 1. IoU 분모는 실제와 예측의 합집합, 분자는 실제와 예측의 교집합으로 이뤄집니다. 2. Dice C..