어떤 task에 대해 labeling이 되어있지 않는(ground-truth가 없는) 데이터셋을 segmentation해야 할 일이 있었습니다. 이 때, 어떻게 segmentation해야 할지 애매한 부분이 있었습니다. 데이터셋은 충분히 존재하고 정작 labeling이 하나도 되어 있지 않아서 이것을 일일이 labeling하기에는 시간, 노동이 너무 비효율적이라고 판단하였습니다. SAM(Segment Anything Model)이 zero-shot task로서 이 부분에서 강점이 있다고 판단하여 해당 데이터셋에 labeling을 해주는 것을 SAM에게 할당하였습니다. 아래 설명드리겠지만 pseudo labeling과 같은 방식으로 처리했습니다. labeling이 되지 않은 데이터셋들을 SAM이 infer..

개략적으로 Segment Anything에 관한 자료를 만들어보았습니다. PPT 내용은 바로 아래 있습니다. 논문 리뷰 글과 같이 보면 좋을 것 같습니다. demo 사용법은 여기에 있습니다. Segment Anything from fake can 다운로드가 필요하시면 아래 링크에서 다운로드하시면 됩니다. link: https://www.slideshare.net/ssusered2a90/segment-anything

본 논문은 4월 5일 Meta AI에서 발표되었습니다. 이름 그대로 어떤 것이든 segment를 해냅니다.(zero-shot) paper link는 각각 arxiv와 segment anything 블로그에 1개씩 있는데 내용은 동일한 것 같습니다. 온라인에서 demo를 사용하실 분은 여기를 참고하시고 PPT로 따로 만든 자료는 여기를 참고 바랍니다. 논문 들어가기에 앞서 prompt(프롬프트)라는 용어를 알아야 합니다. prompt : 사용자의 입력을 받는 것 정도로 해석하면 될 것 같습니다. 우리가 명령 프롬프트 창에서 직접 명령어를 주는 것처럼 말입니다. Abstract 약 1100만 여개의 이미지에서 약 10억 개 이상의 마스크를 사용했습니다. 해당 이미지와 마스크는 (여기)에 공개되어 있습니다. ..

최근 Meta AI에서 Segmentation 분야에 쓸 만한 재미있는 모델을 내놓았습니다. 거의 반자동 이상으로 segmentation하겠다고 해서 논문 제목도 Segment Anything이고 model은 보통 SAM(Segment Anything Model)으로 언급합니다. 이 모델에 학습된 데이터셋이 1100만 여개의 이미지와 11억 여개의 마스크라고 합니다. 모델은 3가지로 vit-h, vit-l, vit-b가 있으며 default로는 vit-h를 언급하고 있습니다. segment 방식은 간단하게는 prompt 방식 혹은 automatic한 방법 2가지를 안내하고 있습니다. automatic 방식의 code는 여기, prompt 방식의 code는 여기에 있습니다. 아래는 간단한 shorts입니다..

Segmentation이나 Object Detection에서 종종 사용되는 평가 지표인 IoU(Intersection over Union)와 Dice Coefficient를 알아보겠습니다. IoU와 Dice Coefficient는 0~1 사이의 값을 가지며 실제 영역(Ground truth)과 예측 영역(Prediction)에 대한 수식으로 이뤄지며 느낌은 비슷한 듯하면서도 식은 서로 다릅니다. 위 그림에서 IoU의 분모는 Dice Coef.의 분모처럼 생기는 경우도 있는데 합집합이라는 것을 명확히 하고자 위와 같이 나타냈습니다. 이와 달리 Dice Coef.의 분모는 A와 B를 각각 더한 것입니다. 1. IoU 분모는 실제와 예측의 합집합, 분자는 실제와 예측의 교집합으로 이뤄집니다. 2. Dice C..

CVPR 2022에 발표된 논문입니다. 저자는 Jiaotong University 쪽 4명과 Lanzhou University of Technology 1명으로 구성되어 있습니다. 이 논문의 주된 이야기는 CAM(Class Activation Mapping)을 이용하여 WSSS(Weakly Supervised Semantic Segmentation)을 medical image에서 어떻게 다룰 것인지(pseudo mask labeling을 생성해내는)에 대한 설명입니다. 약 10페이지 짜리인데도 이걸 읽는 것만으로는 정말 이해하기가 힘드네요.. Abstract 최근 CAM(Class Activation Mapping)을 기반으로 WSSS(Weakly Supervised Semantic Segmentatio..