사설 토토란 무엇입니까
사설 토토란 무엇입니까? Meta가 2024년 7월 29일에 발표한 "Segment Anything Model 2(사설 토토)"라는 AI 모델입니다 이름에서 알 수 있듯이 이미지를 입력하면 이미지 속 개체의 "무엇이든 분할"할 수 있습니다이미지와 함께 상자나 점과 같은 입력 프롬프트를 입력하면 지정된 위치에 개체 마스크를 생성할 수 있습니다또한 이미지의 모든 개체를 자동으로 분할할 수 있습니다이 모델에는 1,100만 개의 이미지와 11억 개의 마스크가 있습니다데이터세트에서 훈련되었습니다 다양한 분할 작업에서 강력한 제로샷 성능을 발휘합니다
사설 토토에는 GitHub에서 모델 소스 코드와 웹 데모가 모두 제공됩니다
웹 데모를 사용하면 쉽게 개체를 잘라내고 비디오 데이터를 사용하여 효과를 추가할 수 있습니다GitHub를 사용하면 모델 프로그램과 매개변수를 직접 조작할 수 있으므로 자유롭게 사용자 정의할 수 있습니다
실제로 사설 토토를 실행해 보았습니다
이번에는 GitHub에서 샘플 코드를 실행해 보았습니다Jupyter 노트북용 샘플 코드는 저장소에 제공됩니다
자동 이미지 마스크 생성, 입력 프롬프트를 사용한 단일 이미지 마스크 생성, 비디오 마스크 생성의 세 가지 샘플 코드가 있습니다이번에는 입력 프롬프트를 사용하여 단일 이미지에 대한 마스크를 생성해 보았습니다샘플 코드는여기를 클릭하세요
두 개의 입력 프롬프트가 있습니다
박스
이미지의 직사각형 영역을 지정하고 직사각형 내의 객체에 대한 마스크를 생성하십시오
포인트
이미지에서 하나 이상의 점의 좌표를 지정하고 해당 좌표에 위치한 개체에 대한 마스크를 생성하십시오
입력 이미지 준비
사설 토토에 입력할 이미지를 준비합니다이번에는 다음 고양이 이미지를 사용하겠습니다
대상 마스크
이번에는 고양이와 쿠션 마스크를 생성하고 싶습니다
박스 프롬프트 실행 결과
고양이와 쿠션을 둘러쌀 상자를 설정하세요그런 다음 아래와 같이 마스크가 사설 토토에서 출력되었습니다고양이와 쿠션을 각각 덮을 수 있는 마스크가 성공적으로 출력되었습니다
포인트 프롬프트 실행 결과
고양이와 쿠션의 중심을 포인트로 지정하세요사설 토토에서 다음 결과를 얻었습니다고양이와 쿠션을 각각 덮을 수 있는 마스크가 성공적으로 출력되었습니다
비디오 마스크 생성을 위한 샘플 코드 요약
연속 프레임의 첫 번째 프레임에서 점과 상자를 유사하게 지정하면 후속 프레임에서 마스크된 객체를 추적하여 마스크를 생성할 수 있습니다이것은 모든 프레임에 대해 포인트와 상자를 지정할 필요가 없으므로 편리한 기능을 제공합니다
COCO 형식으로 변환
마스크는 이미지로 저장할 수 있습니다마스크 이미지를 객체 감지 표준인 COCO 형식으로 변환하려면 pycocotools를 사용하여 RLE 형식으로 변환하고 json 파일로 저장할 수 있습니다 pycocotools 마스크 디코딩 기능을 실행하여 변환할 수 있습니다
기타 출처
모델은 물론 실행 소스도 재교육할 수 있는 것 같습니다
재교육하고 다른 분야에서 사용할 수 있는 모델을 사용할 수 있습니다의료용으로 재교육된 오픈 소스 모델이 있었습니다
마지막으로
이번에는 Meta의 사설 토토를 사용해보았습니다마스크는 전이 학습 없이도 이미지에서 자동으로 자유롭게 얻어졌습니다또한 COCO 형식으로 변환할 수 있으므로 다른 탐지 AI를 위한 학습 데이터를 생성하는 데 사용할 수 있습니다또한 사설 토토의 사용 범위도 느꼈습니다 사용해 보시기 바랍니다
