1. Title of the Paper

DIFFUSIONGUARD: A ROBUST DEFENSE AGAINST MALICIOUS DIFFUSION-BASED IMAGE EDITING

2. Goal of the Paper

이 논문의 주요 목표는 diffusion-based 이미지 생성 모델이 악의적으로 사용되는 것을 방지하는 것입니다. 특히, 텍스트로 이미지를 편집하는 모델들이 잘못된 정보나 허위 이미지를 생성하는 것을 막기 위해, DiffusionGuard라는 강력한 방어 기법을 제안합니다.

3. Contribution

• DiffusionGuard는 텍스트 기반 편집을 방해하는 **적대적 잡음(adversarial noise)**를 생성합니다.
• 초기 diffusion 단계를 공격하여 중요 이미지 부분이 왜곡되도록 만듭니다.
• Mask Augmentation 기법을 도입하여 다양한 마스크 형태에 대한 방어력을 높입니다.
• InpaintGuardBench라는 새로운 벤치마크를 제안하여, 여러 실험을 통해 모델의 성능과 방어력의 강인함을 검증합니다.
• PhotoGuard와 같은 기존 기법 대비 더 높은 효율성 및 강력한 보호 기능을 보여줍니다.

4. Methodology

4.1 문제 설정 및 핵심 개념

DiffusionGuard는 inpainting 모델(특정 영역을 마스크로 지정한 후 채우는 이미지 편집 모델)을 방어합니다. 마스크가 적용된 부분만 편집이 가능하기 때문에, 단순히 전체 이미지에 적대적 잡음을 추가하는 기존 기법들은 효과적이지 않습니다.

4.2 Early Stage Perturbation: 초기 단계 공격

• Diffusion 모델은 이미지의 대략적인 윤곽을 먼저 생성한 뒤, 세부적인 특징은 나중에 생성합니다.
• 하지만 inpainting 모델은 초기 단계부터 얼굴이나 세부적인 특징을 복원합니다.
• 이를 활용해, **초기 노이즈 단계(T=1)**에서 강력한 **적대적 잡음 \(\delta\)**를 삽입하는 새로운 최적화 목적 함수를 제안합니다: