GEOMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained Language Models

• Geo-diverse Commonsense Multilingual Language Models Analys(GEOMLAMA) 데이터셋 소개
  • 다양한 나라 사람들의 다양한 언어로 구성된 3125개의 프롬프트
  • concept: American, Chinese, Indian, Iranian, Kenyan culture

Introduction

• 나라, 문화별로 common sense가 다름
• geo-diverse commonsense: 특정 지역별 사람들이 공유하는 commonsense의 collection
• 지리적으로 다양한 지식을 인식하지 못하는 PLM은 서로 다른 지역과 관련된 테스트 데이터의 성능에 차이가 있을 수 있음. 이는 곧 특정 지역 사람들에게 disadvantage를 제공
• multilingual PLMs를 평가
  • geo-specific knowledge를 가장 잘 표현하는 것은 해당 native 지역의 언어라고 가정하였으나 이는 사실이 아님(예: 미국)
  • 다중언어로 훈련된 PLM이 단일 언어로 훈련된 PLM보다 지식이 다양함

GEOMLAMA Benchmark Construction

• 5개국 annotator 모집
• geo diverse concept 리스트화
• masked geo diverse prompt 제작
  • 예시: The color of wedding dress is usually [MASK].
• masked propmt의 정답 제작
• 영어로 번역
• 제작한 데이터셋을 바탕으로 Multilingual PLM의 잠재적 geographic bias 정도 평가

GEOMLAMA의 특징

• 국가별 다양한 답변