La moschea fu costruita su monastero del VI secolo dedicato a Sant’Ermete e secondo alcuni storici il nome “degli eremiti” sarebbe una corruzione di quel nome originale.