यूरोपीय नाविक, जिनके लिए यह मंदिर एक महत्वपूर्ण मील का पत्थर था, उड़ीसा तट के खतरनाक छिछले स्थानों से दूर रहने में सक्षम होने के कारण इसे ब्लैक पैगोडा कहते थे, ताकि इसे तट के नीचे स्थित पुरी के सफेद धोये हुए जगगनाथ मंदिर के व्हाइट पैगोडा से अलग पहचाना जा सके।
काला होने के कारण इस मंदिर को ब्लैक पैगोडा कहा जाता था।