यूरोपीय नाविक, जिनके लिए यह मंदिर एक महत्वपूर्ण मील का पत्थर था, उड़ीसा तट के खतरनाक छिछले स्थानों से दूर रहने में सक्षम होने के कारण इसे ब्लैक पैगोडा कहते थे, ताकि इसे तट के नीचे स्थित पुरी के सफेद धोये हुए जगगनाथ मंदिर के व्हाइट पैगोडा से अलग पहचाना जा सके।
मंदिर को डायमंड पैगोडा कहा जाता था क्योंकि यह हीरे के आकार का था।