पुराणों में बताया गया है कि इस नदी के पत्थरों में शिवलिंग स्वयं प्राण प्रतिष्ठित रहते हैं यानि उनमें भगवान शिव का अंश माना जाता है. कहते हैं कि इसे नियमित रूप से स्नान कराने और पूजन से घर के सभी दोष दूर हो जाते हैं. इतना ही नहीं, इससे ग्रह बाधाएं भी दूर होती हैं.

पौराणिक कथा के अनुसार प्राचीनकाल में नर्मदा नदी ने बहुत सालों तक तपस्या करके भगवान ब्रह्मा जी  को प्रसन्न किया था. इसके बाद उन्होंने नर्मदा नदी को वर मांगने को कहा था. कहते हैं कि उस समय नर्मदा नदी ने ब्रह्मा जी से गंगा के समान होने का वर मांगा था. लेकिन ब्रह्मा जी ने उन्हें कहा कि, 'अगर कोई दूसरा देवता भगवान शिव की बराबरी कर ले, कोई दूसरा पुरुष भगवान विष्णु के समान हो जाए, कोई दूसरी नारी माता पार्वती की समानता कर ले को कोई दूसरी नदी भी गंगा के समान हो सकती है'.

ब्रह्मा जी की ये बात सुनकर नर्मदा नदी उनके वरदान का त्याग करके काशी चली गई. वहां पिलपिलार्थ में नर्मदा नदी ने शिवलिंग  की स्थापना की और तपस्या करने लगीं. उनकी तपस्या से प्रसन्न होकर भगवान शिव ने उन्हें वर मांगने को कहा. तब नर्मदा नहीं कहा कि बस, आपके चरणों में मेरी भक्ति बनी रही. नर्मदा की ये बात सुकर भगवान शिव प्रसन्न हो गए और कहा कि तुम्हारे तट पर जितने भी पत्थर है, वे सब मेरे वर से शिवलिंगरूप हो जाएंगे. आगे भगवान शिव ने कहा कि गंगा में स्नान करने पर शीघ्र पापों का नाश होता है. वहीं, यमुना में सात दिन और सरस्वती में तीन दिन में पापों का नाश हो जाता है. लेकिन तुम सिर्फ दर्शनमात्र से ही सम्पूर्ण पापों का नाश करने वाली होंगी. इतना ही नहीं, तुमने जिस नर्मेदेश्वर शिवलिंग की स्थापना की है, वे पुण्य और मोक्ष देने वाला होगा.

इतना सब कहने के बाद भगवान शिव उसी लिंग में लीन हो गए. और शिव जी ये वरदान पाकर नर्मदा भी प्रसन्न हो गईं. इसलिए कहा जाता है कि नर्मदा का हर कंकर शिव शंकर का रूप है.