ঠাকুর সম্মতি দিলে ১৯৪৯ বঙ্গাব্দ (ইং ১৯৪৩)-এর আষাঢ় মাসে গুরু পূর্ণিমার দিন অধুনা বাংলাদেশের ডিঙ্গামানিকে একটি আশ্রম স্থাপিত হয়, যে গৃহে ঠাকুর জন্মগ্রহণ করেছিলেন তার পূব দিকে। প্রথমে গড়া হয় টালির ছাদবিছানো এক ঘরের একটি আশ্রম। পরে ভক্তেরা সক্রিয় ভূমিকা নিয়ে নির্মাণ করেন, উঁচু, সুন্দর একটা মন্দির আর সেই সঙ্গে আরো কয়েকটা বাড়ি। এই মন্দিরের পশ্চিমদিকে নতুন একটা বাড়ি নির্মাণ করে, তার একটা ঘরে ঠাকুরের যমজ ভাই শ্রীশ্রীলক্ষণের আলোকচিত্র রেখে তার পূজার ব্যবস্থা করা হয়। শ্রীশ্রীলক্ষণ ঠাকুরও ছিলেন অত্যন্ত শক্তিশালী এক আধ্যাত্মিক ও মরমী সাধক। আটান্ন বছর বয়সে তিনি পরলোকগমন করেন।
এই মন্দিরের উত্তর দিকে অবস্থিত বিশাল একটা পুকুরের পশ্চিম পাড়ে অত্যন্ত পুরানো একটা দোতলা বাড়ি। এই বাড়ির ছাদের ওপরের একটা ঘরে লক্ষ্মী আর নারায়ণের বিগ্রহ পূজো করা হোত। তাঁর প্রথম জীবনে শ্রীশ্রীঠাকুর এই ঘরের মধ্যেই ধ্যানমগ্ন হয়ে থাকতেন। বাড়িটার চৌহদ্দির বাইরে উত্তর দিকে অতি বিশাল এক অশোক গাছের আড়ালে আছে একটা ছোট ঢিপির মতো উঁচু জায়গা; এখানে বসেই ধ্যানে অতিপ্রাকৃত শক্তি লাভ করেছিলেন শ্রীশ্রীঠাকুরের পিতৃদেব। ঠাকুরের পিতার মৃত্যুর পর প্রতিবছর ঠিক ঐ জায়গাতেই দেবী কালিকা'র পূজা করা হোত। আজও এই মন্দিরের উদ্বোধন বার্ষিকীতে সেই ঐতিহ্য মেনে অনুষ্ঠান হয় ।
অন্যান্য ধর্মাবলম্বীরাও এই মন্দিরের প্রতি গভীরভাবে শ্রদ্ধাশীল। তাঁরা এখানে প্রসাদও গ্রহণ করেন। চেরাগ আলি নামে একজন মুসলিম ভক্ত ছিলেন ঠাকুরের একনিষ্ঠ ভক্তদের মধ্যে অন্যতম। সেই গ্রামে তিনি তাঁর নিজের বাড়িতে একটা ঘরে ঠাকুরের পট বসিয়ে নিত্য পূজা করেছিলেন। তাঁর ছেলে ও ছোট ভাইও শ্রীশ্রীঠাকুরের পরম ভক্ত ছিলেন। আজও তাঁর পরিবারবর্গ ঘরটি রক্ষা করে চলেছেন।
