วัดศิลามูลเดิมตั้งอยู่ปากคลองท่อฝั่งขวาริมแม่น้ำท่าจีน (บริเวณหมู่ที่ 6 ตำบลหินมูล) ตั้งเป็นสำนักสงฆ์ โดยมีหลวงพ่อพรหมเป็นผู้ก่อตั้งและผู้ดูแล มีพระสงฆ์จำพรรษาอยู่ไม่กี่รูปประมาณ พ.ศ. 2401 พระอาจารย์ฟักได้ดูแลและได้ย้ายวัดมาอยู่ในที่ปัจจุบัน ตั้งชื่อว่า วัดหินมูล ต่อมาหลวงปู่คล้ายเปลี่ยนชื่อเป็น วัดศิลามูล มีเนื้อที่วัด 45 ไร่