วัดนันทาราม เดิมมีชื่อเรียกว่า "วัดใหม่ขี้ลม" เพราะตั้งอยู่ในกลางทุ่งนา ทำเลโพ้เพ้ มีลมจัด พระอธิการปาน อานันโท เป็นเจ้าอาวาส แต่ชรามาก ญาติพี่น้องจึงติดต่อ หลวงพ่อแต่ง ซึ่งขณะนั้นเป็น เจ้าอาวาสวัดสองพี่น้อง ตำบลคลอง อำเภอพนม จังหวัดสุราษฎร์ธานี ให้ไปช่วยภาระการปกครองวัด ท่านรับรองและไปอยู่จำพรรษาตามที่ญาติวิงวอน
เมื่อพระอธิการปาน อานันโทมรณภาพ ท่านก็ได้รับการแต่งตั้งเป็นเจ้าอาวาสสืบแทน หลวงพ่อแต่งจึงได้ยืนหนังสือถึงเจ้าคณะจังหวัด พระเทพรัตนกวี เพื่อเสนอขอเปลี่ยนชื่อวัด โดยใช้ฉายาของท่านเป็นเครื่องพิจารณาวัดนี้จึงได้รับการเปลี่ยนชื่อจาก วัดใหม่ขี้ลม มาเป็น วัดนันทาราม ตั้งแต่บัดนั้นเป็นต้นไป
ในระยะแรกที่ท่านเป็นเจ้าอาวาส สภาพของวัดยังเป็นป่าอยู่มาก ท่านได้เร่งรัดพัฒนาถึงสามทาง คือการศึกษาพระธรรมวินัยของพระเณร การวางแผนผังและปรับปรุงสภาพวัด การศึกษาประชาบาลของเยาวชนในท้องถิ่น แม้ท่านเองก็ศึกษาปริยัติธรรมควบคู่กันไปด้วย จนสามารถสอบไล่ได้นักธรรมชั้นโท ส่วนลูกศิษย์ที่ท่านสอนก็ปรากฏว่าสอบได้มากที่เดียว