วัดก้อนแก้วสร้างในราว พ.ศ. ๒๔๕๗ โดยการริเริ่มของท่านพระครูนันทศีลาจาร (หลวงพ่อเหลือ)ซึ่งในสมัยนั้นท่านดำรงตำแหน่งเป็นเจ้าคณะตำบลหัวสวนและเจ้าอาวาสวัดสาวชะโงก ต.บ้านหมู่ อ.บางคล้า จ.ฉะเชิงเทรา และยังเป็นเกจิอาจารย์ผู้มีชื่อเสียงในลุ่มแม่น้ำบางปะกง สภาพถูมิประเทศของตำบล กันดารต้องเดินเท้าประมาณ ๔ กิโลเมตร เพื่อลงเรือโดยสารที่วัดบางตลาด