วัดหนองแฟบได้ริเริ่มตั้งขึ้นในตอนแรก สร้าวงกุฏิหลังแรก ต่อมาผู้เฒ่าสูงอายุในหมุ่บ้านซึ่งเป็นที่เคารพนับถือของชาวบ้านเห็นว่า ที่พักสงฆ์ที่สร้างขึ้นไว้แต่เดิมมีเพียงหลังเดียว เนื้อที่ก็น้อย จะขยายก็ลำบาก จึงชักชวนชาวบ้านมครมีศรัทธาจะถวายที่ดินสร้างวัด ต่อมาได้มีการถวายที่ดินเพิ่มเติม เมื่อขยายแล้วได้สร้างกุฏิขึ้นใหม่กว้างขวางกว่าเดิม ต่อมาได้ดำเนินการทำเรื่องขออนุญาตตั่งเป็นวัด แล้วขออนุญาตจากสำนักสงฆ์เมื่อปี พ.ศ. 2507 เป็นวัดทักขิณาราม หรือวัดหนองแฟบ ซึ่งชาวบ้านเรียก การที่ได้ตั้งชื่อว่า วัดหนองแฟบ เพราะว่าบริเวณที่วัดมีเขตติดต่อกับหนองน้ำใหญ่ ในหนองน้ำมีต้นแฟบขึ้นเป็นจำนวนมาก ชาวบ้านจึงเรียกว่า หนองแฟบ และเป็นชื่อของหมู่บ้านด้วย ไม้แฟบเป็นไม้ชนิดหนึ่งที่ชอบขึ้นในที่ราบลุ่มหนองน้ำใหญ่ ต้นแฟบนี้มีลำต้นสูงไม่เกิน 5 เมตร มีลำต้นกลม ชาวบ้านชอบเอาไปทำเป็นขอบกระด้ง ตะแกรง ในสมัยนี้ไม่ประเภทนี้ใกล้จะสูญพันธ์หมดแล้ว วัดหนองแฟบได้รับอนุญาตสร้างวัดเมื่อวันที่ 9 เดือนกุมภาพันธ์ พ.ศ. 2507 กระทรวงศึกษาธิการประกาศตั้งเป็นวัดเมื่อวันที่ 19 เดือนมีนาคม พ.ศ. 2507 ได้รับพระราชทานวิสุงคามสีมาเมื่อวันที่ 10 เดือนมีนาคม พ.ศ. 2515