การค้นหาประวัติวัดละหารไร่นับว่ายากลำบากพอสมควร เพราะมีประวัตติความเป็นมานับร้อยปี จึงอาศัยจากการบอกเล่าของผู้เฒ่าผู้แก่เล่าสืบกันมาและหลักฐานบางประการท่พอจะสันนิษฐานได้ว่าก่อตั้งขึ้นเมื่อประมาณ พ.ศ. 2354 หรือ 200 กว่าปีมาแล้ว โดยหลวงพ่อสังข๋เฒ่า รองเจ้าอาวาสวัดละหารใหญ่เห็นว่าทางฝั่งคลองด้านตรงข้ามด้านเหนือของวัดละหารใหญ่ มีทำเลเหมาะแก่การเพาะปลูกพืช ผัก จึงได้หักร้างกางพงใช้เป็นท่ปลูกพืชผักไว้ฉันในฤดูแล้งและได้สร้างท่พักร่มเงาไว้ เมื่อถึงเวลาเข้าพรรษากำกลับไปจำพรรษาท่วัดละหารใหญ่ ต่อมามีผู้คนไปทำไร่แถบใกล้ ๆ มากขึ้น เห็นว่า มีพระสงฆ์อยู่ก็จัดทำภัตตาหารไปถวายเป็นประจำ ต่อมามีพระภิกษุไปอยู่เพิ่มมากขึ้นจึงได้ก่อสร้างกุฎีสงฆ์ขึ้น ชาวบ้านแถบนั้นเรียกท่พักสงฆ์นี้ว่า "วัดไร่วารี" มาเปลี่ยนเป็นชื่อวัดละหารไร่ เมือหลวงพ่อสังข์เฒ่าเป็นเจ้าอาวาส รูปแรก ภายหลังวัดละหารไร่มีพระภิกษุแก่อาสฃวุโสขึ้น หลวงพ่อสังข์เฒ่าจึงมอบให้เปกครองกันเอง ส่วนตัวท่านยกลับไปเป็นเจ้าอาวาสวัดละหารใหญ่ มอบให้หลวงพ่อแดงเป็นเจ้าอาวาสแทนหลังจากนั้นได้มีเจ้าอาวาสอีกหลายรูปท่ปกครองวัดละหารไร่ จนถึง หลวงพ่อแจ๋มภายหลังหลวงพ่อแจ๋มลาสิกขาบก ทำให้วัดละหารไร่ขาดพระภิกษุจำพรรษาเป็นเวลา ๓ เดือน ในขณะนั้นหลวงปู่ทิม อิสริโก (งามศรี) ได้เดินทางกลับจากจังหวัดชบลุรี ชาวบ้านจึงพร้อมใจกันนิมนต์หลวงปู่ทิม อิสริโก ขึ้นเป็นเจ้าอาวาส เมื่อ พ.ศ. 2450 วัดละหารไร่ได้รับพระราชทานวิสุงคามสีมาเมื่อ พ.ศ. 2517 ปัจจุบันมีพระครูวิจิตธรรมาภิรัต (หลวงพ่อเชย) เจ้าคณะตำบลหนองละลอก เป็นเจ้าอาวาส