วัดเกาะลอย เดิมชื่อสำนักป่าสุทธาราม ชาวบ้านเรียก กุฏชี เริ่มสร้างเป็นที่พักสงฆ์ ตั้งแต่ปี 2499 ต่อมาได้ขออนุญาตสร้างวัด และได้เปลี่ยนชื่อใหม่ตามชื่อบ้านเกาะลอยเป็น " วัดเกาะลอย " ตามประกาศสำนักงานพระพุทธศาสนาแห่งชาติ ได้อนุญาตให้ตั้งวัด เมื่อวันที่ 1 พฤษภาคม 2550 มีเนื้อที่ตั้งวัด จำนวน 28 ไร่ 2 งาน

ประวัติวัดเกาะลอย (วัดป่าสุทธาราม) เริ่มก่อสร้างเป็น " สำนักป่าสุทธราม " ตั้งแต่ปี พ.ศ. 2499 โดยหลวงปู่ถวิล อยู่อินทร์ เจ้าอาวาสรูปแรก เป็นผู้บุกเบิก ก่อนที่ท่านจะมาสร้างสำนักสงฆ์แห่งนี้ท่านได้ฝันเห็นศาลาหลังใหญ่ที่สำนักป่าสุทธารามแห่งนี้ จึงได้นิมนต์หลวงตาแง็ด หลวงตาหนู ไปขอท่านผู้ใหญ่เมืองคนรวยตำบลนี้ ( ตำบลหัวสำโรง ) ท่านผู้ใหญ่ก็มีศรัทธายินดีถวายที่ดินให้ และรับอุปการะพอสมควร แล้วจึงได้ปลูกสิ่งก่อสร้าง โรงเล็ก และได้ก่อสร้าง อาคาร กุฏิ ศาลาการเอนกประสงค์ เพิ่มเติมมาเรื่อยมาจนเป็นอาคารถาวรมั่นคง

สมัยที่หลวงปู่ถวิล ยังมีชีวิตอยู่นั้น ท่านมีเมตตา สงสารลูกผู้หญิงมาก จึงได้มีผู้หญิงทั้งหลายเข้ามาบวชเป็นแม่ชีกันหลายคน ชาวบ้านเลยพากันเรียก " วัดกุฏชี " กันจนติดปากมาจนถึงทุกวันนี้ แต่เดิมที่ดินมีเพียง 6 ไร่ หลังจากที่หลวงปู่ถวิลได้มรณภาพไปแล้ว พระเที่ยง ปวโร ซึ่งมีศักด์เป็นหลานก็ได้เป้นเจ้าอาวาสวัดแทน และได้มีโยมถวายที่ดินเพิ่มขึ้นเรื่อยๆ จนถึงปัจจุบันมีที่ดิน จำนวน 48 ไร่ ภายในบริเวณวัดจะปกคลุมไปด้วยพรรรไม้ป่าต้นสูงใหญ่ สงบ ร่มเย็น เป็นวัดสายปฏิบัติธรรม ปัจจุบันมีพระภิกษุ จำนวน 4 รูป แม่ชี จำนวน 1 คน พระอธิการเที่ยง ปวโร เป็นเจ้าอาวาสวัด