ถ้ำแกลบ เป็นชื่อถ้ำเล็ก ๆ แห่งหนึ่งตั้งอยู่ในบริเวณวัดที่เชิงเขาหลวงทางด้านทิศใต้ ถ้ำนี้อยู่เสมอพื้นดิน อยู่บริเวณเดียวกับวัดถ้ำแกลบ วันนี้ได้มีการเปลี่ยนชื่อเมือประมาณ 60 ปีเศษมาแล้ว เป็น วัดบุญทวี ถ้ำแกลบมาดูจากภายนอกทั่วไปลักษณะของถ้ำดูคล้ายเป็นหลืบอยู่ในซอกหินที่ประกอบด้วยคูหาเล็ก ๆ แทรกอยู่ ต่อมามี ผู้ปฏิบัติธรรมได้ดัดแปลงคูหาเหล่านั้นเป็นห้อง ๆ มีประตูเปิดปิดได้ บางคูหาที่ตื้น ๆ ก็สร้างพระพุทธรูปบรรจุไว้ ส่วนบนของถ้ำที่เป็นซอกเขาสูงขึ้นไปถูเทคอนกรีตเป็นคานทำพื้นแทนหลังคาก็มี นอกจากนั้นก็มีการตกแต่งด้วยอิฐปูนทำเป็นทางเดินและห้องหับต่าง ๆ ทำให้ถ้ำแกลบเปลี่ยนสภาพจากเดิมเกือบหมด สภาพของถ้ำที่เป็นธรรมชาติหายไปอย่างน่าเสียดาย ตำนานถ้ำแกลบที่เล่าเป็นนิยายปรัมปราสืบต่อกันมาว่า มีผู้พบเห็นว่าในตอนเช้าจะมีกองแกลบคล้ายมีผู้นำมากองไว้ พอปัดกวาดไป พอรุ่งเช้าขึ้นมาไปดูใหม่ก็จะมีแกลบมากองไว้ใหม่ให้เห็นอีกเช่นเดิม ทำให้ผู้คนพากันเชื่อว่าถ้ำแกลบนี้น่าจะเป็นทางออกทางหนึ่งของคนที่อยู่ลึกเข้าไปภายใน เมื่อสีข้าวเปลือกแยกแกลบออกมาแล้วจึงนำมากองไว้หน้าถ้ำนี้เป็นประจำ ถ้ำนี้จึงได้ชื่อว่า ถ้ำแกลบ เชื่อกันว่าลึกเข้าไปภายในถ้ำต้องมีผู้คนอาศัยอยู่ คนเหล่านั้นคงไม่ธรรมดาต้องมีลักษณะพิเศษคนภายนอกมิอาจพบเห็นตัวตนได้โดยง่าย และภายในหุบเขานี้ต้องมีชุมชนที่เร้นลับ หรือลี้ลับ กล่าวกันว่ามีแต่ผู้หญิงล้วน หรือ เป็นเมืองแม่หม้าย หรือเมืองลับแล ดังมีเรื่องเล่าไว้ดังนี้ มีผู้ชายคนหนึ่งซึ่งปีนขึ้นไปทำภารกิจบนต้นตาล เขาเห็นคนกลุ่มหนึ่งหาบของออกจากถ้ำ เมื่อเดินออกไปสักครู่ก็เอาสิ่งของอย่างหนึ่งซ่อนไว้ใกล้ ๆ บริเวณปากถ้ำนั้น แล้วก็พากันหายตัวไป วันต่อมาเขาแอบอยู่ในพุ่มไม้ พบคนกลุ่มนั้นออกมาจากถ้ำอีก และปฏิบัติเหมือนเช่นเดิม จึงเดินไปดูเขาพบเพียงใบไม้จึงหยิบขึ้นมาใบหนึ่งแล้วโยนทิ้งไปใต้ต้นตาล เขานั่งเฝ้าดูอยู่จนคนเหล่านั้นกลับมา พวกเขามองหาของแถวนั้นแล้วก็หายตัวไป คงเหลือแต่หญิงสาวคนหนึ่งร้องไห้ เมื่อเข้าไปถามจึงรู้ว่านางหาใบไม้ที่ซ่อนไว้ไม่เจอ เขาจึงเดินไปหยิบใบไม้แล้วส่งให้ นางดีใจมากและบอกว่านางเป็นใคร ถ้าไม่มีใบไม้นี้นางก็กลับบ้านไม่ได้ ชายคนนั้นจึงขอไปเมืองลับแลด้วย หลักจากนั้นทั้งสองได้อยู่กินเป็นสามีภรรยาแล้ว และใช้ชีวิตร่วมกันจนกระทั่งมีลูกด้วยกัน ๑ คน วันหนึ่งในขณะที่ภรรยาไม่อยู่บ้านปล่อยให้สามีดูแลลูก ลูกเกิดร้องไห้หาแม่ เขาไม่รู้จะปลอบลูกอย่างไรให้หยุดร้องไห้ได้ จึงหลอกลูกว่าแม่กลับมาแล้ว พอดีแม่ยายได้ยิน จึงได้บอกกับลูกสาวว่า สามีของนางกล่าวคำเท็จ ซึ่งถือว่าเป็นข้อเสียหายร้ายแรงทีเดียวเพราะพูดจาไม่มีสัจจะซึ่งชาวลับแลจะไม่ประพฤติกัน เขาจึงต้องออกจากเมืองลับแลในที่สุด ก่อนสามีจะออกจากบ้าน นางก็ห่อขมิ้นและมอบให้ผู้เป็นสามีหนึ่งห่อใหญ่ ในขณะที่เขาถือห่อขมิ้นเดินมาเรื่อยๆ เขารู้สึกว่าห่อขมิ้นนั้นหนักขึ้นเรื่อยๆ จึงหยิบขมิ้นทิ้งจนเหลือกลับบ้านเพียงแง่งเดียว เมื่อกลับมาถึงบ้านแง่งขมิ้นก็กลายเป็นทองคำบริสุทธิ์ รู้สึกเสียดายแต่ทำอย่างไรได้มันสายเสียแล้ว