โบราณสถาน "ถ้ำเป็ดทอง" เป็นถ้ำหินรูปร่างคล้ายเรือโป๊ะ หรือเรือกลไฟ ๒ ลำเรียงกัน ซึ่งอยู่ในเ-ตพื้นที่บ้านโคกเขาพัฒนา หมู่ที่ ๑๐ และบ้านเขาย้อยพัฒนา หมู่ ๑๖ อยู่ห่างจากหมู่บ้านประมาI ๕ กิโลเมตร ทางทิศตะวันตกเฉียงใต้ ติดกับริมห้วยลำมาศ

โบราณสถาน "ถ้ำเป็ดทอง" มีตำนานหลักฐานตามประวัติเดิมกล่าวไว้ว่า ถ้ำเป็ทอง อยู่ในเทือกเขาเตี้ยๆ เขตอำเภอลำปลายมาศ และอำเภอนางรอง ติดต่อกัน ระหว่างเทือกเขาในเขตลำปลายมาศ มีรอยหักน้ำไหลผ่านได้ บริเวณถ้ำมีรอยน้ำเซาะ เป็นซอกหินขาดเป็นตอนๆ รูปคล้ายเรือโป๊ะ เรือกลไฟ ตามผนังถ้ำมีรอยขุดหินลึกประมาณ ๕ มม. ให้ผนังเรียบเป็นหน้าสมุด เพื่อจารึกตัวอักษร มีการจารึกอักษรไว้ ๓ แห่ง อยู่ข้างหน้าถ้ำริน้ำตะวันออก ๒ แห่ง อยู่ข้างหลังด้านตะวันตกเฉียงใต้ ๑ แห่ง ตัวอักษาเหล่านั้น ชำรุดและลบเลือนมาก ไม่สามารถอ่านได้ทั้งหมด และเข้าใจว่าเป็นการประกาศเกียรติคุณของพระเจ้ามเหนทรวรมัน

มีผู้เล่าต่อกันมาว่า ภายในถ้ำเป็ดทองนี้ แต่เดิมมีเสาหินค้ำเพดานถ้ำอยู่ แต่ปัจจุบันนี้ เสานั้นไม่มีแล้ว คงมีแต่หลุมเปล่า (กำหนดอายุตามรูปแบบของตัวอักษรปัลลวะ ของอินเดียใต้ เป็นภาษาสันสฤต อายุราวพุทธศตวรรษที่ ๑๒ พ.ศ.๑๑๐๐)