ในพื้นที่อำเภอเขาฉกรรจ์ ได้ปรากฏหลักฐานอารยธรรมโบราณสถานสมัยประวัติศาสตร์ตอนต้นที่พบ ได้แก่ ปราสาทเขาสามสิบ ซึ่งตั้งอยู่บนเพิงผาบนยอดเขาสามสิบ ตำบลเขาสามสิบ สำหรับเส้นทางเข้าสู่แหล่งโบราณสถาน สามารถเดินทางโดยทางรถยนต์ตามเส้นทางที่เริ่มจากสามแยกถนนสายสระแก้ว-จันทบุรี (ทางหลวงหมายเลข ๓๑๗) เป็นระยะทาง ๑๕ กิโลเมตร จนถึงทางแยกบ้านโคกมะกอก เลี้ยวซ้ายเข้ามาตามถนนอีกประมาณ ๗ กิโลเมตร จะถึงตัวแหล่งโบราณสถานเขาสามสิบ และเดินทางด้ายเท้าจากเชิงเขาสามสิบ ซึ่งอยู่ในบริเวณวัดเขาสามสิบ ไปอีกประมาณ ๑ กิโลเมตร ก็จะถึงบริเวณแหล่งโบราณสถานเขาสามสิบ

จากการศึกษาจากเอกสารที่เกี่ยวกับการสำรวจโบราณสถานแห่งนี้ พบว่า ตัวปราสาทได้พังทลายลงมาหมดแล้ว เหลือเพียงแต่ฐานของตัวปราสาทซึ่งสร้างด้วยศิลาแลง อยู่กระจัดกระจายเป็นบริเวณกว้าง ศิลาแลงแต่ละก้อนมีขนาดใหญ่ เป็นรูปสี่เหลี่ยมจัตุรัส สี่เหลี่ยมผืนผ้าตัดมน มีการเจาะรูไว้ ปราสาทเขาสามสิบแห่งนี้ สันนิษฐานน่าจะเป็นศาสนสถานในความเชื่อของศาสนาฮินดู เป็นอาคารแบบปรางค์หรือปราสาทองค์เดียว เป็นศิลปะขอม แบบปาปวน/แบบนครวัด เป็นสถานที่พักคน เดินทางหรืออโรคยาศาล (สถานรักษาพยาบาล) อยู่ในสมัยพระเจ้าชัยวรมันที่ ๗ ราวพุทธศตวรรษที่ ๑๗-๑๘

นอกจากนี้ยังพบทำนบ และสระน้ำเก่าขนาดใหญ่ ชาวบ้านเรียกว่า “สระเขิน”อยู่ทางทิศเหนือบริเวณเชิงเขาสามสิบ ส่วนพื้นที่บริเวณรอบเขาสามสิบ ยังพบวัตถุโบราณ เช่น หินทรายแกะสลัก เป็นรูปดอกไม้ พระพิมพ์สำริด เครื่องถ้วย ชาม ไห กระปุกแบบต่าง ๆ ที่เคลือบสีเขียว สีขาว และน้ำตาล สันนิษฐานว่าเป็นศิลปะสมัยเขมร