โบราณสถานทุ่งเศรษฐีตั้งอยู่ที่บริเวณเชิงเขาจอมปราสาทซึ่งเป็นส่วนหนึ่งของเทือกเขานางพันธุรัตมีตำนานเล่าเรื่องการสร้างว่า"มีเศรษฐีผู้หนึ่งอพยพครอบครัวโดยใช้เกวียนบรรทุกทรัพย์สมบัติอันมีค่าเดินทางมาจนถึงบริเวณที่แห่งหนึ่งดุมเกวียนเกิดหักลง เศรษฐีขอให้ชาวบ้านละแวกนั้นซ่อมคนเหล่านั้นรู้ว่าบนเกวียนมีสมบัติมากมายก็เกิดความโลภจึงใช้ไม้สบู่ซึ่งเป็นไม้เนื้ออ่อนมาทำ เมื่อเดินทางต่อก็หักเป็นเช่นนี้หลายครั้ง จนเศรษฐีเฉลียวใจว่าชาวบ้านจะช่วงชิงสมบัติไปจึงหยุดพักและได้สร้างเจดีย์ขึ้นแล้วนำทรัพย์สมบัติซอนไว้"แต่เดิมบริเวณนี้เป็นเนินดินขนาดใหญ่แต่จากตำนานดังกล่าวจึงเกิดการลักลอบขุดหาสมบัติหลายครั้ง กรมศิลปากรจึงได้ดำเนินการตรวจสอบเพื่อขึ้นทะเบียนโบราณสถานเมื่อปี ๒๕๔๑จึงได้ดำเนินการขุดแต่งทางโบราณคดีจากหลักฐานที่ขุดค้นพบทำให้ทราบว่าโบราณสถานทุ่งเศรษฐีเป็นศาสนสถานขนาดใหญ่ที่เหลือเพียงส่วนฐาน สร้างขึ้นตามรูปแบบสถาปัตยกรรมในวัฒนธรรมทวารวดี มีอายุราวพุทธศตวรรษที่ ๑๒-๑๖ และพบโบราณวัตถุจำนวนมากโบราณวัตถุที่พบได้แก่ พระพุทธรูป ปูนปั้นรูปพระโพธิสัตว์ รูปเทวดา รูปบุคคล และที่สำคัญคือปูนปั้นรูปชาวต่างชาติ ซึ่งน่าจะเป็นชาวอาหรับ หรือเปอร์เซีย เครื่องถ้วยจีน ลูกปัดและอื่นๆ จากตำนานและหลักฐานทางโบราณคดีทำให้สันนิษฐานได้ว่า แต่เดิมบริเวณนี้คงเป็นชุมชนขนาดใหญ่และจากสถานที่ตั้งทางภูมิศาสตร์ คือ ตั้งอยู่บนพื้นที่ราบใกล้ชายฝั่งทะเลมีเทือกเขานางพันธุรัตเป็นปราการทางธรรมชาติ แหล่งทรัพยากรธรรมชาติและเป็นจุดหมายสำคัญในการเดินเรือคงทำให้สถานที่นี้เหมาะต่อการติดต่อค้าขายแลกเปลี่ยนสินค้าและวัฒนธรรมกับเมืองใก้เคียง เช่น เมืองคูบัว(ราชบุรี)เมืองนครปฐมโบราณ เป็นต้น ซึ่งเป็นเมืองโบราณร่วมสมัยเดียวกัน และดินแดนต่างชาติทั้งตะวันตก คือ อินเดีย อาหรับ เปอร์เชียและตะวันออก คือจีนจึงทำให้ชุมชนโบราณแห่งนี้คงเป็นเมืองท่าสำคัญเมืองหนึ่งในยุคการค้าสุวรรณภูมิ