บ้านเขาลูกช้าง เมื่อก่อนมีความอุดมสมบูรณ์เต็มไปด้วยป่าไม้และสัตว์ป่านานาชนิด มีภูเขา ล้อมรอบปัจจุบันมีประชาชนเข้ามาทำมาหากินมากขึ้น จึงได้แยกเป็นหมู่บ้าน เรียกหมู่บ้านนี้ว่า "บ้านเขาลูกช้าง ”

สภาพภูมิศาสตร์ เป็นที่ราบสูงเชิงเขา เป็นภูเขาแนวยาว พื้นที่ส่วนใหญ่เหมาะแก่การเกษตร เป็นลักษณะสูงบ้าง ราบบ้างไม่สม่ำเสมอ