ชาวบ้านเรียกพื้นที่บริเวณนี้ว่า “บ้านสี่แยกกระบก” เนื่องจากเดิมมีต้นกระบกขึ้นอยู่บริเวณทางแยกภายในหมู่บ้าน หากเมื่อมีการตั้งหมู่บ้านขึ้นเห็นว่าชื่อดังกล่าวไม่ไพเราะจึงพิจารณาว่าบริเวณพื้นที่ตั้งหมู่บ้านมีสัญลักษณ์เด่นคือภูเขาที่มีดินเป็นส่วนประกอบล้วน ๆ (ไม่มีหินปะปน) ไม่เหมือนภูเขาลูกอื่น ๆ ที่มีในบริเวณเดียวกัน ชาวบ้านได้ช่วยกันปลูกป่าบนเขาลูกนี้ เพื่ออนุรักษ์ป่าผืนนี้เอาไว้ ประกอบกับพื้นที่ตั้งหมู่บ้านนี้อยู่เป็นส่วนหนึ่งของเขตป่าสงวนแห่งชาติ ป่าจันตาแป๊ะ-เขาวังแจง เมื่อครั้งจัดตั้งหมู่บ้าน ชาวบ้านจึงได้ใช้ชื่อหมู่บ้านว่า “บ้านเขาดินวังแจง” ผู้ให้ข้อมูล นายเสมียน เคหะธรรม
คนกลุ่มแรกที่เข้ามาคือ นายจอง รอดจ่าย นายทองใบ เกตุประยูร นายเสงี่ยม ประกอบธรรม นายด้วง ชาติเสนาะ นายขุนทอง เพียรดี นายประสาท รักษ์คณา โดยส่วนใหญ่อพยพมาจากตำบลมะขามคู่ กิ่งอำเภอพัฒนานิคม จังหวัดระยอง ตำบลนาเกลือ จังหวัดชลบุรี ผู้ให้ข้อมูล นางสาวขนิษฐา ศรีดาชาติ