บ้านวังแซ้มแต่เดิมเป็นพื้นที่ชาวชองอาศัยอยู่ คำว่า “แซ้ม”เป็นภาษาของชาวชอง ซึ่งแปลว่า “ไทย”สมัยก่อนมีชาวชองมาอาศัยอยู่รวมกันเป็นชุมชนขนาดใหญ่ซึ่งมีแม่น้ำจันทบุรี เป็นแม่น้ำสายหลักและจะมีวังน้ำวนอยู่วังหนึ่ง ซึ่งมีความอุดมสมบูรณ์ชาวชองจึงตั้งเป็นชุมชนขึ้น และเรียกชื่อหมู่บ้านกันว่า “วังแซ้ม”มาจนถึงปัจจุบัน