1 ในสมัยก่อนพื้นที่บริเวณนี้เป็นแหล่งที่ห่างไกลจากตัวเมืองมาก ทางการดูแลไม่ ทั่วถึงจึงมีโจรผู้ร้ายหลบหนีเข้ามาอาศัยอยู่ และใช้เป็นที่ซ่องสุมกำลัง โดยโจรที่เข้ามามีทั้งโจรธรรมดา และโจรที่มีชื่อเสียงมาก จนคนทั่วไปขนานนามว่า “ขุนโจร” “มหาโจร” พื้นที่บริเวณนี้จึงถูกขนานนามว่า “ขุนซ่อง” (ขุนโจรเข้ามาซ่องสุมผู้คน) ที่มา : หนังสือก่อนกาลแก่งหางแมว

2. นายขวน วิชุวงษ์ เล่าว่าได้มีหมู่ขุนโจรยกทัพมาจากจังหวัดปราจีนบุรี มาตั้งเป็นขุนซ่อง ขุนโจร และต่อมาได้มีประชาชนอพยพมาจากจังหวัดปราจีนบุรี มาตั้งบ้านเรือนอาศัยอยู่ และเรียกชื่อบริเวณนั้นว่า “บ้านขุนซ่อง”

3. เมื่อเกิดสงครามกรุงศรีอยุธยา กลุ่มผู้แพ้สงคราม ซึ่งมีบรรดาศักดิ์เป็น “ขุน” หลบหนีเข้ามาซ่องสุมผู้คนอยู่แถบบริเวณที่เป็นบ้านขุนซ่องในปัจจุบัน

4. สมเด็จพระเจ้าตากสินมหาราชตีเมืองระยองแตก พวกเมืองระยองส่วนหนึ่งได้หลบหนีมาซ่องสุมผู้คนไว้สำหรับตีเมืองคืน

5. สมเด็จพระเจ้าตากสินตีจันทบุรีแตก ได้มีการซ่องสุมผู้คนที่แถบบริเวณบ้านขุนซ่อง เพื่อเคลื่อนทัพไปตีพม่าที่กรุงศรีอยุธยาทั้งทางบกและทางเรือ

7. ขุนซ่อง คือ ชื่อของตำแหน่งนายกองส่วย ตำแหน่งหนึ่งของเมืองจันทบูร เป็นผู้ควบคุมดูแลไพร่ส่วย หรือ เลก ให้ทำการหาของป่า เพื่อจัดส่งไปให้เมืองหลวง หรือกรมต้นสังกัด ซึ่งในระหว่างการเกณฑ์เลกออกมาหาของป่า อาจมีการตั้งที่ทำการหรือฐานปฏิบัติการทำนองแบบการตั้งค่ายในละแวกที่เป็นบ้านขุนซ่อง ทำให้เกิดการเรียกขานชุมชนที่ก่อตั้งขึ้นภายหลังว่า “บ้านขุนซ่อง”

8. ที่มาของชื่อหมู่บ้านมาจากชื่อของขุนรามหมื่นส้อง ตามพระราชพงศาวดารกรุงธนบุรี ฉบับพนจันทนุมาศ (เจิม) โรงพิมพ์คุรุสภา พ.ศ. ๒๕๑๒