เจ้าพระยาบดินทร์เดชา (สิงห์ สิงหเสนีย์) เป็นนักรบผู้เก่งกล้าในรัชสมัยพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว และเป็นผู้ทำให้มีการเคลื่อนย้ายประชากร จากเวียงจันทน์ และท่าอุเทน มาตั้งถิ่นฐานในเขตอำเภออรัญประเทศ เนื่องในการปราบกบฎเจ้าอนุวงซ์ เวียงจันทน์ เมื่อเสร็จการปราบกบฎ ได้กวาดต้อนชาวเวียงจันทน์และท่าอุเทนกลุ่มหนึ่ง มาตั้งถิ่นฐานอยู่ชั่วคราวที่ดงอรัญ อำเภอศรีโสภณ (ปัจจุบันเรียกว่า บ้านดงอรัญเก้า) ภายหลังได้เลือกทำเลที่อยู่ใหม่ริมห้วยพรหมโบสถ์ เรียกว่า บ้านอรัญทุ่งแค ซึ่งได้พัฒนามาเป็นอำเภออรัญประเทศ มีพระสาระบุตร เป็นเจ้าเมืองอรัญคนแรก ได้รับพระราชทานบรรดาศักดิ์เป็น พระเหี้ยมใจหาญ
เมื่อประมาณปี พ.ศ.๒๓๗๕ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว ได้โปรดเกล้า ฯ ให้เจ้าพระยาบดินทรเดชา เป็นแม่ทัพยกไปตีเมืองเขมร และเมืองญวน เจ้าพระยาบดินทรเดชา ได้สร้างถนนจากแม่น้ำศรีโสภณ ผ่านเมืองอรัญเก่า อรัญใหม่ วัฒนานคร สระแก้ว พระปรง จรดแม่น้ำหนุมาน อำเภอกบินทร์บุรี เรียกว่า ถนนเจ้าพระยาบดินทรเดชา ปัจจุบันได้สร้างถนนสุวรรณศรทับแนวถนนเจ้าพระยาบดินทรเดชาเกือบตลอดสาย
จากการยกทัพไปตีกัมพูชาของเจ้าพระยาบดินทรเดชาครั้งนี้ ในเวลาต่อมาได้กลายเป็นที่มาของชื่ออำเภอตาพระยา และตำบลอีกหลายตำบลในอำเภอตาพระยา เพราะเดิมคำว่า ตาพระยา เป็นการเรียกเพี้ยนมาจากเขมร จากคำว่า เตียบพระยา คำว่าเตียบ แปลว่าทัพ สาเหตุที่เรียกเช่นนี้เพราะเมื่อคราวที่เจ้าพระยาบดินทรเดชายกทัพมาตีนครธม และเมืองอุดง (เมืองบันทายละแวก) ได้แวะพักทัพอยู่ ณ ดินแดนที่เป็นอำเภอตาพระยาปัจจุบัน โดยแบ่งที่ตั้งกองทัพออกเป็นสามส่วนคือ บริเวณหนองตำหนักเสด็จ ปัจจุบันคือ ตำบลทัพเสด็จ อยู่ทางทิศตะวันตกของหมู่บ้านเจียงคำ ประมาณ ๓ กิโลเมตร ส่วนที่สองตั้งอยู่ที่หนองทัพพระยา ปัจจุบันคือ บ้านนตาพระยา และส่วนที่สามพักอยู่ที่หนองทัพราช ปัจจุบันคือ หนองทัพราช อยู่ทางทิศตะวันตกเฉียงเหนือ ของบ้านตะโกประมาณ ๓ กิโลเมตร