ชื่อตำบลท่าซอมจากคำบอกเล่าสืบทอดกันมาว่า เมื่อสมัยก่อนได้มีพ่อค้าแม่ค้าจากสงขลาเดินเรือทะเลเข้ามาทางปากน้ำปากพนังนำของไปขายในเขตชุมชนหัวดอน เขาพังไกร อำเภอหัวไทรปัจจุบัน พอตกกลางคืนบรรดาคาราวานพ่อค้าแม่ค้ากลัวพวกโจรปล้น จึงแอบซ่อนเรือคาราวานสินค้าในทอนที่มิดชิด จนฟ้าสว่างจึงออกเดินทางไปขายสินค้าต่อไป ชาวบ้านแถวนั้นเลยเรียกว่า ท่าซ่อนตั้งแต่นั้นมา เวลาผ่านไปนานมากชาวบ้านได้รวมกันตั้งวัดบริเวณท่าซ่อนเรือและก็ร้างไปนาน มารุ่นหลังเห็นว่าท่าซ่อนเรือถูกปล่อยรกร้างมากเลยเรียกท่าซ่อนช่อและได้บูรณะวัดขึ้นใหม่และชาวบ้านเรียกเรียกติดปากมาตลอด ต่อมาทางการอำเภอปากพนังได้จัดตั้งตำบลและเอาชุมชนนี้เป็นตำบล เรียกว่าท่าซอมตั้งแต่นั้นมา

กระทรวงมหาดไทยประกาศยกฐานะจากสภาตำบลขึ้นเป็นองค์การบริหารส่วนตำบลท่าซอม มีผลตั้งแต่ วันที่ 23 กุมภาพันธ์ 2540 โดยประกาศในราชกิจจานุเบกษา ฉบับประกาศทั่วไป เล่ม 113 ตอนพิเศษ 52 ง ลงวันที่ 25 ธันวาคม 2539