สวีเคยเป็นชื่อเมืองและชื่อลำน้ำ คือคลองสวีมาตั้งแต่โบราณ เมืองสวีและเมืองตะโกต่างเป็นเมืองจัตวาขึ้นต่อเมืองชุมพร และเมืองหลังสวน ตามลำดับ พ.ศ.2439 ทางการยุบเมืองสวีเป็นอำเภอสวีมาจนบัดนี้

คำว่า สวี มาจากไหน บางท่านว่ามาจากคำว่า “กาวี” ซึ่งชาวบ้านออกเสียงว่า “กาหวี” หมายถึง กาวีปีกหรือกากระพือปีก มีเรื่องเล่าว่าสถานที่บริเวณนั้นมักมีฝูงกาบินวนเวียนไปมาน่าอัศจรรย์ ต่อมาพระเจ้าศรีธรรมโศกราราชผู้ครองเมืองนครศรีธรรมราช เสด็จกลับจากทำศึกกับพระเจ้าอู่ทอง เมื่อผ่านสถานที่ดังกล่าว และทอดพระเนตรเสาเหล็กปักอยู่หนึ่งเสา จึงรับสั่งให้ไพร่พลขุดพื้นดินบริเวณนั้น ภายหลังพบผอบทองคำบรรจุพระบรมสารีริกธาตุ พระเจ้าศรีธรรมาโศกราชทรงเกณฑ์ไพร่พลสร้างพระบรมธาตุเจดีย์และอารามขึ้น ณ บริเวณนั้น ชาวบ้านเรียกว่าพระบรมธาตุเจดีย์กาวีและกาวี ชาวบ้านออกเสียงคำหน้าเป็นสวี เพื่อต้องการเสียงไพเราะและมีความหมายชวนฟัง

เกี่ยวกับพระบรมธาตุกาวีนั้น เล่ากันว่าก่อนพระเจ้าศรีธรรมโศกราช เสด็จกลับนครศรีธรรมราช พระองค์ประกาศหา
ผู้เฝ้าดูแลพระบรมธาตุเจดีย์ ปรากฏว่ามีชาวบ้านชื่อนายเมืองขออาสา พระเจ้าศรีธรรมาโศกราช จึงรับสั่งให้ตัดศรีษะนายเมือง และตั้งศาลเพียงตาเซ่นสรวง เพื่อให้ผีนายเมืองอยู่เฝ้ารักษาพระบรมธาตุเจดีย์ ภายหลังเรียกว่า ศาลพระเสื้อเมือง แต่ชาวบ้านมักเรียกว่า “ศาลพ่อท่านเมือง”

สวี อีกตำนานหนึ่งน่าจะมาจากคำว่า “ฉวี” ซึ่งหมายถึง หญิงสาวผู้มีผิวพรรณเนียนงาม กล่าวกันว่าคลองสวีมีต้นน้ำ มาจากเขาทะลุ ตำบลเขาทะลุ ที่ต้นน้ำมีหินก้อนใหญ่รูปร่างคล้ายผู้หญิง จึงเชื่อว่าเดิมคลองนี้อาจชื่อว่า คลองฉวี ขณะเดียวกันมักมีคำชมหญิงสาวชาวบ้านริมคลองแห่งนี้ มีผิวพรรณสวยงามอีกด้วย ต่อมาคำว่า ฉวี เพี้ยนเสียงเป็นสวีมาจนบัดนี้

ที่มาข้อมูล: ชื่อบ้านนามเมืองภาคใต้ (2) ชุมพร รองศาสตราจารย์ประพนธ์ เรืองณรงค์