เขาสามมุข หรือชื่อเดิมเรียกว่า “สมมุก” อยู่ติดกับชายหาดบางแสน บนเขาสามมุขมีศาลเจ้าแม่
เขาสามมุขเป็นที่เคารพสักการะของประชาชนที่อาศัยอยู่บริเวณนี้และประชาชนทั่วไป ส่วนชื่อนั้น สันนิษฐานว่ามาจากสาเหตุ ๒ ประการ ประการที่หนึ่งคงมาจากลักษณะของภูเขา ที่มีแหลมยืนออกไปในทะเล มองแต่ไกล เป็นรูปสามเหลี่ยม จึงได้ชื่อว่าเขาสามมุข ประการที่สองมาจากตำนานที่เล่าต่อๆกันมา ว่าในอดีตทะเลบางแสนและเขาสามมุขนั้น ยังไม่มีชื่อปรากฏ มีเพียงแต่ ตำบลอ่างหิน ซึ่งปัจจุบันก็คือ ตำบลอ่างศิลา มีเจ้าของโป๊ะ
หรือที่ชาวบ้านรู้จักกันในนาม นายบ้าน (กำนันบ่าย) มีลูกชายชื่อว่า “แสน” และห่างออกไปจากตำบลอ่างหิน
ยายและหลานสาวอาศัยอยู่ด้วยกันคู่หนึ่ง หลานสาวมีชื่อว่า “มุก” อาศัยอยู่ที่เมืองบางปลาสร้อย
เมื่อบิดามารดาเสียชีวิตลง “มุก” ได้มาอาศัยอยู่กับยายจนกระทั่งโต “สาวมุก” มักจะชอบมานั่งเล่นดูหนุ่มสาวรวมทั้งเด็กที่มาเล่นว่าว อยู่ริมเชิงเขาเป็นประจำ และมีเพื่อนที่คอยหยอกล้อเล่น ก็คือ ลิงป่าที่ลงมาจากเขานั้น ขณะที่ “มุก” กำลังนั่งเล่นอยู่ก็มีว่าวตัวหนึ่งขาดลอยลงมาตกอยู่ตรงหน้า เธอจึงเก็บว่าวตัวนั้นเอาไว้ ในขณะที่ “แสน” ได้วิ่งตามว่าวที่ขาดลอยมา จึงทำให้ “แสน” กับ “มุก” ได้รู้จักกัน และแสนได้มอบว่าวตัวนั้นไว้ให้กับ “มุก” เป็นที่ระลึก หลังจากนั้น ทั้งสองคนได้พบกันเรื่อยมาจนเกิดเป็นความรักขึ้น และได้สาบานต่อหน้าขุนเขาแห่งนี้ว่า ทั้งสองจะครองรักกันชั่วนิจนิรันดร หากใครผิดต่อคำสาบานนี้ จะต้องมากระโดดหน้าผาแห่งนี้ตายตามกัน ทั้งนี้ “แสน” ได้มอบแหวนวงหนึ่งให้กับ “มุก” เพื่อเป็นตัวแทนแห่งความรัก

เมื่อนายบ้าน (กำนันบ่าย) ทราบเรื่องความรักของหนุ่มสาวทั้งสองก็เกิดความไม่พอใจ อีกทั้ง“แสน” ยังได้ขอร้องให้ผู้เป็นพ่อไปสู่ขอหญิงสาวที่ตัวเองรัก ยิ่งทำให้นายบ้าน (กำนันบ่าย) ไม่พอใจมากขึ้น จึงกักบริเวณ “แสน” ไม่ให้ออกไปไหน ทำให้ทั้งสองไม่ได้พบกัน ในที่สุดนายบ้าน (กำนันบ่าย) ก็ไปสู่ขอลูกสาวคนทำโป๊ะ ให้กับ “แสน” และได้กำหนดพิธีแต่งงานขึ้น ข่าวนี้ได้แพร่สะพัดไปถึงหูของ “มุก” กระทั่งวันแต่งงานของ “แสน” มาถึง เมื่อแขกเริ่มทยอยเข้ามารดน้ำสังข์อวยพรให้แก่คู่บ่าวสาว “แสน” ได้ก้มหน้านิ่ง กระทั่งมีน้ำสังข์ที่หลั่งรดลงมาพร้อมแหวนที่ “แสน” จำได้เป็นอย่างดีว่า แหวนวงนี้เป็นของ “มุก” เมื่อ “แสน” เงยหน้าขึ้นมาก็เห็น “มุก” วิ่งออกไปแล้ว ทั้งนี้ “แสน” ได้นึกถึงคำสาบานที่เคยให้ไว้แก่กัน จึงรีบวิ่งไปที่เชิงเขา แต่ปรากฏว่า “มุก” ได้ขึ้นไปบนหน้าผาและได้กระโดดลงมาจากหน้าผาเสียแล้ว เมื่อ “แสน” เห็นเช่นนั้น ก็ตัดสินใจกระโดดหน้าผาตามคนรักลงไป ชาวบ้านต่างพากันเศร้าสลดใจเป็นยิ่งนัก ต่างสาปแช่งนายบ้าน (กำนันบ่าย) ต่างๆ นานา นายบ้าน (กำนันบ่าย) รู้สึกเสียใจเป็นอย่างยิ่ง จึงได้นำถ้วยชามและสิ่งของต่างๆ มาไว้ในถ้ำตรงหน้าผาแห่งนี้ เพื่อระลึกถึงความรักของทั้งสองคน ต่อมาชาวบ้านจึงตั้งชื่อภูเขาลูกนี้ว่า “เขาสามมุข” ส่วนชายหาดที่ติดกัน ให้ชื่อว่า “หาดบางแสน” เพื่อเป็นอนุสรณ์แห่งความรักของสาวมุกและหนุ่มแสน จวบจนถึงปัจจุบันนี้ ชาวบ้านเล่าว่า "ตอนกลางคืนจะเห็นร่างของหญิงสาวยืนอยู่ ตรงหน้าผานั้น" จึงได้ช่วยกันสร้างศาลนี้ขึ้น เพื่อเป็นที่สิงสถิตและเป็นที่เคารพสักการะแก่ชาวบ้านและชาวประมง เมื่อเวลาจะออกทะเลไปหาปลา ชาวประมงมักจะจุดประทัดบนบานขอให้ไม่มีลมพายุ แคล้วคลาดปลอดภัย และได้ปลากลับมาเต็มลำเรือ แต่ถ้าเจอลมพายุกลางทะเล ก็จะจุดธูปบนบานเจ้าแม่เขาสามมุขให้แคล้วคลาดปลอดภัยจากอันตราย ซึ่งสัมฤทธิผลเรื่อยมา

อย่างไรก็ตาม ชาวประมงในพื้นที่จังหวัดชลบุรี ก่อนจะออกทะเลหาปลา มักจะเซ่นไหว้ศาลเจ้าแม่ เขาสามมุข ด้วยมะพร้าวอ่อน ขนมเปี๊ยะ และผลไม้ ส่วนแม่ค้านั้นจะบนบานเป็นมะพร้าวอ่อน ขนมครก ว่าว พวงมาลัยผลไม้ ก็สัมฤทธิผลเรื่อยมา หากเป็นเรื่องที่เกี่ยวกับการบนไม่ให้โดนเกณฑ์ทหาร เรื่องการขายที่ดิน และเรื่องสำคัญอื่นๆ มักจะบนบานโดยการบวช หรือบนเป็ด ไก่ หัวหมู หนังกลางแปลง ละครรำ ก็มี ทั้งนี้ เคยมีชาวบ้านที่เขาสามมุขซึ่งเป็นคนยากจนมาจุดธูปขอไม่ให้โดนเกณฑ์ทหารว่า "หากจับได้ใบดำ จะแก้บนโดยการเดินจาก ที่ว่าการอำเภอเมืองชลบุรี มากราบไหว้เจ้าแม่เขาสามมุข" ก็สำเร็จมาแล้ว สิ่งที่บนเจ้าแม่เขาสามมุขควบคู่กันมากับสิ่งอื่นก็คือ "มะพร้าวอ่อน ว่าว พวงมาลัย หรือการฉายภาพยนตร์ ลิเก" สำหรับลิงที่อาศัยบริเวณเขาสามมุขนั้น มีมาแต่โบราณกาล หากมีใครมารังแกลิงหรือมาจับลิงไป มักจะล้มป่วย เกิดอาเพศต่างๆ นานา เดือดร้อนกันไปทั้งครอบครัว เล่ากันว่า มีผู้มาจับลิงที่เขาสามมุขไปเพื่อประโยชน์อันใดไม่ทราบแน่ชัด แต่ไม่กี่วันต่อมาก็ต้องนำลิงมาคืนให้ทางศาลเจ้า

จากข้อมูลการสัมภาษณ์ นายประเสริฐ นาคสุวรรณ ประธานชุมชนเขาสามมุข ได้เล่าให้ฟังว่า ในอดีตกาลที่ยาวนานกว่า ๑๐๐ ปี สมัยกรุงศรีอยุธยาตอนปลาย ที่ได้กล่าวขานกันมาว่าในอดีตนั้น ทะเลชายหาด
บางแสน และเขาสามมุขไม่เหมือนสภาพดังปัจจุบันนี้ แต่ก่อนไม่มีบ้านเรือนมากมาย ไม่มีถนนหนทาง สะดวกสบายอย่างนี้ ส่วนชื่อบางแสนและเขาสามมุข ก็ยังไม่ปรากฏ ส่วนใหญ่ชาวบ้านพื้นเพนั้น จะเรียกกันว่า บางอ่างหิน หรือ ตำบลอ่างศิลาในปัจจุบัน เหมือนกับชื่อบางแสนเช่นกัน ที่ชาวบ้านในยุคนั้นประสบพบปัญหาชีวิตรักของหนุ่มสาวคู่หนึ่ง ที่อยู่ต่างพื้นที่และถูกกีดกันโดยผู้เป็นพ่อของชายหนุ่ม จึงทำให้ทั้งสองต้องมาลงเอยด้วยการกระโดดหน้าผาฆ่าตัวตายตามที่ได้สาบานไว้ต่อกันที่หน้าผาบนเขาแห่งนี้ หลังจากที่ทุกสิ่งทุกอย่างจบลง นายบ้าน(กำนันบ่าย)ได้ถูกชาวบ้านต่อว่า ด้วยความเสียใจ และรู้สึกสำนึกผิดต่อบุคคลที่ตนรักยิ่ง จึงได้นำเครื่องถ้วยชามต่างๆ มาไว้ในถ้ำบริเวณเชิงเขา เพื่อเป็นการระลึกถึงความรักของทั้งคู่ ต่อมาชาวบ้านจึงตั้งชื่อว่า
บางแสน หรือ ตำบลแสนสุข นับตั้งแต่นั้นเป็นต้นมา

สมัยนั้นชาวบ้านส่วนใหญ่จะอาศัยอยู่ริมทะเล เพื่อทำอาชีพประมง บางรายมีฐานะดีบางรายยากจน ส่วนนายบ้าน (กำนันบ่าย) นั้น จะมีคนนับหน้าถือตาเพราะมีฐานะร่ำรวย ทำการประมงเป็นเจ้าของโรงโป๊ะหลายแห่ง ชาวบ้านยกให้เป็นผู้นำ และยกฐานะให้เป็นนายบ้าน (สมัยนั้น) นายบ้านหรือกำนันบ่ายมีลูกชาย ชื่อว่า “แสน” เป็นลูกชายเพียงคนเดียว เป็นต้นเรื่องของตำนานรักอมตะกับหญิงสาวชื่อ “มุก” ที่อาศัยอยู่กับยาย
นามใดนั้นไม่ปรากฏ ส่วนบิดามารดาของสาวมุกนั้น ได้สูญหายหรือเสียชีวิตไป เมื่อตอนมุกยังเด็ก แต่ด้วยสาเหตุใดไม่ปรากฏเช่นกัน วันหนึ่งนายแสน พร้อมเพื่อนคู่หู ชื่อนายเผือก และนายดำ ชอบเล่นว่าว และนำมาเล่นที่ชายหาดเป็นประจำ เหตุการณ์ที่ทำให้หนุ่มสาวทั้งสองมาพบกันโดยบังเอิญ เนื่องจากว่าวที่นายแสนเล่นนั้น เกิดขาด แล้วลอยมาที่บริเวณเขาสามมุขที่เป็นที่อยู่ของสาวมุกพอดี นายแสนจึงได้ชวนเพื่อนทั้งสองวิ่งตามว่าว ที่หลุดลอยมา จนมาเจอว่าวของตนอยู่ในมือของสาวมุกจึงได้ขอคืน แต่สาวมุกไม่ยอมคืนให้และเดินหนีไป จากนั้นได้นำว่าวตัวดังกล่าวไปซ่อม แต่ไม่กล้าเล่นเพราะเกรงว่าว่าวจะขาดอีก จนนายแสนและเพื่อนเดินมาเที่ยวและเห็นสาวมุกถือว่าวที่เป็นของตนไว้ จึงได้ชวนเล่นเพราะเห็นว่า ไม่มีเพื่อน จนกระทั่งทั้งสองคนเริ่มสนิทสนมกัน และได้คบหากันนับตั้งแต่นั้นเป็นต้นมา ทำให้เกิดความผูกพันจนกลายเป็นความรัก โดยที่นายบ้าน (กำนันบ่าย) ไม่ทราบเรื่องราวของลูกชายผู้เป็นสุดที่รัก ต่อมาเรื่องราวความรักของทั้งสองคนรู้ถึงหูผู้เป็นพ่อ ทำให้ผู้เป็นพ่อเกิดความไม่พอใจ เนื่องจากรู้มาว่าสาวมุกนั้นยากจน จึงกีดกันห้ามปรามไม่ให้ทั้งสองคบหากัน และได้ทาบทามหญิงสาวชาวบ้านในละแวกเดียวกันให้กับลูกชาย ซึ่งมีฐานะใกล้เคียงกัน แต่นายแสนกับไม่ชอบและแอบมาพบสาวมุกเป็นประจำ

เมื่อถึงเทศกาลลอยกระทงทั้งสองได้ให้คำมั่นสัญญาต่อกันว่า จะรักกันตราบนานเท่าชีวิต และจะไม่พรากจากกัน หากผิดคำสัญญาจะขอลาตายโดยการกระโดดหน้าผาแห่งนี้ เมื่อนายบ้าน มารู้อีกครั้งว่า นายแสน แอบมาหา สาวมุก จึงให้เพื่อนไปจับตัวมากักขัง แล้วไปสู่ขอหญิงสาวที่เคยทาบทามไว้ให้กับลูกชาย พร้อมกับบังคับถ้าไม่ทำตามจะตัดลูกตัดพ่อกัน ทำให้นายแสนลำบากใจ และไม่สามารถทำใจได้ เมื่อใกล้ถึงวันแต่งงาน เพื่อนๆของสาวมุกได้มาบอกว่า นายแสนชายคนรักของสาวมุกกำลังจะแต่งงานแล้ว แต่สาวมุกไม่เชื่อจึงมาหานายแสนในวันแต่งงาน หลังจากพบว่าเป็นความจริงจึงคืนแหวนให้กับนายแสน และวิ่งไปที่หน้าผาที่เคยให้คำมั่นสัญญากันไว้ ก่อนที่จะกระโดดลงมาตาย หลังจากที่สาวมุกได้คืนแหวนให้ นายแสนรู้สึกเสียใจมากจึงวิ่งออกจากงานแต่งเพื่อตามหาสาวมุก โดยวิ่งไปที่หน้าผาที่เคยให้คำมั่นสัญญากันไว้ แต่ก็สายไปเสียแล้ว เมื่อเห็นร่างของสาวมุก นอนตายอยู่ข้างล่าง จึงได้ตัดสินใจกระโดดตายตามหญิงสาวคนรักไปอีกคน ทำให้ผู้เป็นพ่อ คือ นายบ้าน (กำนันบ่าย) ที่วิ่งตามมาเห็นเหตุการณ์ทั้งหมด เสียใจเป็นยิ่งนักที่ทำให้ลูกชายต้องมาตาย เพราะความเห็นแก่ตัวของตัวเอง จึงได้ทำบุญอุทิศส่วนกุศลให้กับคนทั้งสอง และเกิดการตรอมใจตั้งแต่นั้นเป็นต้นมา หลังจากที่เหตุการณ์นี้เกิดขึ้นแล้ว ชาวบ้านต่างพากันสงสารหนุ่มสาวทั้งสองเวลาพลบค่ำ ชาวบ้านมักจะเห็นร่างของทั้งสองที่บริเวณ เชิงเขาแห่งนี้เป็นประจำ จนเป็นที่กล่าวขานกันเรื่อยมา ต่อมาชาวบ้าน จึงร่วมใจกันตั้งชื่อเขาลูกนี้ว่า”เขาสามมุข” พร้อมกับตั้งศาลเพียงตาไว้ให้ ส่วนบริเวณที่พบศพของหนุ่มแสนกับสาวมุก ชาวบ้านตั้งชื่อว่า หาดบางแสน โดยที่ผู้เป็นพ่อได้ตั้งศาลเพียงตาไว้ให้ ยามคิดถึงลูกชาย

สิ่งที่ทำให้ชาวบ้านเชื่อว่า ความรักของหนุ่มสาวทั้งสองนั้นศักดิ์สิทธิ์ ก็คือ เวลาออกหาปลากลางทะเลนั้น ชาวบ้านจะนำปะทัดมาจุดเพื่อขอให้ช่วยในการทำมาหากินและแคล้วคลาดจากภัยทั้งปวง โดยเฉพาะลมพายุ
ที่ชาวบ้านมักจะเจอบ่อย ๆ แม้กระทั่ง สุนทรภู่ ก็ยังเคยเจอมาแล้ว ครั้งที่ท่านเดินทางจากกรุงเทพฯ โดยทางเรือแล้วแล่นผ่านพื้นที่แห่งนี้ เพื่อจะไปเยี่ยมบิดาที่ อำเภอแกลง จังหวัดระยอง ในระหว่างนั้นได้เกิดลมพายุอย่างแรง จนเรือไม่สามารถควบคุมได้ จึงได้มองมาที่เขาแห่งนี้ เนื่องจากเคยได้ยินประวัติความเป็นมาจากชาวบ้านบ่อยๆ จึงได้เอ่ยคำบนบานเจ้าแม่เขาสามมุขขอให้ตนและลูกเรือปลอดภัยจากลมพายุ หลังจากนั้นไม่นานลมก็สงบลง เป็นที่น่าแปลกใจจนเกิดความเคารพศรัทธา ท่านจึงได้เขียนนิราศพรรณนา ถึงความศักดิ์สิทธิ์ของเจ้าแม่เขาสามมุข ไว้ในหนังสือภาษาไทย มัธยมปลาย เมื่อคราวเดินทางไป เมืองแกลง ครั้งแรกปี พ.ศ.๒๔๓๐ ดังนี้ว่า

พี่แข็งขืนฝืนภาวนานิ่ง แลดูยิ่งไรยังไกลเหลือ

เห็นเกินรอยบางปลาสร้อยอยู่ท้ายเรือ คลื่นก็เผื่อฟูมฟองคะนองพราย

เห็นจวนจนบนเจ้าเขาสามมุข จงช่วยทุกข์ถึงที่จะทำถวาย

พอขาดคำน้ำขึ้นดั่งคลื่นคลาย ทั้งสามนายหน้าชื่นค่อยเฉื่อยชา

หลังจากนั้นท่านได้ทำตามที่กล่าวบนไว้ โดยนำสิ่งของมาแก้บน และครั้งคราใดที่วิ่งผ่านสถานที่แห่งนี้ ก็จะแวะเวียนมาอยู่ร่ำไป

ต่อมาสมัยจอมพล ป.พิบูลสงคราม ได้มีโครงการระเบิดหน้าผาเขาสามมุข เพื่อทำถนนรอบเขาสำหรับใช้สัญจรไปมากราบไหว้ จึงทำให้เขาสามมุขแห่งนี้เตี้ยลงกว่าเดิมและหินได้หล่นลงมาทับปิดปากถ้ำ พร้อมศาลที่มีอยู่เดิมพังเสียหาย หลังจากนั้นไม่นานเหล่าคนงานสร้างถนนก็ประสบเหตุต่างๆ เกิดล้มป่วยกันมากมาย ไม่สามารถทำงานต่อไปได้ เดือดร้อนต้องรีบทำการแก้บนขอขมาต่อศาลเจ้าแม่เขาสามมุข และสร้างศาลให้ใหม่ หลังจากนั้นจึงสามารถทำงานต่อไปได้จนแล้วเสร็จ นักท่องเที่ยวที่รู้ประวัติต่างมาเที่ยวชม และพากันมาขอพรจากเจ้าแม่เขาสามมุข เมื่อสัมฤทธิ์ผลก็จะนำสิ่งของมากราบไหว้ สิ่งที่นำมาถวายนั้น จะเป็น มะพร้าวอ่อน
ขนมครก ว่าว พวงมาลัยและผลไม้ ต่อมาภายหลัง ได้นำภาพยนตร์กลางแปลง หรือลิเกมาแสดงแก้บนด้วย
สิ่งหนึ่งที่อยู่คู่กับเขาแห่งนี้มาโดยตลอดก็คือ ลิง ถือได้ว่าเป็นบริวารของเจ้าแม่เขาสามมุข ชาวบ้านเชื่อกันว่าหากมีใครมารังแกหรือจับลูกลิงไปเลี้ยงโดยที่ไม่ได้ขออนุญาตก็จะมีอันเป็นไป เดือดร้อนถึงครอบครัวที่ต้องล้มหมอนนอนเสื่อเลยทีเดียว จะต้องรีบนำมาคืนไว้ที่เดิม ซึ่งก็สร้างปัญหาให้กับฝูงลิงที่ได้จับไป เนื่องจากลิงที่นำมาคืน จะเข้ากับฝูงลิงอื่นไม่ได้ทั้งๆ ที่เป็นพวกของมันเอง และลิงที่นำมาคืนมักจะถูกทำร้ายจากฝูงลิงที่ไม่ยอมรับ ให้เข้าฝูงเพราะแปลกกลิ่น