พ.ศ. 2493 นายภิมล อภิชาตกุล ผู้ช่วยศึกษาธิการจังหวัดเพชรบุรี
ได้ไปตรวจราชการที่โรงเรียนสุวรรณรังสฤษฎ์วิทยาลัยได้เห็นอาคารหลังหนึ่งมีขนาด 7.5 x 18 เมตร ในบริเวณวัดมหาธาตุวรวิหาร ซึ่งมีความเหมาะสมที่จะใช้เป็นห้องสมุดได้ และขณะนั้นจังหวัดเพชรบุรี กำลังหาสถานที่จัดตั้งห้องสมุดประชาชนและยังหาไม่ได้ ผู้ช่วยศึกษาธิการจังหวัดเพชรบุรี จึงได้เรียนต่อเจ้าคุณสุวรรณมุนีฯ เจ้าคณะจังหวัดเพชรบุรี เพื่อขอใช้อาคารนี้ จากนั้นได้ดำเนินการปรับปรุงอาคารดังกล่าวมาใช้เป็นห้องสมุดประชาชนตั้งแต่นั้นเป็นต้นมา และจังหวัดเพชรบุรีได้ทำพิธีเปิดห้องสมุดประชาชนจังหวัดเพชรบุรีอย่างเป็นทางการ เมื่อเดือนสิงหาคม 2494
พ.ศ. 2495 คณะกรรมการได้ประชุม มีมติที่จะปรับปรุงห้องสมุด
ให้เป็นถาวรและเป็นเอกเทศจึงได้ติดต่อขอรับบริจาคเงินจากนางทองพูน บุญวานิช จำนวน 20,000 บาท เพื่อจัดสร้างห้องสมุดประชาชนใหม่และภายหลังได้รับงบประมาณเพิ่มจากกองการศึกษาผู้ใหญ่อีกจำนวน 5,400 บาท การก่อสร้างจึงแล้วเสร็จสมบูรณ์ พ.ศ. 2514 ห้องสมุดต้องย้ายจากที่เดิมไปใช้อาคารเก่าของ โรงเรียน
เบญจมเทพอุทิศ (ปัจจุบันเป็นโรงเรียนอนุบาลจังหวัดเพชรบุรี) เนื่องจากทางจังหวัดต้องการใช้อาคารห้องสมุดประชาชนจัดตั้งเป็นพิพิธภัณฑ์ของจังหวัด พ.ศ. 2521 กรมสามัญศึกษา กระทรวงศึกษาธิการได้จัดสรรงบ ประมาณจำนวน 900,000 บาท เพื่อใช้ก่อสร้างห้องสมุดประชาชนใหม่และทางจังหวัดได้หาเงินสมทบอีกจำนวน 105,000 บาท รวมเป็นเงินงบประมาณในการก่อสร้างทั้งสิ้น 1,005,000 บาท และได้ดำเนินการก่อสร้างเมื่อวันที่ 22 กันยายน 2521 ในที่ดินของวัดแรกและการก่อสร้างเสร็จสมบูรณ์เมื่อวันที่ 14 มีนาคม 2522