วัดช่องลม เป็นพระอารามหลวงชั้นตรี ชนิดสามัญ ตั้งเมื่อ พ.ศ.2411 สันนิฐานว่าเป็นวัดที่สร้างขึ้นตั้งแต่สมัยกรุงศรีอยุธยาเป็นราชธานี เดิมชื่อ วัดช้างล้ม เนื่องจากสมัยก่อนทางทิศตะวันตกห่างจากวัดไป เป็นโรงสำหรับขังช้างของทางราชการ ฝูงช้างใช้เป็นที่เดินผ่านเพื่อไปกินน้ำและอาบน้ำที่แม่น้ำแม่กลองเป็นประจำ วันหนึ่งมีช้างเกิดพลาดติดหล่มล้มลง ชาวบ้านจึงเรียกสถานที่นี้ว่า “ช้างล้ม”ต่อมามีผู้ศรัทธาสร้างวัดและเรียกตามสถานที่ว่าวัดช้างล้ม และประมาณ พ.ศ. 2475 สมเด็จพระมหาสมณเจ้า กรมพระยาวชิรญาณวโรรส เสด็จมาที่วัด เห็นว่าชื่อวัดไม่เป็นมงคล จึงตั้งชื่อให้ใหม่ว่า “วัดช่องลม” ซึ่งวัดได้รับวิสุงคามสีมา เมื่อวันที่ 24 ตุลาคม 2482

วัดช่องลมยกฐานะเป็นพระอารามหลวงชั้นตรี ชนิดสามัญ ตั้งแต่วันที่ 12 กรกฎาคม 2532 เป็นต้นมา

ภายในวัดมีวิหารประดิษฐานพระพุทธรูปศักดิ์สิทธิของจังหวัดราชบุรี คือ“หลวงพ่อแก่นจันทร์”ซึ่งวัดจะมีการจัดงานสมโภชน์หลวงพ่อแก่นจันทร์ในช่วงเทศกาลตรุษจีนของทุกปี และแห่รอบตลาดในช่วงเทศกาลวันสงกรานต์