วัดศรีกะอางสร้างเมื่อปี พ.ศ.2515 โดยหลวงพ่อจำรัส ฐิติจาโค (อินทรกำแหง) ซึ่งเป็นพระธุดงค์ผ่านมาทางบริเวณน้ำตกกะอาง และได้พักแรม ณ บริเวณที่ตั้งวัดในปัจจุบัน ได้เห็นถึงความสงบเงียบที่จะใช้เป็นสถานที่ปฏิบัติธรรมต่อไป จึงได้สร้างเป็นสถานที่ปฏิบัติธรรมขึ้น ต่อมามีชาวบ้านใกล้เคียงที่มีจิตศรัทธาได้ร่วมกันก่อสร้างเป็นวัดขึ้นมา
ภายในวัดมีวิหารเจ้าแม่กวนอิมปางประทานพร และพระพุทธรูปสำคัญ เป็นพระพุทธชินราช ที่สร้างขึ้นเพื่อถวายแด่พระบาทสมเด็จพระเจ้าอยู่หัว เชื่อกันว่าเป็นองค์ที่ใหญ่ที่สุดในประเทศไทย ต่อมาได้รับพระราชทานชื่อพระพุทธรูปนี้ว่า พระสัมพุทธสักยมุนีโลกนาถ
พระอุโบสถของวัดศรีกะอางตั้งอยู่บนยอดเขาห่างจากวัดประมาณ 385 เมตร (รถยนต์สามารถขึ้นได้) และเป็นจุดชมวิวที่สวยงาม อุโบสถของวัดศรีกะอางเป็นสถาปัตยกรรมผสมผสานระหว่างสถาปัตยกรรมไทยและจีน จุดเด่นของพระอุโบสถ คือ ขอบประตู หน้าต่าง ประดับตกแต่งด้วยถ้วยชามสมัยโบราณที่ชาวบ้านมอบให้ ภายในพระอุโบสถประดิษฐานพระพุทธรูปปางพิชิตมาร ซึ่งมีพระนามของสมเด็จพระสังฆราช (ยสส) จารึกไว้ สมเด็จพระสังฆราช พระญาณสังวรได้พระราชทานนามพระประธานในพระอุโบสถ