พระตำหนักแดงวัดเขมาภิรตารามเป็นตำหนักไม้ ซึ่งเดิมเป็นหมู่ตำหนักในพระบรมมหาราชวังพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก โปรดฯ ให้สร้างถวายเป็นที่ประทับของสมเด็จพระเจ้าพี่นางเธอเจ้าฟ้ากรมพระศรีสุดารักษ์ ครั้นถึงรัชกาลสมเด็จพระนั่งเกล้าเจ้าอยู่หัว โปรดฯให้รื้อไปปลูกถวายสมเด็จพระศรีสุริเยนทราบรมราชินี ผู้เป็นธิดาในสมเด็จพระเจ้าพี่นางเธอ เจ้าฟ้ากรมพระศรีสุดารักษ์ ซึ่งเสด็จไปประทับที่พระราชวังเดิมฝั่งธนบุรีกับพระราชโอรสทั้ง ๒ พระองค์ คือ เจ้าฟ้ามงกุฎ (พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว) พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว เมื่อสมเด็จพระศรีสุริเยนทราบรมราชินีสวรรคต พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวพระราชโอรสจึงโปรดให้รื้อพระตำหนักส่วนที่ประทับของสมเด็จพระราชมารดา ถวายเป็นกุฏิของพระราชาคณะวัดโมฬีโลกายาราม ต่อมาพระบาทสมเด็จพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว โปรดฯ ให้ย้ายจากวัดโมฬีโลกายารามไปปลูกเป็นกุฏิเจ้าอาวาสวัดเขมาภิรตาราม เพื่อเป็นอนุสรณ์สถานแห่งสมเด็จพระศรีสุริเยนทราบรมราชินี

พระตำหนักแดงวัดเขมาภิรตาราม ขึ้นทะเบียนประกาศราชกิจจานุเบกษา เลขที่ ๕๒ หน้า ๓๖๘๘ วันที่ ๘ มีนาคม พ.ศ. ๒๔๗๘