Kariye Müzesi ismini Bizans devrinin önemli bir manastırı olan Khora’dan almıştır. “Khora” sözcüğünün anlamı “taşra”dır.
Yapının hikâyesi Ayasofya’ya benzer: İnşa tarihi bilinmemekte, ancak Bizans devrinde 500’lerde tamamlandığı düşünülmektedir.
Yapı, 1500’lerin başında II. Bayezid devrinde camiye çevrilmiştir. Bu dönemde “Kenise” yani “kilise” camii olarak da adlandırılmıştır. Kariye, 1945 yılında müze yapılmıştır.