19. yüzyıl sonlarında inşa edilmiş olan Azaryan Yalısı, 1950 yılında Koç ailesi tarafından satın alınmış ve müzeye dönüştürülmesine karar verilen 1978 yılına kadar da yazlık olarak kullanılmıştır. 1978-1980 yılları arasında, Sedat Hakkı Eldem’in hazırladığı restorasyon projesinin uygulanmasıyla müzeye dönüştürülmüştür.