被称为日本近代西洋画之父的黑田清辉于1924(大正13)年临终之前留下遗言，嘱咐后人将其遗产的一部分用于赞助美术方面的事业。黑田纪念馆便是在此后的1928(昭和3)年竣工的。馆内开设了黑田纪念室，用以展览其遗族捐赠的画家遗作，以宣扬画家的功绩。1930(昭和5)年，馆内设置了美术研究所，旨在开展美术方面的学术调查与研究，以及对研究资料的收集工作。这就是现在的东京文化财研究所的前身。
研究所在馆内开展了很长时间的工作，直到2000(平成12)年新楼落成。目前研究所在新馆开展业务工作，纪念馆获得了重新利用的机会。鉴于该馆属于昭和初期所建的美术馆(由冈田信一郎设计)，有着很珍贵的价值，改旧翻新以恢复原状为原则。2001(平成13)年9月，重点翻修二楼部分的工作结束后，纪念馆重新开馆。