Арсенал строился в 1702—1736 годах. Пострадал в Великом московском пожаре 1737 года, в 1786—1796 годах восстановлен Матвеем Казаковым. Взорван отступавшими наполеоновскими войсками в 1812 году, восстановлен в 1815—1828 годах.
Государственный центр современного искусства