Музей армии является результатом слияния различных военных музеев, созданных на протяжении 19-го и начала 20-го веков. Его основополагающее ядро составляют артиллерия и инженерные войска.
В 1803 году по указанию Годоя в Мадриде был создан Королевский военный музей, самый отдаленный предшественник сегодняшнего Музея армии. Это был один из старейших испанских музеев, который стал ответом на существовавший в то время в Европе интерес к сохранению и распространению предметов, связанных с военной историей. В то время его коллекции носили явно дидактический характер, одной из главных целей было содействие подготовке солдат, обеспечивая дополнительное обучение для военных академий.
В 1827 году Королевский военный музей был разделен на две секции: Артиллерийский музей и Инженерный музей, с собственной организацией и работой. В последней трети XIX века были созданы новые военные музеи. Это привело к созданию Квартетного музея (1885), Кавалерийского музея (1889) и Пехотного музея (1908), которые вместе с вышеупомянутыми Артиллерийским и Инженерным музеями должны были продолжать работать независимо друг от друга.