Учился в Императорской Академии художеств (1862-1868) у А.П. Маркова. Пенсионер Академии за границей (с 1869). Учился в Париже у Л. Бонна. С 1874 - академик. Участник выставок Императорской Академии художеств, Товарищества передвижных художественных выставок (с 1879), Московского Общества любителей художеств, Парижского салона и других.
Получил академическое образование (1857—1868) под руководством А.Т. Маркова. Его итоговая работа "Возвращение блудного сына" была оценена золотой медалью и правом на пенсионерскую поездку за границу, находясь в которой он побывал в Германии, Франции, Бельгии и Англии. Из поездки А. Харламов привез среди прочего высоко оцененную копию Рембрандта "Анатомия доктора Тюльпа".
Правда, последователем великого голландского художника А. Харламов не стал. Он сосредоточился на создании портретов современников ("Портрет писателя И.С. Тургенева", "Портрет актрисы П.А. Стрепетовой", "Портрет С.М. Третьякова", "Портрет Е.А. Третьяковой") и на писании многочисленных этюдов, детских головок, фигурок, жанровых сцен ("Бабушка с внучкой", "Мальчик с книгой", "Урок музыки"). Творчество живописца имело определенный успех и официальное признание. А.А. Харламов — член Товарищества передвижных художественных выставок (1872), в 1874 году ему присвоили звание академика.