А.А. Рубцов родился 24 января 1884 года в Санкт-Петербурге. Внук почётного гражданина этого города Александра Ивановича Рубцова, будущий живописец воспитывался крёстной матерью - художницей Екатериной Карловной Вахтёр и её мужем - художником Я.Ф. Ционглинским.
В 1904 году с отличием окончил 8-ю Петербургскую гимназию и поступил на живописное отделение Императорской Академии художеств, где учился у Д.Н. Кардовского и Я.Ф. Ционглинского. В 1907 году побывал в Венеции, Вене и Париже, где посетил мастерскую О. Родена. В 1910 и 1911 годах путешествовал по Италии и Сицилии. В 1912 году провёл лето во дворце князя Павла Голицина, где подготовил полотно, которое на конкурсе Академии художеств было удостоено Grand Prix. В ноябре 1912 года получил звание художника по живописи и стипендию для четырёхлетней зарубежной практики в нескольких странах по своему выбору. В 1913 году посетил Германию, Швейцарию, Францию, Испанию, Англию и Марокко (Танжер). В конце декабря того же года вернулся в Петербург для устройства посмертной выставки Я.Ф. Ционглинского и выпуска книги " Заветы Ционглинского ".
1 апреля 1914 года художник прибыл в Тунис, где после начала первой мировой войны оказался отрезанным от России. 11 ноября 1915 года поселился в квартире-мастерской на улице Аль-Джазира, на границе арабской и европейской частей туниской столицы. Здесь он прожил 35 лет до конца своих дней.
Природа, архитектура и типажи Северной Африки стали главной темой творчества А.А.Рубцова. Свою любовь к Магрибу и к арабской жизни "столь самобытной и неожиданной" он сполна выразил в многочисленных работах. Всего за четыре года художник создал более 600 картин и этюдов, несколько альбомов рисунков. До конца 1917 года Рубцов состоял в переписке с Российской Академией художеств и регулярно посылал в Петроград фотографии своих картин.
Ошеломлённый событиями в России, крушением всего прежнего мира, художник замкнулся в себе, полностью погрузился в творчество.
Он вёл затворнический образ жизни и практически не общался с соотечественниками, прибывшими в декабре 1920 года в порт г. Бизерты на кораблях Русской эскадры. Среди редких посетителей его скромной обители была знаменитая Айседора Дункан, удостоенная упоминания в дневнике художника.
Тунисских знаменитостей, портреты которых рисовал А.А. Рубцов, поражала его честность, образованность и полное равнодушие к материальным благам. Всегда очень просто, но элегантно одетому, ему не нужно было ничего, кроме ящика с красками, складного стула и записных книжек. Художник избегал торговцев картинами и отказывался творить за деньги.
Болезненно скромный и щепетильный, он, прославивший Тунис своей живописью, был исключительно требователен к себе и незадолго до смерти утверждал: "Поселившись на Аль-Джазире, я стал ощущать ущербность своего восприятия живописи, а к 1944 году пришёл к выводу, что не умею писать".
В 1920 году Рубцов участвовал в первом послевоенном Тунисском салоне, где выставил 132 работы. С этой поры он стал одним из столпов этого центра тунисского изобразительного искусства. В том же году художник предложил 250 работ на персональную выставку в галерее Goupil в Лондоне, а в 1921 и 1922 годах выставлялся в галерее Manuel freres в Париже.
В 1920 году Рубцов стал кавалером бейского ордена отличия, а в 1924 году одновременно с награждением орденом Французской академии художеств получил французское гражданство.
В последующие годы Рубцов неоднократно участвовал в парижских художественных Салонах: Осеннем, Независимых художников, Художников-юмористов, Национального общества изящных искусств. В это же время выставлялся в Салоне Французской Африки в Тунисе (1928г.), в Салоне Северной Африки в Касабланке (1929г.), показывал коллекцию "ню" в холле тунисской ежедневной газеты.
В 1937 году он участвовал в Международной выставке в Париже, а также в выставке бывших выпускников Императорской Академии художеств в Белграде.
В 1938 - 1940 годах Рубцов опубликовал серию статей о старом Тунисе в журнале "Tunisie", в которых с грустью говорил о постепенном исчезновении местной самобытности под напором европейского модернизма.
В 1941 году Рубцов написал монументальные полотна для здания Торговой палаты Туниса и здания Посольства Франции в этой стране.
В 1944 году выпустил альбом зарисовок улиц г. Туниса и подготовил рисунки тунисских почтовых марок.
В 1947 году художник в последний раз побывал во Франции и провёл персональную выставку в галерее La Boetie в Париже. Газета "Фигаро" сообщила, что Президент Франции выразил восхищение "Арабской женщиной" Рубцова.
Художник скончался 26 ноября 1949 года от туберкулёза во французском госпитале в г. Тунисе. В последние часы своей жизни, находясь в бреду, он говорил только по-русски, но никто его не понимал. А.А. Рубцов был похоронен соотечественниками на русском участке тунисского христианского кладбища Боржель. Его гроб был покрыт Андреевским флагом с Русской эскадры. Так завершился путь петербуржца, отдавшего всю свою жизнь и талант любимому им Тунису. "Наследие бескорыстного жреца искусства будет всегда находить отклик в сердцах людей" - считает тунисский искусствовед Али Луати.
Работы А.А.Рубцова представлены в столичном музее Туниса, музеях Carnavalet и Petit Palais в Париже. Всего он написал около 3000 картин, акварелей, портретов, мозаик и этюдов. И только четыре его ранние работы, созданные в 1909 - 1912 годах, хранятся на Родине - в Эрмитаже и музее Академии художеств в Санкт-Петербурге.
Сегодня художественное наследие А.А. Рубцова - объект исследований и споров иностранных искусствоведов. Творчество этого художника русского зарубежья знают, почитают и любят в Тунисе и во Франции. Его картины всё выше котируются в самых престижных галереях и салонах.