Родившийся в селе Селезень Тамбовской губернии, он учился в Петербурге в Академии художеств (1856—1864), по окончании которой получил звание свободного художника. В это же время зарождается новый вид изобразительного искусства — фотоискусство. Молодой А. Карелин добивается в нем настолько серьезных успехов, что в 1876 году получает необычное звание — «фотограф Академии художеств».
В дальнейшем А.О. Карелин посвящает себя обоим видам искусства, создавая в живописи Завод В.И. Рагозина в Балахне, портреты жены, О.Г. Карелиной, В.И. Демидова, А.В. Демидова, основателя Калужского художественного музея, доктора Н.И. Васильева, Л.Н. Пусторослевой, С.С. Теплова и др.; в художественной фотографии: портреты Д.И. Менделеева, В.Г. Короленко, И.С. Тургенева, А.М. Горького, В.В. Верещагина, И.И. Шишкина, К.Е. Маковского и др. За свои фотографические работы А.О. Карелин неоднократно получал золотые медали на международных выставках. Живя с 1866 года в Нижнем Новгороде, он немало способствовал развитию культурной жизни города. В 1869 основал фотографическое заведение и одновременно художественную мастерскую-студию (впоследствии — школа рисования), в которой преподавал до своих последних дней.
В 1896 году благодаря стараниям и А.О. Карелина в Нижнем Новгороде открылся Городской художественный и исторический музей, значительную часть первоначальной коллекции которого составили предметы русской старины, собранные мастером живописи и художественной фотографии, большим патриотом страны и своего города.
Родился 16 июля (4 июля по с. с.)1837 года в Солдатской слободе (ныне село Селезни) Тамбовской губернии и был внебрачным сыном государственной крестьянки Татьяны Ивановны Карелиной.
В 1847 году он был отправлен в Тамбов учиться иконописи. В 1857 году поступил в Санкт-Петербургскую академию художеств. В это время он начинает заниматься фотографией. В 1863 Карелин получил две малые серебряные медали Академии художеств «За успех в рисовании» за этюд с натуры и рисунок с натуры. В 1864 году он завершил учёбу и был удостоен звания свободного неклассного художника.
В 1865 году он с женой Евгенией Никитичной и детьми Людмилой и Аполлоном переехал из Санкт-Петербурга в Кострому. В Костроме он занимался портретной и церковной живописью, давал уроки живописи. В то же самое время он работал в фотомастерской М. П. Настюкова. В 1866 году при родах умирает жена, оставив сына Андрея. Вскоре Карелин с тремя детьми и второй женой Ольгой Григорьевной, урожденной Лермонтовой (родственницей М. Ю. Лермонтова) переехал в Нижний Новгород. В Нижнем Новгороде у них родилось трое детей: Ольга, Татьяна, Рафаил.
В Нижнем Новгороде он открыл свою рисовальную школу и преподавал в ней до 1905 года. В 1869 году, Карелин открыл свою фотомастерскую «Фотография и живопись».
В 1870 году Карелин вместе с живописцем И. И. Шишкиным создал альбом «Нижний Новгород». На Нижегородской ярмарке он открыл свой павильон и постоянно работал в нём.
В 1873 году он принял участие в VI Всемирной выставке художественной фотографии в Вене.
В 1876 году за портреты и этюдные фотографии с натуры на Специальной выставке французского фотографического общества в Париже он был награжден Большой серебряной медалью. Кроме того получил бронзовую медаль на Всемирной международной выставке в Филадельфии, посвященной 100-летию освобождения североамериканских Соединенных штатов, а на Специальной выставке Эдинбургского фотографического общества он быыл награждён дипломом и золотой медалью Королевской академии в Эдинбурге.
В 1878 году Карелина приняли в члены Французской национальной академии искусств.Он был награждён дипломом Французского фотографического общества и золотой медалью на VIII Всемирной выставке в Париже.
В 1879 году император Александр III пожаловал его золотой медалью для ношения на шее на Станиславской ленте «за полезное участие в Парижской Всемирной выставке», кроме того, он был награждён почётным дипломом Национальной Академии сельского хозяйства, мануфактуры и коммерции за ранее полученные награды первой степени в Париже.
В дальнейшем он неоднократно удостаивался высоких наград на различныых выставках. В 1886 году выпустил фотоальбом «Виды Нижнего Новгорода». В 1887 году возле Юрьевца он сумел сделать серию фотографий полного солнечного затмения.
В 1898 году изготовил диапозитивы для демонстрации в школах с помощью «волшебных фонарей».
Карелин был избран членом большого числа различных обществ: от Нижегородского общества любителей художеств до Императорского общества любителей естествознания, антропологии и этнографии.
Скончался 12 августа 1906 года и был похоронен на кладбище Крестовоздвиженского женского монастыря.
