Отец и дед его были художниками. Пятнадцати лет, по императорскому указу, он отправился, вместе со столярами, резчиками и позолотчиками, в Петербург участвовать в украшении города по случаю бракосочетания наследника престола - будущего Петра III с немецкой принцессой - будущей Екатериной II. Фирсов выполнял "золотарные работы", однако быстро обратил на себя внимание художников.
В 1747 г. он находится уже в "живописной команде" Канцелярии от строений и работает под руководством И. Я. Вишнякова и Д. Валериани.
В 1759 г. Фирсов становится придворным живописцем наследника Петра Федоровича, едет в Ораниенбаум, пишет декорации к оперным постановкам и оформляет некоторые дворцовые интерьеры.
В 1762 г. Фирсова зачисляют в ведомство Дирекции императорских театров, с которым он будет связан до конца своей деятельности.
Его талант был отмечен, и по личному указанию Екатерины II, будучи уже одним из известных русских художников, он был отправлен «в чужие краи на два года для лучшего живописной и театральной науке обучения».
В 1765 г. художник оказался в Париже, в поразившей его атмосфере свободы, независимости, почтительности. Там написал единственное свое достоверное произведение - это знаменитая картина "Юный живописец" (1760-е), одна из первых в русском бытовом жанре.
Судя по лицам, костюмам, обстановке - изображены французы. Мальчик-живописец перед большим мольбертом пишет портрет маленькой девочки, которая устала от долгого позирования. Стоящая рядом с ней молодая женщина, вероятно, уговаривает ее посидеть еще немного. Фирсов замечательно передает естественность поз и движений.
Мастерскую заливает ровный солнечный свет. На стенах - картины, на столе - женский мраморный бюст, несколько книг и манекен из папье-маше, изображающий фигуру человека.
В русской живописи того времени трудно найти столь же непринужденно, свободно переданное пространство. Колорит картины розово-серый, серебристый. Конечно, Фирсов был знаком с живописью Ж.-Б.-С. Шардена, однако просто подражателем не стал. Он заимствовал главный художественный принцип - увидеть поэзию повседневности и запечатлеть, остановить жизнь в момент ее наибольшей одухотворенности.
Фирсов пробыл в Париже лишь два с небольшим года. Он нередко терпел "крайнюю нужду", так как деньги из России во Францию поступали с большими задержками.
Тяжело сложилась судьба художника по возвращении в Россию. Работа театрального декоратора - за мизерное жалованье, без выходных и праздников, под началом третьестепенных иностранных художников - вконец истощила его здоровье. В 1784 г. он заболел тяжелым психическим расстройством, и никаких сведений о его дальнейшей судьбе не сохранилось.