Окончил Царскосельское Реальное училище, в 1911 г. поступил в Санкт-Петербургский Психоневрологический институт на общеобразовательный факультет. Лекции читали профессора С. А. Венгеров, Н. И. Кареев, Е. В. Де-Роберти, серьезно преподавались гуманитарные дисциплины. До 1917 г. обучался на физико-математическом и историко-филологическом отделениях Петербургского университета. С 1918 г. научный сотрудник Царскосельской художественно-исторической комиссии, в 1919 - 1921 гг. работал в Отделе по охране памятников искусства и старины, в 1921 - 1924 гг. научный сотрудник Русского музея. С 1923 г. заведует художественным отделом Петроградского отделения Госиздата, один из организаторов Общества библиофилов и его председатель. Научный сотрудник Ленинградского Института книговедения и Института книговедения Украинской Академии Наук, член Русского общества друзей книги и т. п.
В 1915 г. в журнале "Северный гусляр" впервые выступает в печати со статьей "Ценность индивидуализма". Помимо стихов и статей оставил богатое литературоведческое наследие: труды о Пушкине, Розанове, Александре Блоке, Алексее Толстом, Михаиле Кузмине, Акиме Волынском, Федоре Сологубе.
Автор изданий для библиофилов ("Портреты", 1926; "Город муз", 1927; "Возникновение Ленинградского Общества библиофилов", 1928; "Диоскуры и книга", 1930), книги "История гравюры и литографии в России" (1923), статей и монографий о портретной живописи в России XVIII в., о творчестве Н. Альтмана, Д. Бурлюка, М. Волошина, М. Врубеля, M. Добужинского, В. Д. Замирайло, Г. Нарбута, Анны Остроумовой-Лебедевой, К. Петрова-Водкина, Н. Рериха, В. Серова. В 1925 г. двумя изданиями вышла книга "Образ Ахматовой"; составитель антологии "Царское Село в поэзии".
В 1933 г. арестован по обвинению во вредительской деятельности ("Дело Иванова-Разумника"). Заключение длилось недолго: Голлербах был оправдан. Скончался 4 марта 1942 г.
