В 1717 году участком владел корабельный подмастерье Филипп Петрович Пальчиков, довольно известный в своей профессии. Участок он купил («а год неизвестен») от двух человек: Василия Петровича Штапа (?) и подьячего Федора Слащова. Корабел каменное здание строить не стал и предпочел поселиться на более престижной Немецкой (затем Миллионной) улице, продав свое владение ундер-лейтенанту флота князю Никите Ивановичу Долгорукову.
Князь строительством занялся и к 1738 году возвел на берегу Невы небольшой, всего в пять осей, каменный двухэтажный, на подвалах, дом, входом в который служил двухмаршевый сход. Как во многих окружающих домах, фасад был декорирован рустованными лопатками и барочными наличниками на окнах. Дому изначально был присущ очень скромный вид.
Так как Долгоруков служил по морской части, то в его доме в 1740-е годы размещался «низший совет Адмиралтейств-коллегии». Возможно, он действовал и позднее. Хотя дом сдавался внаем, в источнике от 1764 года князь все еще называется его хозяином. Однако три года спустя мы видим иную картину – за долги дом конфискован у «голштинского коммерции советника Герарда Гетты». Вероятно, советник приехал в Петербург вслед за голштинским принцем Карлом-Петром, будущим императором Петром III, но фортуна ему не улыбнулась.
Казна в течение многих лет безуспешно пыталась продать здание через газетные объявления. В конце концов, 10 октября 1776 года Екатерина II подарила запущенный особнячок в 12 покоев своему придворному врачу Джону Роджерсону, о котором уже рассказывалось в статье, посвященной дому № 60 по Английской набережной (см. «Санкт-Петербургские ведомости», 28.11.2008). Лейб-медик, прожив девять лет в пожалованном доме, продал его и в очередной раз уехал на побывку в Англию. Покупателем стал иностранный купец Яков Овандер, но уже в 1789 году он перепродал дом Сарре Браун, жене английского негоцианта и сестре известного банкира Сутерланда.
Торговля у купца, по-видимому, ладилась, и он только в июне 1819 года расстался с полюбившимся владением, уступив его за 60 тыс. руб. генерал-майорше Елизавете Михайловне Циммерман. Минуло всего полгода, и дом перешел в руки коллежского советника Ивана Ивановича Либериха, родом явно немца. Перешел тоже ненадолго: в 1822 году за полную перестройку всех зданий на участке взялся новый хозяин – князь Александр Яковлевич Лобанов-Ростовский (1788 – 1866), для которого О. Монферран недавно возвел рядом с Исаакиевским собором огромный Дом со львами, где поначалу хранились богатые коллекции князя.
Во дворе на набережной был построен флигель, на Галерной – двухэтажный корпус. Переделке подверглись также фасад в стиле безордерного классицизма и интерьеры главного дома. Автором был опытный архитектор Франческо (Франц Иванович) Руска. С 1824 года особняк владелец сдавал внаем. Через два года он отправился на русско-турецкую войну как командир лейб-гвардии Гусарского полка, а после ее окончания уехал в свой любимый Париж. Там он много работал в архивах и библиотеках и стал отличным знатоком жизни английской королевы Марии Стюарт.
Дом на набережной Лобанов-Ростовский в 1830 году продал жене Иоганна (Ивана Давидовича) Гардера (1797 – 1871), сына военного медика, а сам поселился у брата на Большой Морской улице, 31, где находился также основанный им российский яхт-клуб. Жена Гардера Наталья Людвиговна была дочерью придворного банкира Штиглица и сестрой будущего владельца роскошного дворца на Английской наб., 68. Ее муж со временем получил дворянство и сделался генконсулом Нидерландов в Петербурге. Брат Гардера – Логин – писал стихи и переводил А. С. Пушкина на немецкий язык.
После смерти мужа вдова за 120 тыс. руб. продала особняк 27 октября 1872 года частному коммерческому банку, который уже восемь лет (сразу после основания) в нем размещался. Здесь же проживал и директор банка коммерции советник Е. Е. Брандт. Для банковских служащих зодчий В. Е. Стуккей в 1864 году пристроил небольшой флигель к корпусу на Галерной, а Л. Фонтана в 1887 году – такой же во дворе справа. На главном фасаде вывеска банка висела до лета 1914 года, когда здание по купчей перешло к графу Георгию Александровичу Бобринскому (1863 – 1928), генерал-лейтенанту, служившему в Военном министерстве.
После того как в Первой мировой войне императорская армия заняла Галицию, граф в октябре 1914 года был назначен ее военным генерал-губернатором, заявив при этом: «Я буду здесь вводить русский язык и строй», что местное население горячо приветствовало. Через год край вновь заняли австрийцы, и Бобринскому пришлось покинуть Львов. Он продолжал воевать, но в 1919 году вынужден был эмигрировать во Францию, где и умер, не увидев, как новая власть изуродовала его петербургский особняк, начатый капитальной перестройкой по проекту А. Я. Белобородова, молодого выпускника Академии художеств.
Этот проект был утвержден 5 ноября 1915 года и начал медленно осуществляться, несмотря на военное время. Согласно проекту, выдержанному в стиле неоклассицизма, старый дом надстраивался, фасад украшался композитными пилястрами и барельефными вставками, на крыше устанавливалась балюстрада...
Интересный архитектурный замысел, к сожалению, остался на бумаге. Достроить дом с сильно упрощенным фасадом было в 1928 году поручено артели «Интехстрой», устроившей коммуналки. Белобородов это уродство не увидел – он жил в эмиграции в Париже. За границей талантливый зодчий строил мало, писал в основном пейзажи и оформлял книги.
Умер он после войны в Риме, приняв католичество.