В указе Петра I 1721 года владельцем этого участка на Дворцовой набережной называется Петр Мошков. По его фамилии назван отходящий здесь от берега Невы Мошков переулок. Т. А. Соловьева в книге "Дворцовая набережная" сообщает, что первое здание на участке было построено примерно в начале 1730-х годов для вице-адмирала Захара Даниловича Мишукова. Вероятно, при Мошкове территория пустовала. Но этому противоречит рисунок Марселиуса 1729 года, где местность показана застроенной двухэтажным жилым зданием типового проекта.
Мишуков скончался в 1762 году. Перед смертью он успел продать имение купцу Петру Терентьевичу Резвому. Позже домом владел его сын Дмитрий, который в 1801 году продал участок генерал-адьютанту графу Христофору Андреевичу Ливену. Здесь он проживал со своей супругой Дарьей Христофоровной, урожденной Бенкендорф. Здание на Дворцовой набережной они приобрели вскоре после свадьбы. Через семь лет Ливен был зачислен на службу в Министерство иностранных дел и спустя еще два года уехал с дипломатической миссией в Берлин. С ним уехала и супруга.
В 1810 году у отправившихся в Европу супругов Ливен дом № 20 купил Александр Иванович Соллогуб. Здесь он поселился со своей женой Софьей, которая приходилась племянницей Н. П. Архарову, владевшему в конце XVIII века домом № 24. В доме на Дворцовой набережной прошло детство писателя Владимира Александровича Соллогуба. Сохранились его воспоминания об особняке. Нижний этаж занимал отец, а верхний был за матерью, где была еще и приемная.
Зимой семья Соллогуб жила в Петербурге, а летом снимала дачу в Павловске. В их особняке бывал император Александр I, ценивший беседы с Софьей Ивановной. Здесь же Соллогубы пережили наводнение 1824 года, которое подробно описал Владимир Александрович. В 1830-х годах Соллогубы снимали квартиру в доме № 50 по Большой Морской улице.
В конце 1820-х годов участок перешел дальнему родственнику Соллогубов Кириллу Александровичу Нарышкину. Художником Карлом Брюлловым Нарышкин запечатлен на известной картине с женой Марией Яковлевной как раз в тот период, когда они жили на Дворцовой набережной. Для Нарышкиных дом № 20 перестраивал архитектор А. К. Буржуа.
С 1845 году особняком владела дочь генерала А. Г. Орлова-Чесменского Анна. Для нее здание переделывал архитектор Тибень.
В 1849 году зодчий Г. Э. Боссе обновлял интерьеры, устроил в доме водопровод. В 1856 году вдова титулярного советника Мария Ивановна Алексеева приглашала сюда архитектора Х. И. Грейфана, который внес свой вклад в переустройство дома и построек во дворе. В 1863 году очередные переделки осуществлялись А. Э. Юргенсом.
После М. И. Алексеевой участком владели Сергей Алексеевич и Мария Александровна Долгоруковы, проживающие здесь с детьми. Их старшей дочерью Александрой некоторое время увлекался Александр II.
В 1895 году дом № 20 числился за Александрой Николаевной Нарышкиной. Она была тетушкой будущего советского наркома иностранных дел Г. В. Чичерина. Ее муж, Эммануил Дмитриевич, был внебрачным сыном Александра I и М. А. Нарышкиной. Александра Николаевна владела домом до 1917 года. В советское время здесь были устроены коммунальные квартиры.
