Первоначально Пётр I поселился в построенном на скорую руку в 1703 году недалеко от Петропавловской крепости одноэтажном доме. В последствии на этом месте разными императорами в период 1711—1764 годов возводилось пять зимних дворцов. И только в 1762 году появилось существующее в настоящее время здание дворца.