Ejendommens grundsten blev lagt i 1752 på bestilling af Johann Hartwig Ernst von Bernstorff. Han måtte først søge godkendelse til byggeriet hos Nicolai Eigtved, som var hovedarkitekten bag Frederiksstaden. Byggeriet indgik dog allerede i planerne, som sammen med Dehns Palæ på modsatte hjørne skulle være et bindeled mellem Marmorkirken og Amalienborg Slotsplads. Arkitekten Johann Gottfried Rosenberg fik til opgave at tegne og opføre begge palæer – muligvis efter anbefaling fra Eigtved.
En guddommelig udsigt
Udsigten direkte til Marmorkirken vidner om Bernstorffs indflydelse og økonomiske formåen, mens palæets ydre fortæller historien om Eigtveds og Bernstorffs fælles rokokoperspektiv. Bernstorff udsmykkede indvendigt med franskfremstillet interiør inspireret fra sit ophold i Frankrig.
Ejendommen gennemgik i årene fra 1829 en ikke nærmere beskrevet ombygning – med Jørgen Hansen Koch som hovedarkitekt. Håndværkere fandt ved en gennemrenovering i 2017 et depot med rokokointeriør, som kan spores tilbage til Jørgen Hansen Kochs tid.
Det vedbevarede Bernstorffs Palæ er med sit æstetiske og naturskønne haveanlæg en unik tidslomme i Frederiksstaden.