Palác Whitehall
Ve 13. století se Westminsterský palác stal centrem vlády v Anglii a od roku 1049 byl hlavním londýnským sídlem krále. Okolí se stalo oblíbeným a drahým místem. Arcibiskup z Yorku Walter de Grey zakoupil nedalekou nemovitost jako svou londýnskou rezidenci krátce po roce 1240 a nazval ji York Place.
Král Eduard I. několikrát pobýval na York Place, zatímco ve Westminsteru probíhaly práce, a rozšířil jej pro svůj doprovod. York Place byl v průběhu 15. století přestavěn a kardinálem Wolseyem rozšířen natolik, že mu jako největšímu domu v Londýně, včetně královských londýnských paláců, konkuroval pouze Lambeth Palace. Proto když král Jindřich VIII. v roce 1530 kardinála odstavil od moci, získal York Place místo Westminsteru (jehož královská obytná neboli „privátní“ část byla v roce 1512 zničena požárem) jako své hlavní londýnské sídlo a ve společnosti Anny Boleynové si prohlédl jeho majetek. Název Whitehall nebo White Hall byl poprvé zaznamenán v roce 1532; měl původ v bílém kameni použitém na stavbu budov.
Král Jindřich VIII. najal vlámského umělce Antona van den Wyngaerdeho, aby York Place přepracoval a ještě za svého života jej rozšířil. Inspiroval se Richmondským palácem a zahrnul do něj sportovní zařízení s kuželníkem, krytým skutečným tenisovým kurtem, jámou pro kohoutí zápasy (na místě Úřadu vlády, Whitehall 70) a tiltyardem pro rytířské zápasy (dnes místo Horse Guards Parade). Odhaduje se, že během 40. let 15. století bylo vynaloženo více než 30 000 liber (v dnešní hodnotě několik milionů), což je opět o polovinu více než výstavba celého Bridewellského paláce. Jindřich VIII. si v paláci vzal dvě ze svých manželek – Annu Boleynovou v roce 1533 a Janu Seymourovou v roce 1536 – a v lednu 1547 zde zemřel. V roce 1611 se v paláci konalo první známé představení hry Williama Shakespeara Bouře.
James VI. a I. provedli v budovách významné změny, zejména v roce 1622 postavili nový Banqueting House podle návrhu Iniga Jonese, který nahradil řadu předchozích banketních domů z doby Alžběty I. Jeho výzdoba byla dokončena v roce 1634 dokončením stropu od sira Petra Paula Rubense na objednávku Karla I. (který měl být před budovou v roce 1649 popraven). V roce 1650 byl palác Whitehall největším komplexem světských budov v Anglii s více než 1 500 místnostmi. Jeho uspořádání bylo nepravidelné a jeho jednotlivé části byly různě velké a v několika různých architektonických stylech, takže připomínal spíše malé město než jednu budovu. Nepravidelnost budov zvyšovala záliba dvořanů přistavovat k přiděleným obydlím buď na vlastní náklady, nebo na náklady krále. Sir Stephen Fox, úředník zeleného plátna Karla II. získal v 60. letech 16. století od Úřadu prací povolení k přístavbě tří místností, které mu byly přiděleny. Než byl hotov, postavil velkolepé sídlo s kočárovnou, stájemi a výhledem na Temži, a to vše v rámci palácové sítě.
Karel II. zadal menší práce. Stejně jako jeho otec zemřel v paláci – ale na mrtvici. Jakub II. si u sira Christophera Wrena objednal různé úpravy, včetně kaple dokončené v roce 1687, přestavby královniných apartmánů (cca 1688) a královnina soukromého bytu (1689). Katolická kaple Jakuba II. postavená v období zuřivého protikatolicismu v Anglii vzbudila po svém dokončení v prosinci 1686 mnoho kritiky, ale také úcty. Strop byl vyzdoben 8 132 kusy plátkového zlata a na východním konci lodi dominoval místnosti obrovský mramorový oltářní obraz (40 stop vysoký x 25 stop široký), který navrhl Wren a vyřezal Grinling Gibbons. Deníkář John Evelyn si poznamenal: „Nevěřil bych, že někdy uvidím takové věci v paláci anglického krále poté, co se Bohu zalíbilo osvítit tento národ.“