Еще одной вехой в истории замка Холирудхаус стал 1795 год, когда дворец был предложен для размещения брата Людовика XIV, к тому времени свергнутого монарха. До сих пор об этом периоде свидетельствуют некоторые предметы интерьера и дворцовой мебели, оставшиеся здесь именно с того времени.
В 1827 году в Шотландию совершил официальный визит король Георг IV, кторый блыл размещен во дворце Холирудхаус. В связи с этим событием власть уделила повышенное внимание состоянию замка и подкрепила свою заботу необходимыми материальными средствами.
При этом внимание было уделено и внешнему виду замка со стороны окрестностей, в связи с чем были удалены все близко расположенные здания, закрывавшие или затрудняющие обзор. И теперь вокруг королевской резиденции раскинулось широкое открытое пространство, радующее глаз и придающее дворцу особое величие.
В годы монаршего правления королевы Виктории замок Холирудхаус уже перестал использоваться для постоянно проживания коронованных особ. Теперь монархи приезжали сюда кратковременно, просто как на отдых в уютное и красивое место. А королева Виктория использовала это место в качестве удобного транзитного пункта во время своих ежегодных поездок в облюбованный ею дворец Белморал.