A pesar de que en 1794 se erigió como una casa rústica, en 1798 el soberano decidió transformarla en un lujoso palacete, encargándole las obras a Juan de Villanueva, representante de la estética neoclásica en España, y autor también del Museo del Prado. Al arquitecto mayor del Rey le secundó Isidro Velázquez.
El edificio, de planta rectangular, contó con la incorporación de dos alas laterales, entre las que se extiende un patio de honor, ornamentado con veinte bustos de emperadores romanos.
El Rey Carlos IV supervisó siempre la ornamentación interior, contratando a los mejores artistas de la época, como el ebanista José López, el maestro ensamblador Manuel de Monjas, el dorado José Cherou, el broncista Domingo de Urquiza o pintores como Luis Japelli, que decoraron techos, frisos, alféizares e incluso muebles, puertas y ventanas. También tomaron parte las Reales Fábricas y Talleres y artistas procedentes de París, como el decorador francés Jean-Démosthène Dugourc.
En el cuerpo central del edificio se dispuso un gran salón, lugar de recepción y ceremonias, así como dos escaleras monumentales. Desde el vestíbulo de entrada, la Gran Escalera conduce al piso principal, donde se encuentra la mesa de billar del ebanista Pablo Palencia, que comunica con la galería de las estatuas. Las pinturas, el mobiliario, las estatuas, péndulos y relojes, conforman un repertorio inspirado en la Antigüedad y el Renacimiento, como puede comprobarse con la ornamentación de “Verdures du Vatican”, inspirada en las Logias de Rafael.
Una de las salas más representativas de este estilo es el Gabinete de Platino. Dicho gusto neoclásico se combina con la tradición barroca de los grandes decorados en los techos, como los que realizó Tiepolo en Madrid. Un ejemplo de ello es la Sala de Compañía, destinada a recibir a los altos dignatarios, con su amplia bóveda pintada por Mariano Salvador Maella y Zacarías Velázquez. En el Salón Grande o Salón de Baile domina una alegoría político-mitológica pintada por Maella, titulada El Poder de la Monarquía española en las Cuatro partes del mundo.
