Pałac powstał w XVII wieku. Pierwotnie był przeznaczony dla odpoczynku króla Filipa IV. W swojej historii przeszedł kilka remontów. Obecnie budynek został przekazany Muzeum Prado, które zamieściło tu swoje zbiory malarstwa z XIX wieku.