Il palazzo fu costuito per volere del Cardinale Domenico della Rovere tra il 1480 e il 1490, probabilmente dall'architetto Baccio Pontelli e anticamente si affacciava su piazza Scossavalli.
Il modello di ispirazione fu senza dubbio Palazzo Venezia. La facciata presenta una torre quadrangolare sul lato sinistro e secondo quanto dice Vasari esisteva una decorazione graffita che purtroppo non è più conservata. Il nome attuale venne aggiunto al tempo di Alessandro VII quando vi trasferì i confessori con particolari poteri di assoluzione detti appunto penitenzieri.
Oggi il piano nobile è sede dell'Ordine Equeste del Santo Sepolcro e presenta preziosi affreschi opera del Pinturicchio e della sua scuola.
Alcuni dei saloni interni hanno affreschi con ardite finte architetture come la Sala del Gran Maestro e la Sala dei Mesi, mentre è celebre la sala con il Soffitto dei Semidei con una serie di lacunari dipinti e dorati con figure mitologhiche e allegoriche realizzate da Pinturicchio.