L'abbazia di San Fruttuoso sorge a Capodimonte, in una profonda insenatura aperta verso sud, nella frastagliata costa del Monte di Portofino. E' incorniciata da una vegetazione ricchissima di specie.
Il primo cenobio di cui restano tracce consistenti denota influenze bizantine. Infatti la cupola della torre campanaria ("nolare") della chiesa ha forma di calotta sferica. Con evidente significato rituale, il centro della cupola corrisponde alla sorgente d'acqua.

Gran parte dell'attuale abbazia risale però alla fine del X secolo - inizio XI, alla ricostruzione voluta da Adelaide, vedova di Ottone I. Nella nuova chiesa, la torre nolare include la cupola bizantina in una "camicia" ottagonale. Il complesso comprendeva anche un chiostro ad un solo ordine, al cui lato ovest era addossato un corpo forse adibito a sala del Capitolo.

Alla fine del XIII secolo, la storia di San Fruttoso si intreccia con quella della famiglia Doria, che contribuisce alla costruzione di un nuovo corpo, verso mare. Per riconoscenza, i monaci consentono l'inserimento, in un ambiente che dà sul chiostro, di un sepolcreto di famiglia.
Grandi interventi nel Cinquecento. Andrea Doria demolisce le due ali est ed ovest, sopraeleva il piano della chiesa, interrando l'originario livello. Il chiostro, cui nel XII secolo era stato aggiunto un secondo ordine, viene coperto a volta.
Inoltre, in cambio del giuspatronato su Capodimonte, Andrea promette a papa Giulio III di costruire una torre a difesa dell'abitato e dell'abbazia. La promessa viene mantenuta dai figli (1562). Poi la decadenza. Alla fine del Cinquecento l'interno dell'abbazia viene suddiviso in alloggi, affittati a famiglie locali.

La fronte del XIII secolo, dopo i recenti restauri, che hanno riproposto le caratteristiche architettoniche dell'edificio romanico-gotico. L'irregolarità delle campate del portico ad arcate, dovuta alla posizione delle rocce su cui poggiano i plinti di fondazione, si ripete anche nella disposizione delle finestre che evidentemente seguiva la disposizione interna. Questa libertà compositiva, comunque equilibrata, toglie alla facciata la severa schematicità di altri edifici coevi, quasi fosse una architettura "spontanea".

Nella facciata restaurata, le aperture, eliminati i vecchi serramenti di legno, sono state dotate di cristalli scorrevoli a struttura invisibile, in modo da restituire alle trifore la purezza delle linee architettoniche. La copertura, come in tutta l'abbazia, è stata ricostruita con materiali e strutture tradizionali.

Nel corpo a mare sono stati inseriti tiranti d'acciaio per agganciare la facciata alla strutture retrostanti più salde. Sono stati rinforzati anche i plinti di fondazione. Le trifore ad arco acuto sono state ripristinate dal restauro condotto dalla Soprintendenza nel 1933, con largo impegno di materiali nuovi, sul modello di quelle sopravvissute. Liberate ora dai pesanti serramenti di legno, consentono, dall'interno dei due museali, un'ampia veduta del mare e della costa.