La torre Oddo è una costruzione che caratterizza da secoli il panorama ingauno arrivato quasi immutato fino ai giorni nostri. Si suppone che possa essere stata realizzata tra il XII e il XIV secolo, epoca in cui le famiglie della città si impegnano nella costruzione di case torri grazie al momento economico favorevole dato dallo sviluppo delle attività marittime. Le case torri sono strutture a carattere abitativo che per il loro sviluppo verticale venivano anche utilizzate per intraprendere azioni offensive-difensive. Erano dunque un simbolo evidente della potenza della famiglia che la costruiva e le abitava.
La torre è alta circa 30 m e ha una base quadrata di 4x4 m; essa è quindi di piccole dimensioni se paragonata alle altre torri cittadine. In comune con esse ha invece la base lapidea sulla quale è costruita una struttura in mattoni. Il mattone a differenza della pietra è più economico, leggero e facile da trasportare. Fino all’altezza di 15 m è inglobata nell’adiacente Palazzo Oddo. Per questo motivo, il lato sud e quello est sono stati dotati di aperture che permettono la comunicazione tra le due strutture. La torre, che si conserva ancora intatta, possiede un’altra particolarità: può essere considerata come l’unico esempio di torre intonacata e decorata fino alla sommità. La parte facente parte della facciata è datata al XVIII secolo, mentre la parte superiore in mattoni è stata dipinta forse nel corso del XIX secolo con un motivo a finte bifore. Infine, all’ultimo piano, ogni lato della torre presenta una bifora romanica. La torre è chiusa da una volta a crociera ed è coronata una merlatura ghibellina (a coda di rondine) – testimonianza della scelta di parte della città ingauna – che appoggia su una semplice cornice aggettante.
Purtroppo, prima del XVII non abbiamo fonti documentarie su questa torre che invece comparirà in seguito nelle rappresentazioni della città sia letterarie sia artistiche, come nell’affresco perduto: Albenga sotto la protezione della Vergine, a noi giunto solo in forma di riproduzione fotografica. Probabilmente la struttura, fin dalle sue origini, fu di proprietà della stessa famiglia Oddi. Il primo documento che attesta l’esistenza della torre è un lascito testamentario del 1625 con il quale Gian Maria Oddi, dottore in legge, dona la torre e il Palazzo alla città affinché vengano utilizzati per la creazione di una scuola superiore e di un collegio, quest’ultimo rimasto attivo fino al XX secolo. Il lascito comprendeva tuttavia due clausole: la prima stabiliva che venisse data la possibilità a dodici ragazzi albenganesi, meritevoli ma con scarsi mezzi, di frequentare gratuitamente le lezioni. La seconda, imponeva la costruzione di una chiesa vicino al Palazzo intitolata a San Carlo Borromeo, patrono dei maestri, affinché potesse essere facilmente frequentata dagli studenti. Essa, edificata nel 1637, sarà in seguito collegata direttamente al Palazzo. Quando il collegio, poi ginnasio, venne spostato nel 1940 all’interno dell’edificio “Paccini”, fuori le mura cittadine, la struttura fu utilizzata fino al 1955 come convitto e le aule dismesse come biblioteca. Il Palazzo rimase chiuso e in abbandono fino al 1979, quando venne acquistato dal Comune di Albenga per procedere al suo restauro - conclusosi solo nel 2006 per controversie burocratiche- e poter quindi trasformare l’edificio in un centro culturale.
Oggi il Palazzo è gestito dalla Fondazione Gian Maria Oddi. Nel palazzo sono ospitati: la mostra Magiche Trasparenze: i vetri dell'antica Albingaunum, la Biblioteca Civica intitolata a Simonetta Comanedi, l’associazione Musikalische Wunderkammer e l’Unitre. L’ultimo piano viene utilizzato per mostre temporanee e sala conferenze. La chiesa di San Carlo è attualmente sconsacrata e adibita ad auditorium.