Un premier Hôtel des Douanes avait été construit de 1723 à 1726.

Le bâtiment représenté fut inauguré en 1837 sur les plans de Isabelle, architecte à Paris. Les 2 grandes statues sur la façade étaient dues à David d'Angers. Elles symbolisaient la Navigation et le Commerce.

Il fut démoli le 30 mai 1944 par un bombardement. Cent quarante personnes qui s'étaient réfugiés dans ses caves y périrent.

Une nouvelle douane, plus à l'est, fut inaugurée en 1964. Les bas-reliefs entourant la porte principale ont été réutilisés sur le pignon de la Halle aux Toiles reconstruite après la guerre. Les 2 statues de David d'Angers restaurées sont conservés aux Musée des Beaux-Arts.