Benjamin de la famille Siegfried, Ernest est associé en 1867 à l’entreprise Siegfried Frères fondée par ses aînés Jules et Jacques, et destinée au négoce du coton. L’entreprise devient la Compagnie cotonnière en 1893. L’homme multiplie les fonctions dans différentes entreprises notamment liées au coton, riz ou café au Havre.
De son union avec Émilie Schlumberger (1848-1928), issue d’une autre grande famille protestante mulhousienne, naît une fille unique, Hélène, qui épouse Olivier Senn en 1892. Voulant railler les goûts artistiques de son gendre, il achète au Salon des indépendants de 1905 cinq toiles parmi celles qu’il juge les plus laides et les plus loufoques.

Frère aîné d’Olivier Senn, Maurice Senn est resté célibataire et sans descendance après deux projets de mariage avortés. Il prend la suite des affaires de son père et devient lui-même courtier assermenté en coton, dans des bureaux sis rue de la Bourse au Havre.
Il se retire des affaires au lendemain de la Première Guerre mondiale et vit chez ses parents, 55 rue Félix Faure, jusqu’à leur décès. Passionné de théâtre et de poésie, il communique son amour de la musique et du chant à sa nièce Alice, dont il est proche, en l’emmenant régulièrement assister aux opéras qui sont donnés au Grand-théâtre du Havre.

Docteur en droit, Olivier Senn rejoint en 1895 la Compagnie cotonnière fondée par son beau-père Ernest Siegfried sur les fondations de la maison de négoce Siegfried Frères et y bâtit sa fortune. Il adhère en 1896 à la Société des amis des arts et commence à constituer une collection qui s’ouvre sur des oeuvres majeures de Delacroix et de Courbet et s’achève sur des oeuvres contemporaines de Maurice Denis, Albert Marquet ou Dunoyer de Segonzac. Senn s’attache à constituer des ensembles représentatifs d’artistes qu’il affectionne, tels Degas, Boudin, Cross, Vallotton, Guillaumin ou Sérusier et soutient activement plusieurs d’entre eux, notamment Cottet ou Lacoste.
La collection de cet amateur fin et éclairé compte à son décès en 1959 plus de cinq-cents oeuvres, répartie entre ses deux enfants, Alice Rufenacht, et Édouard Senn.

Unique fille d’Olivier et Hélène Senn, Alice a grandi au Havre bercée par la musique contemporaine de Claude Debussy ou Maurice Ravel. Soutenue par ses parents mélomanes, elle reçoit, dès l’âge de quatre ans et demi, des leçons quotidiennes de solfège et de piano et développe rapidement d’exceptionnelles aptitudes pour la musique. De son union avec Rodolphe Rufenacht en 1918 naissent cinq enfants, quatre filles et un garçon : Antoinette, Jacqueline, Suzanne, Jean et Liliane. Au début des années 1940, la famille émigre aux États-Unis. Après le décès de Rodolphe en 1949 et une dizaine d’années passées à New York, Alice décide de partir vivre à Tucson en Arizona, une région plus propice à son état de santé. C’est là qu’à la faveur de la succession de son père Olivier Senn, une partie de la collection sera réunie en 1960, dialoguant avec certaines oeuvres d’artistes de l’ouest américain.

Dernier des enfants d’Olivier et Hélène Senn, Édouard inscrit ses pas dans ceux de son père et devient négociant en coton. De son union avec Suzanne Harlé, naissent cinq enfants dont Hélène Senn-Foulds, à l’origine des donations de 2004 et 2009. Passionné d’économie, il oeuvre au développement de l’industrie cotonnière en Afrique francophone. Il fait évoluer le périmètre de la collection héritée de son père en 1959 et constitue sa propre collection d’art contemporain.
Comme son père, il s’attache plus particulièrement à quelques artistes avec lesquels il entretient une relation directe, comme Endre Rozsda ou Étienne Hajdu.

Issu d’une famille de négociants en coton d’origine protestante, Rodolphe Rufenacht choisit le métier des armes et devient lieutenant au 329e régiment d’infanterie du Havre. En 1918, il épouse Alice Senn, fille d’Olivier et Hélène Senn. Cinq enfants, quatre filles et un garçon vont naître de leur union. Blessé à plusieurs reprises pendant la Première Guerre, Rodolphe va perdre ses camarades les plus proches et en premier lieu Ernest Senn, le frère aîné d’Alice, avec lequel il a noué une solide amitié depuis leur rencontre au lycée du Havre en 1905. Après la Première Guerre, Rodolphe multiplie les fonctions d’administrateur au sein de différentes sociétés, comme la Compagnie Fernand-Lehoux avec ses succursales à Douala et Abidjan, la Société commerciale interocéanique avec ses comptoirs à Madagascar et en Côte d’Ivoire et la Compagnie cotonnière aux côtés de son beau-frère Édouard Senn.

Au décès de son épouse Antoinette Rufenacht, petite-fille d’Olivier Senn, en 1996, Pierre-Maurice Mathey hérite de dix-sept oeuvres de la collection originale d’Olivier Senn.
Sans héritiers directs, M. Mathey informe dès 2005 le maire du Havre, Antoine Rufenacht, son cousin par alliance, qu’il souhaite léguer ces oeuvres à la Ville du Havre. Pierre-Maurice Mathey décède à Genève, le 20 février 2015, quelques mois après avoir levé la réserve d’usufruit qui assortissait la donation. Cette donation, constituée de dix peintures et sept dessins, dont des oeuvres de Boudin, Pissarro, Degas, Guillaumin, Cross ou Marquet, enrichit de manière très cohérente le fonds donné par Hélène Senn-Foulds et fait entrer deux nouveaux artistes dans le musée : Maurice Utrillo et Victor Vignon.