Sinds de 15e eeuw is het Zwanenbroedershuis het thuis van 'Illustere Lieve Vrouwe Broederschap. De broederschap werd opgericht in 1318. In de beginjaren had de Broederschap voornamelijk de taak om liefdadigheid te bedrijven. De bijnaam 'Zwanenbroeders' verkregen zij vanwege de traditie dat men sinds 1384 jaarlijks een maaltijd gebruikte waarbij zwaan op het menu stond. De schenkers van de zwanen, meestal burgers, werden 'zwaanbroeders' genoemd en kregen daarvoor als dank de status van erelid.