Caen, Refuge (1641-1976)