Im ehemaligen Wohnhaus des Bischofs am Eckturm der Stadtbefestigung, im sogenannten „Grossen Haus“, wurde in der Klosterzeit das Laienrefektorium für die Laienbrüder eingerichtet. 1507 und 1526/27 wurde das „Grosse Haus“ vom Prior Hieronymus Zscheckenbürlin renoviert. Das Laienrefektorium liegt über dem Mönchsrefektorium im 1. Stock. Im 19. Jh. diente es dem Waisenvater als Arbeitszimmer. 1996 wurde der Raum renoviert und die Farben der verschiedenen Anstriche entfernt, so ist er heute wieder in seiner urspünglichen Ausgestaltung.