Im ehemaligen Wohnhaus des Bischofs, im sogenannten „Grossen Haus“, wurde in der Klosterzeit das Refektorium für die Mönche im Erdgeschoss eingerichtet. Die Mönche assen hier allerdings nur sonntags gemeinsam. Üblicherweise nahmen sie die Mahlzeiten in der Einsamkeit ihrer Zellen zu sich. 1669 mit dem Einzug des Waisenhauses wurde das Refektorium für die Kinder und Jugendlichen zum Schul- und Esszimmer, letzteres blieb es bis 1990. Seit dann verpflegen sich die intern Wohnenden in den Esszimmern auf den jeweiligen Gruppen. Heute wird das Refektorium wieder als Speisesaal für die Kinder der Tagesstruktur genutzt.