У 30-х гадах XVII стагоддзя на сродкі пінскага старасты князя Альбрэхта Станіслава Радзівіла быў пабудаваны велічны барачны касцёл св. Станіслава з двума вежамі на галоўным фасадзе. Пры манастыры касцёла пачала сваю дзейнасць школа, якую штогод наведвалі да 50 дзяцей мясцовых жыхароў. У тыя поры Пінскі езуіцкі манастыр лічыўся адным з самых заможных у Рэчы Паспалітай. Яшчэ ў 1638 году езуіцкі манастыр атрымаў статут калегіі, дзе акрамя багаслоўскіх выкладаліся і шматлікія іншыя дысцыпліны: замежныя мовы, літаратура, логіка, гісторыя, геаграфія, фізіка і т. д. Значныя сродкі шматлікіх ахвяраванняў, на якія не скупляліся заможныя людзі, марнаваліся на павышэнне ўзроўня выкладання ў калегіуме. Неўзабаве навучальная праграма ўзрасла да пяці класаў. Лепшыя выкладчыкі са ўсёй Еўропы, наяўнасць якаснага абсталявання, а таксама цудоўная бібліятэка зрабілі Пінскі калегіум адным з вядучых навучальных устаноў Усходняй Еўропы. Аўтарытэт манастыру дадавалі друкарня і знакамітая аптэка, якія дзейнічалі тут.
З часам калегіум толькі пашыраўся. У 1694 годзе быў пабудаваны яшчэ адзін трохпавярховы корпус, які пад прамым вуглом прымыкаў да старога будынка манастыра і быў арыентаваны галоўным фасадам на рынкавую плошчу. У падрахунку пабудова атрымала прыгожую Г-вобразную форму. На першым паверсе пабудаванага корпуса размяшчаліся класы, агульная сталовая і гаспадарчыя памяшканні. На другім і трэцім – лабараторыі, бібліятэка, а таксама жылыя памяшканні вучняў і манахаў. Пад калегіумам знаходзіліся вялікія скляпы, якія цяпер часткова засыпаны зямлёй.
Тытулаваная навучальная ўстанова Рэчы Паспалітай прыцягвала плеяду таленавітых вучняў, шматлікія з якіх пасля сталі вядомымі дзеячамі навукі і культуры. Тут вучыліся гісторык і паэт, рэлігійны і грамадскі дзеяч Адам Нарушэвіч; публіцыст і педагог Анастаз Людвік Кярсніцкі; філосаф, рэктар Варшаўскага ўніверсітэта Кароль Вырвіч . Сцены калегіума памятаюць езуіцкага прапаведніка Андрэя Баболю, які ў 1657 г. прыняў пакутніцкую смерць ад рук казакоў, а ў 1853 г. кананізаваны Папам Прыем IX. Яго святыя мошчы былі пахаваны ў крыпте касцёла.
Хвалебная гісторыя Пінскай езуіцкай калегіі перапынілася ў 1773 году, калі Ватыкан распусціў гэты манаскі ордэн. Манастыр быў заняты ўніятамі. З 1800 да 1918 г. тут знаходзіўся праваслаўны Багаяўленскі манастыр, з 1848 г. дзейнічала духоўнае вучілішча, а з 1918 да 1939 г. комплекс прыналежыў каталікам. Найбагатая бібліятэка калегіума была вывезеная ў 1940 г. у Ленінград, а Касцёл Святога Станіслава падарваны ў 1953 г.
Новае жыццё будынку калегіума падарыў Пінскі музей Беларускага Палесся, якому будынак быў перададзены ў 1980 г. Зараз акрамя музея ў будынку калегіума размяшчаецца і дзіцячая харэаграфічная школа.
