Budova již jen velmi málo připomíná zámek, natož hrad, který zde vznikl patrně již při zakládání Šumperka. Od města byl oddělen příkopem, který probíhal před dodnes patrnou průjezdní bránou. Na hradě sídlili většinou pouze purkrabí pověřeni správou majetku. Zástavní držitelé města se v něm začali trvaleji usazovat až v 15. století. Dvě mimořádné události se odehráli, když Šumperk získali Tunklové z Brníčka. Ti přebudovali starý hrad na zámek a jeho prostory nabídli ke konání sjezdu moravských pánů, kteří se zde 4. června 1490 sešli také se zástupci slezských stavů, aby dohodli společnou volbu Vladislava Jagellonského na český trůn. Na pamět této události se od roku 1998 pořádají slavnosti šumperského sněmu. Tunklové byli velice draví, lační majetku i společenské prestiže. K poddaným se chovali bezohledně a tentýž postup uplatňovali i proti hrdým šumperským měštanům, kterým krátili jejich stará privilegia. Trpělivost Šumperských přetekla někdy na začátku roku 1494, kdy Jiřího Tunkla i s jeho služebnictvem napadli a jak zaznamenal událost Viktorin Kornelius ze Všehrd: "svého pána jsou porazili, zranili a skoro zabili, takže jest od toho zbití nevstávaje, umřel". Kornélius se ovšem dopustil zásadní nepřesnosti, když ve své zprávě umístil událost na Zábřežsko. Chybu převzal František Palacký a od něj se dostala do učebnic dějepisu. Byla to neslýchaná troufalost - první větší poddanská vzpoura proti vrchnosti v dějinách českého království a tak na potrestání viníků, které mělo být exemplární, měl zájem samotný král. Šumperští však uprchli do lesů, odmítli se dostavit k soudu a v listě zemským stavům se dovolávali Božího soudu, neboť On "ne podle urozenie, než podle skutkóv a spravedlnosti súdí". Měštané nakonec zřejmě vyvázli bez větší úhony a Tunklové zástavu na Šumperk prodali Žerotínům. Ti drželi zámek až do roku 1569 kdy si ho koupili měšťané. Objekt se pak stále více používal k hospodářským zájmům - byl zde například pivovar a solnice, takže postupně pustl. Od poloviny 19. století až dodnes slouží zámek ke školním účelům. V tomto místě vypukl 7. května 1669 již několikrát zmiňovaný požár. Tehdy zde stál dům purkmistra Krembse, jehož ženě Justině (údajně opilé) se při pečení vznítilo v pánvi máslo. Nešťastnice vyhodila nádobu z okna přímo na šindelovou střechu sousedního domu, který stál blíž k zámku. Silný vítr záhy požár rozfoukal po celém městě a také na předměstí. Justina Krembsová zemřela na silné popáleniny.
V současné době sídlí v budově původního zámku střední odborné učiliště.
