W okresie książęcym, za rządów Albrechta Hohenzollerna zamek w Działdowie pozostawał w dobrym stanie. Za sprawą przybyszy z Czech w 1549 roku rozpoczęto budowę wodociągu. Niedługo później w latach 1562-1566 na działdowskiej twierdzy przebywał hrabia Rafał Leszczyński, który pełnił funkcję starosty i był dzierżawcą Działdowa. Z kolei w 1583 roku, za sprawą księcia Jerzego Fryderyka, rozpoczęto przebudowę zamku i urządzanie nowych komnat w stylu renesansowym. Z rysunków P. Lemkego z 1676 roku wynika, że prace remontowe dotyczyły głównie narożnej baszty bramnej, bramy wjazdowej, elewacji skrzydła północno-wschodniego oraz wewnętrznych krużganków. Z projektów Lemkego można się również dowiedzieć do czego były przeznaczone poszczególne pomieszczenia. Z czasów krzyżackich zachowała się kuchnia, a na I piętrze Domu Dużego kancelaria i kaplica. W skrzydle północno-wschodnim na dole funkcjonowały piekarnia, browar i magazyn solny, a na piętrze ulokowano salę reprezentacyjną. W skrzydle znajdującym się po przeciwnej stronie były mieszkania. W centralnej części przedzamcza znajdował się ogród zamkowy. W 1628 roku wybudowano nową łaźnię z pralnią i wielki komin kuchenny. Od 1636 roku nowym dzierżawcą kompleksu został Reinhold von Rosen. Ród Rosenów rzadko przebywał w mieście, a na zamku widać było coraz więcej zniszczeń. Dodatkowo Działdowo stało się areną walk podczas potopu szwedzkiego. Sam król Karol X Gustaw stacjonował na zamku w Działdowie zimą 1655-1656 r. Przyjmował tam poselstwa z Turcji, Anglii, Rosji i Siedmiogrodu. To tureckie zostało uwieńczone na miedziorycie Erika Dahlberga. Pod koniec XVII wieku na zamku były widoczne popękane mury pruskie i nieszczelny dach, ponadto mocno zaniedbane były również komnaty. Zniszczenia potwierdza raport z inwentarza, który w 1677 roku przeprowadził Wilhelm Bleynagel. Proces upadku kompleksu przyspieszył fakt, że starostowie i zarządcy przebywali w nim jedynie okazyjnie. Mieszkali zwykle w swoich majątkach lub przebywali na zamku w Nidzicy, jeśli łączyli te dwa urzędy. Dawna działdowska twierdza zaczęła się stopniowo przekształcać w zakład gospodarczy. W 1703 roku zamek ucierpiał podczas najazdu na miasto Szwedów. Po tej wojnie kaplicę przekazano gminie reformowanej, a kaznodziei przydzielono na zamku izbę mieszkalną. Główny budynek wraz z przedzamczem odnowiono częściowo w XVIII wieku. Powstały wówczas nowe budynki gospodarcze i wyremontowano sale zamkowe. W 1771 roku dzierżawca zamku przeprowadził się do nowego domu urzędowego w Księżym Dworze. Przeniesiono tam folwark królewski wraz z zabudowaniami gospodarczymi z przedzamcza. Cały kompleks zaczął pustoszeć, jedynie kilka pomieszczeń wykorzystywał garnizon działdowski na magazyny, inne wydzierżawiono cechom lub mieszczanom. Wojny napoleońskie również nie oszczędziły działdowskiej warowni. W 1806 roku Francuzi bez problemów zajęli miasto. Podczas tej wojny z zamku zginęła metalowa szafa z najważniejszymi starymi dokumentami. Ławki i krzesła, które były składowane w jednym z zamkowych pomieszczeń, zostały przez Francuzów spalone, a okna powybijane. Zamek w Działdowie zaczął stopniowo popadać w coraz większą ruinę. W 1823 roku zawaliło się sklepienie w sali parterowej Domu Dużego. W połowie XIX wieku na dziedzińcu powstał magazyn solny, a obydwa boczne skrzydła kompleksu uległy rozbiórce. Dopełnieniem destrukcyjnego procesu niszczenia działdowskiego zamku był pożar z 1868 roku. To właśnie wtedy spłonął dach budynku głównego. Przez ponad 40 kolejnych lat, warownia pozostawała bez pokrycia. Dopiero w latach 1910-1911 przystąpiono do prac polegających na usunięciu pęknięć z zamku i odbudowano dach. Podczas walk prowadzonych w ramach I wojny światowej, spłonął w Działdowie kościół ewangelicki. Z tego powodu od 1915 roku, ewangelickie nabożeństwa zostały przeniesione do zamkowej kaplicy. W tym okresie za zgodą konserwatora prowincjonalnego powstało przejście pomiędzy kaplicą a refektarzem. Jeszcze przed II wojną światową rozpoczęto kolejne drobne zabiegi konserwatorskie. Na zamku miało powstać muzeum, pomysł nie został jednak zrealizowany. Hitlerowcy zajęli Działdowo już w pierwszych dniach wojny. Z rozkazu Niemców rozpoczęto prace ziemne na przedzamczu. Działania polegały między innymi na rozebraniu baszty w północnym narożniku i przebiciu dzisiejszej ul. Zamkowej aż do ul. Męczenników. Sam zamek nie został w czasie okupacji odbudowany. Dodatkowo podczas rosyjskiego ostrzału ze stycznia 1945 roku poważnie uszkodzona została ściana Domu Dużego od strony dziedzińca. Po wojnie dwukrotnie prowadzono na zamku badania archeologiczne, najpierw w 1958 roku, a później w latach 80-tych XX wieku.