Die Kosten des Festungsbaues waren beträchtlich und werden auf etwa 23.000 Reichstaler geschätzt, obgleich der Herzog die Arbeitskräfte und die Materialien des ganzen Landes dazu heranzog. Aufgebote aus allen Ämtern arbeiteten an dem Schanzwerk unter Führung von Landreitern und Vögten. Am schwersten war natürlich die Bauernschaft auf Poel belastet. Auch nach Beendigung des Baues wurde sie herangezogen, da Pilooth 1619 eine "Bauernwacht" organisierte, nach der von den 37 Bauern auf Poel jede Nacht sechs von ihnen den Wachdienst übernehmen mußten. Nach Abzug der Musketiere, die Kapitän Pilooth anfangs als militärische Besatzung auf dem Schloß hatte, mußten auch am Tage zwei Mann Wache stehen; trotz vieler Klagen zog der Vertreter Pilooths die Bauern zu Fuhrdiensten für die Wälle und zum Exerzieren auf der Festung heran. Der große Krieg warf seine Schatten voraus. 

Ein langes Leben war der Festung Poel nicht gegönnt. So musste sie im Verlauf des Dreißigjährigen Krieges im Jahr 1627 an die kaiserlichen Truppen übergeben werden, wurde 1635 wieder von den Schweden und 1638 erneut von den kaiserlichen Truppen besetzt. Nach dem westfälischen Frieden 1648 kam dann die schon schwer in Mitleidenschaft gezogene Festung samt der ganzen Insel (mit Ausnahme der lübischen Dörfer) an Schweden. Die Festung Poel war in der Folgezeit für die Schweden nicht mehr von Bedeutung und verfiel zusehends. So sind 1659 nur noch Wälle, Mauern und Bedachung übrig. 1694 sind große Teile bereits eingefallen und der Schlossturm fällt bei einem Orkan 1703 in sich zusammen. Die Ruinen des Schlosses dienen in den folgenden Jahrzehnten als “Steinbruch” für die Poeler Bevölkerung und so manches Kirchdorfer Bauern- oder Fischerhaus wurde daraufhin aus den Steinen des ehemaligen Schlosses gebaut.