Năm 1455, tám đô thị Azkoitia, Azpeitia, Deva, Motrico, Guetaria, Tolosa, Villafranca và Segura họp thành liên minh[18]. Giữa các đô thị và các hào mục, triều đình luôn luôn đứng về phía các đô thị, vì đó là những hạt nhân phát triển. Năm 1456, hình như được triều đình ngầm đồng ý, các đô thị đồng loạt tấn công, đốt phá các nhà tháp. Nhiều người chết. Nhà tháp Onaz không còn hòn đá nào trên hòn đá nào. Nhà tháp Loyola chỉ còn lại tầng trệt và lầu 1. Ngày 31.7.1456, các hào trưởng kéo nhau đến trước nhà thờ Azkoitia, gắn trên tường một lời thách thức: “Từng người và toàn thể chúng tao sẽ chọc tiết từng đứa và cả lũ chúng mày, cho linh hồn tụi bay lìa khỏi xác…” Bên dưới là tên và chữ ký của các hào mục, Juan Pérez de Loyola chỉ đứng tên sau Martín Ruiz de Gamboa.
Ngày 21.5.1457, nhà vua ra lệnh cho các hào mục phải xuống miền nam, vận dụng tinh thần hiếu chiến vào việc “phục vụ Thiên Chúa, bảo vệ đức tin Công Giáo”: chiến đấu chống lại người Hồi giáo ở Granada. Juan Pérez IV được lệnh đến sống tại Jímena de la Frontera trong 4 năm. Nhưng đến năm 1460, có lẽ thấy là đã đủ, nhà vua cho phép các hào mục về quê, cho xây dựng dinh thự ở chỗ mới, cấm xây tháp hay bất cứ hình thức quân sự nào khác.
Lệnh triều đình không được thực thi trọn vẹn. Trên những gì còn lại của lâu đài cũ, ông Juan Pérez IV xây dựng một nhà tháp mới, với 4 tháp ở 4 góc, nhưng bằng gạch và có cửa sổ thực sự. Nhờ một kiến trúc sư giúp, tầng 3 và tầng 4 bằng gạch có vẻ thanh thoát hơn và được trang hoàng đẹp mắt hơn, trong khi tầng trệt (1) và lầu vững chắc nhưng cục mịch hơn. Nếu bị tấn công, việc phòng thủ trong ngôi nhà mới rất khó. Chủ nhân cho trồng một khu vườn chung quanh để có thể phát hiện kẻ thù từ xa. Những cây sồi, cây sến… dần dần cao lên che lấp cả tòa lâu đài 4 tầng[19].
