احتمل العالمان العزَّ وابنَ الحاجب الحبسَ بالقلعة ثم الإقامة الجبرية في بيتيهما ثمنًا لإنكارهما على الحاكم؛ هذا ثمن كلمة الحق.بعد إنكار العز وابن الحاجب على الصالح إسماعيل عُزل العز عن الخطابة وحُبسا بالقلعة، ثم أُطلقا بعد مدة وأُمرا بلزوم بيتهما.