Proof of a matrix implication

Question

If $A = \begin{bmatrix} x & 1\\ y & 0\end{bmatrix}, B = \begin{bmatrix} z & 1\\ w & 0\end{bmatrix}$, for $x,y,z,w \in \Bbb{R}$.

I have observed by considering many examples of $x,y,z,w$ that:

If all the eigen values of $A^2B$ and $AB^2$ are less than one in absolute value $\implies$ $\det(AB+A+I)<0$ and $\det(BA+B+I)<0$ is not possible.

Any way how to prove it analytically?

I am thinking if $\det(AB+A+I)<0$ and $\det(BA+B+I)<0$, then perhaps it would violate certain assumptions on the eigenvalues of $A^2B, AB^2$?

Explicit forms of matrices:

$A^2B = \begin{bmatrix} z(x^2+y)+xw & x^2+y\\ xyz+wy & xy\end{bmatrix}$

$AB^2 = \begin{bmatrix} x(w+z^2)+wz & xz+w\\ y(z^2+w) & yz\end{bmatrix}$

$AB +A+I = \begin{bmatrix} xz+w+x+1& x+1\\ yz+y & y+1\end{bmatrix}$

$BA+B+I = \begin{bmatrix} xz+y+z+1 & z+1\\ xw+w & w+1\end{bmatrix}$

I tried asking on MSE: https://math.stackexchange.com/questions/4576505/proving-an-implication-of-two-dimensional-matrix

Answer 1

Using Groebner bases and inequalities on $\mathbb{R}$, we prove that the OP's conjecture is true.

The real polynomial $x^2-sx+p$ admits roots of modulus $<1$ iff $p<1,p>-1,p>-s-1,p>s-1,s>-2$. -We use more inequalities than necessary to speed up the algorithm-.

Let $s_1=tr(AB^2),p_1=\det(AB^2),s_2=tr(A^2B),p_2=\det(A^2B)$ and

$d_1=\det(AB+A+I_2),d_2=\det(BA+B+I_2)$.

Here we show

$\textbf{Proposition 1.}$ The set of $\{(x,y,z;w)\}$ satisfying the following conditions is empty

$\{d_1<0,d_2<0,p_1<1,p_1>-1,p_1>-s_1-1,p_1>s_1-1,s_1>-2,p_2<1,p_2>-1,p_2>-s_2-1,p_2>s_2-1,s_2>-2\}$.

$\textbf{Proof.}$ To do that, we use the computer algebra software Raglib which is a patch in Maple.

with(Fgb); with(RAG);

PointsPerComponents([d1 < 0, d2 < 0, p1 > -1, p1 < 1, p1 > -s1-1, p1 > s1-1, p2 > -1, p2 < 1, p2 > -s2-1, p2 > s2-1, s1 > -2, s2 > -2], [x, y, z, w]);

The duration of the calculation is 5h40'. Below is a screenshot of the work:

Number of polynomials to study: 12
     Number of families to study: 1
{100.00%} 

Number of polynomials to study: 11
     Number of families to study: 1
<->{100.00%} 

Number of polynomials to study: 10
     Number of families to study: 1
<->{100.00%} 

Number of polynomials to study: 9
     Number of families to study: 4
<-><-><-><->{100.00%} 

Number of polynomials to study: 8
     Number of families to study: 11
<-2-><-><-><-1->!m!{36.36%}<-><-><-1->!m!{63.64%}<-><-><-><->{100.00%} 

Number of polynomials to study: 7
     Number of families to study: 18
<-2-><-2-><-1->!m!{16.67%}<-><-><-><-><-><-><-><-><-><-><-><-><-><-><->{100.00%}
 
Number of polynomials to study: 6
     Number of families to study: 42
<-1-><-1-><-1-><-1-><-1-><-1-><-[!]3-><-1-><-4-><-4->{16.67%}<-><-1->!m!{21.43%}<-1->!m!{23.81%}<-1-><-[!]6-><-1->!m!{30.95%}<-1->!m!{33.33%}<-><-3-><-2-><-2-><-1-><-[!]4-><-3-><-5-><-><-><-><-><-1->{64.29%}<-><-><-><-1-><-[!]2-><-><-><-><-><-><-><-><-><-><->{100.00%} 

Number of polynomials to study: 5
     Number of families to study: 64
<-1-><-1-><-[!]3-><-1-><-1-><-1-><-[!]3-><-1-><->{9.38%}<-2-><-2-><-><-1-><-1-><-1-><-3-><-><-1-><-1-><-1->{25.00%}<-2-><-1-><-><-1-><-3-><-2-><-1-><-2-><-2-><-2->{35.94%}<-3-><-2->{39.06%}<-3-><-3-><-1-><-3-><-><-><-><-><-3->!m!{53.12%}<-1-><-><-1-><-><-3-><-><-><-1-><-><-1-><-><-1-><-2->!m!{73.44%}<-><-2-><-><-3-><-><-1-><-3-><-><-><-><-2-><-><-><-3-><-><-3-><-3->{100.00%} 

Number of polynomials to study: 4
     Number of families to study: 93
<-2-><-1-><-1-><-1-><-1-><-1-><-1-><-1->{5.38%}<-1-><-1-><-4-><-4-><-><-1->!m!{11.83%}<-1->!m!{12.90%}<-><-1-><-1-><-1-><-2-><-1->!m!{18.28%}<-1->!m!{19.35%}<->{20.43%}<-2-><-1-><-><-1-><-1-><-1-><-1->{25.81%}<-[!]2-><-1-><-><-4-><-3-><-2->{30.11%}<-[!]5-><-3-><-1-><-><-[!]4->{35.48%}<-3-><-3-><-[!]4-><-3-><-><-><-><-><-><-><-1->{47.31%}<-><-1-><-><-><-1->!m!{52.69%}<-2->!m!{53.76%}<-><-1-><-><-><-1-><-1-><-><-1-><-><-><-1-><-><-2-><-><-><-><-1-><-2->{73.12%}<-><-><-><-3-><-><-><-3-><-><-3-><-3-><-><-><-><-><-[!]2-><-><-><-><-3-><-><-><-3-><-><-3->{98.92%}<-3->{100.00%} 

Number of polynomials to study: 3
     Number of families to study: 130
<-><-2-><-[!]3-><->{2.31%}<-[!]2-><-1-><-[!]3-><-1-><-2->{4.62%}<-1-><-2-><-><-1->{7.69%}<-><-1->!m!{9.23%}<-1->!m!{10.00%}<-><-2-><-1-><-1-><-4-><-1-><-[!]3-><-1->!m!{14.62%}<-1->!m!{15.38%}<-[!]3-><-><-1->{16.92%}<-[!]2-><-1-><-><-1-><-1-><-><-1-><-[!]3-><-2-><-1-><->{22.31%}<-[!]2-><-1-><-><-4-><-[!]2-><-2-><-2-><-><-2-><-4-><-1->{26.92%}<-2-><-4-><-2-><-><-3-><-3-><-2->{32.31%}<-1-><-5-><-1-><-3-><-><-><-><-><-><-><-1-><-><-3-><-1-><-><-1-><-1-><-><-1->{46.92%}<-><-1->!m!{48.46%}<-><-3-><-><-><-1-><-><-1->!m!{53.85%}<-><-3-><-><-1-><-><-1-><-><-1-><-2->!m!{60.77%}<-><-2->!m!{62.31%}<-2-><-><-2-><-><-><-><-><-1-><-><-><-2-><-><-2-><-1-><-><-3-><-><-3-><-><-1-><-><-1-><-3-><-><-3-><-3->{82.31%}<-3-><-3-><-><-><-><-2-><-><-><-2->!m!{89.23%}<-><-3-><-><-3-><-><-1-><-><-1-><-3-><-><-3-><-3-><-3-><-3->{100.00%} 

Number of polynomials to study: 2
     Number of families to study: 176
<-2-><-1-><-><-1-><-1-><-1-><-><-1->{2.84%}<-1-><-1-><-2->{4.55%}<-4->{5.11%}<-1-><-2-><-><-1->!m!{7.39%}<-1->!m!{7.95%}<-><-1-><-1-><-1-><-2-><->{10.80%}<-1-><-[!]3-><-1->!m!{11.93%}<-1->!m!{12.50%}<-><-1-><-1-><-><-1-><-[!]2-><-><-1-><-1-><-1-><-1->!m!{17.05%}<-[!]2-><-[!]3-><-1->{18.18%}<-1-><-1-><-1->!m!{19.32%}<-1-><-1-><-1-><-2-><-><-2-><-4-><-><-><-2-><-1-><-3-><-><-1-><-1-><-3->{25.00%}<-2->{25.57%}<->{26.14%}<-1-><-1-><-1-><-2-><-1-><-[!]4-><-3->{30.11%}<-2-><-2-><-1-><-2-><-><-><-><-><-><-><-><-><-1-><-><-3-><-><-1-><-><-1-><-><-><-><-><-1->{43.18%}<-><-1->!m!{44.32%}<-2->!m!{44.89%}<-><-1-><-><-><-1-><-><-1-><-1-><-><-1-><-><-1-><-><-><-><-1-><-><-2->!m!{55.11%}<-><-1-><-><-1->!m!{57.39%}<-><-><-><-><-1-><-><-><-><-><-><-3-><-><-3-><-1-><-><-3-><-1-><-><-1-><-1-><-><-1-><-><-1-><-><-1->{72.16%}<-><-1-><-><-1-><-><-><-><-1-><-><-1->!m!{77.84%}<-2-><-1-><-><-2->!m!{80.11%}<-><-2-><-><-3-><-1-><-><-><-><-><-><-><-><-><-1-><-1-><-><-><-1-><-><-1-><-><-1-><-><-1-><-2-><-1-><-><-1-><-><-2-><-><-3-><-1-><-><-1->{100.00%}
 
Number of polynomials to study: 1
     Number of families to study: 232
<-><-2-><-2-><->{1.29%}<-[!]2-><-1-><-[!]2-><-1-><-4-><-1-><-1->{3.45%}<-3->{3.88%}<->{4.31%}<-4-><-1-><-><-1->!m!{6.03%}<-1->!m!{6.47%}<-><-2-><-1-><-1-><-2-><-[!]2-><-[!]3-><-[!]2-><-[!]3-><-1->!m!{9.48%}<-1->!m!{9.91%}<-1->!m!{10.34%}<-2-><-><-1->{11.21%}<-1-><-[!]2-><-1-><-1-><-1->!m!{12.50%}<-><-1-><-1-><-><-[!][!]2-><-[!]3-><-1-><-[!]3-><->{15.09%}<-1-><-1-><-><-1-><-[!]2-><-1-><-[!]2-><-><-1-><-2-><-2-><-2-><-2-><-3->{18.10%}<-4-><-4-><-2-><-3-><-><-2-><-2-><-3->{19.40%}<-[!]3-><-><-><-><-1-><-1-><-2->{21.98%}<-2-><->{22.84%}<-2->{23.28%}<-1-><-1-><-1-><-2->{25.00%}<-1-><-3-><-3-><-2->{26.72%}<-2-><-2-><-2-><-2-><-1-><-2-><-2-><-2->{28.88%}<-><-><-><-><-><-><-><-><-1-><-><-3-><-3-><-><-1-><-><-2-><-2-><-><-3-><-><-><-1->{38.36%}<-3-><-3-><-><-><-1->!m!{40.52%}<-1->!m!{40.95%}<-><-1-><-><-2-><-2-><-1->!m!{43.53%}<-><-1->!m!{44.40%}<-><-><-1-><-2-><-2-><-1->!m!{46.98%}<-><-3-><-3-><-><-1-><-><-2->!m!{50.00%}<-1-><-><-1-><-><-1-><-1-><-><-1-><-><-><-1-><-[!]3->!m!{55.17%}<-1-><-><-><-1-><-2->!m!{57.33%}<-><-><-><-><-><-><-3-><-1-><-><-><-><-><-3-><-><-><-><-3-><-1-><-><-><-><-><-2-><-><-><-3->!m!{68.53%}<-1-><-><-><-1-><-3-><-3-><-><-><-><-1-><-><-1-><-><-><-1-><-><-1-><-><-2-><-1-><-><-1-><-><-><-1-><-><-2-><-2->{80.60%}<-><-1-><-2-><-[!]3-><-><-><-><-><-><-><-><-><-><-2-><-1-><-2-><-1->!m!{87.93%}<-1-><-><-1-><-><-><-2->!m!{90.52%}<-><-1-><-><-2-><-1-><-><-1-><-><-><-><-><-2-><-2-><-><-1-><-2-><-[!]3-><-><-2->{98.71%}<-1-><-2-><-3->{100.00%} 

[]

Answer 2

By considering cases of real/complex eigenvalues, the problem is reduced to a system of polynomial inequalities in each of the four cases.

For example, the case of real eigenvalues of $A^2B$ and non-real ones of $AB^2$ leads to the system: $$ \begin{cases} \det(AB+A+I)<0,\\ \det(BA+B+I)<0,\\ \mathrm{tr}(A^2B)^2 - 4\det(A^2B)\geq 0,\\ \det(A^2B) \pm \mathrm{tr}(A^2B) + 1 > 0,\\ \mathrm{tr}(AB^2)^2 - 4\det(AB^2) < 0, \\ \det(AB^2) < 1, \end{cases} $$ where each inequality is polynomial in $x,y,z,w$.

Essentially the question asks to show that neither of such four systems has a real solution.

There exist a few computational methods for solving systems of polynomial inequalities (eg. see this paper). I'm checking if those implemented in QEPCAD software can help here.

Answer 3

Here is a slight generalization of the above Proposition 1 where the hypotheses relate to the matrices as a whole and no longer to the entries of the matrices.

$\textbf{Proposition 2.}$ Let $A,B\in M_2(\mathbb{R})$ be s.t. $A-B$ is singular, $\rho(A^2B)<1,\rho(AB^2)<1$.

Then the following $2$ inequalities cannot be simultaneously true $\det(AB+A+I)<0,\det(BA+B+I)<0$.

$\textbf{Proof.}$ If $\dim(\ker(A-B))>1$, then $A=B$ and the required result is easy to show.

Then $\dim(\ker(A-B))=1$ and there is $v\in\mathbb{R}^2\setminus\{0\}$ s.t. $Av=Bv$.

$\bullet$ If $v$ is not an eigenvector of $A$, then $\{u=Av,v\}$ is a basis of $\mathbb{R}^2$. In this basis, $A,B$ are in the form chosen by the OP and we conclude with the Proposition 1.

$\bullet$ If $v$ is an eigenvector of $A$, then $Av=Bv=a v$, where $a\in\mathbb{R}$. Then the spectra of $A,B$ are real.

Then we may assume that $A,B$ are in the form $A=\begin{pmatrix}a&b\\0&c\end{pmatrix},B=\begin{pmatrix}a&d\\0&f\end{pmatrix}$.

The inequalities relate only to the variables $a,c,f$. Using the above software, we obtain quickly the required result. $\square$