若求的是非零公共解，最终要保证结果不是零向量。联立后行化简：

由于 $r(A)=3<4$，基础解系为 $(-1,1,2,1)^T$，故所有非零公共解为

其中 $k$ 为任意非零实数。

也可分别取 $(\mathrm I)$ 的基础解系 $\xi_1=(0,0,1,0)^T,\xi_2=(-1,1,0,1)^T$，以及 $(\mathrm{II})$ 的基础解系 $\eta_1=(0,1,1,0)^T,\eta_2=(-1,-1,0,1)^T$。令两个通解相等：

得 $k_1=l_1=2k_2=2l_2$。令 $k_2=t$，仍得 $t(-1,1,2,1)^T$，其中 $t$ 为任意非零实数。

$(\mathrm I)$ 的基础解系为 $\xi_1=(0,0,1,0)^T,\xi_2=(-1,1,0,1)^T$，通解为

$(\mathrm{II})$ 的通解为

令两个通解相等，得 $l_1=k_2=l_2=k_1$。令 $k_2=k$，则非零公共解为

其中 $k$ 为任意非零常数。

本题主要考查非齐次线性方程组有解的条件以及求线性方程组的通解。已知 $Ax=\beta$ 无解，可利用 $r(A,\beta)\ne r(A)$ 讨论参数 $a$ 的值。

（I）由于 $Ax=\beta$ 无解，故由非齐次线性方程组有解的充要条件可知

对增广矩阵作初等行变换：

由上式可知 $r(A)\ge2$。从而 $Ax=\beta$ 无解当且仅当 $r(A)=2$ 且 $r(A,\beta)=3$。此时

解得

（II）当 $a=0$ 时，

于是

故 $A^TAx=A^T\beta$ 对应的齐次线性方程组等价于

其一个基础解系为 $(0,-1,1)^T$。又因为 $(1,-2,0)^T$ 是 $A^TAx=A^T\beta$ 的一个特解，所以通解为

其中 $k$ 为任意常数。

注：在第（I）问中，还可以利用 $|A|=0$ 求得 $a=0$ 或 $a=2$。讨论 $a=0$ 与 $a=2$ 的情形可知，当 $a=2$ 时，方程组有无穷多解，不符合题意。

本题主要考查非齐次线性方程组 $Ax=b$ 有无穷多解的条件：

本题中的 $|A|$ 为一种特殊的行列式——范德蒙德行列式。根据该行列式的性质，可给出一种较简单的解法。

（法一）当 $a\in\Omega,d\in\Omega$ 时，

故 $a\in\Omega,d\in\Omega$ 是 $Ax=b$ 有无穷多解的充分条件。

当 $Ax=b$ 有无穷多解时，$r(A)=r(A,b)<3$，从而 $r(A)<3$，$|A|=0$。由于 $|A|$ 为范德蒙德行列式，故

即 $a\in\Omega$。此时，若 $r(A,b)=r(A)<3$，则 $(1,d,d^2)^T$ 与 $(1,1,1)^T$ 和 $(1,2,4)^T$ 线性相关，从而

再由范德蒙德行列式的性质可推出 $d=1$ 或 $d=2$，即 $d\in\Omega$。

因此，$a\in\Omega,d\in\Omega$ 是 $Ax=b$ 有无穷多解的充分必要条件，应选 D。

（法二）对 $(A,b)$ 作初等行变换：

由此可见，$r(A)=r(A,b)<3$ 当且仅当

即 $a=1$ 或 $a=2$，且 $d=1$ 或 $d=2$，也即 $a\in\Omega,d\in\Omega$。

（法三）排除法。把简单的值代入各选项，再根据 $Ax=b$ 是否有无穷多解排除错误选项：

• 选项 A：代入 $a=0,d=0$，有 $r(A)=r(A,b)=3$，不符合题意；
• 选项 B：代入 $a=0,d\in\{1,2\}$，有 $r(A)=r(A,b)=3$，不符合题意；
• 选项 C：代入 $a\in\{1,2\},d=0$，有 $r(A,b)=3,r(A)=2$，不符合题意。

由上可见，选项 A、B、C 均不是正确选项；由排除法知，应选 D。

系数矩阵转置后是范德蒙德行列式，故

当 $a\ne1,b\ne1$ 且 $a\ne b$ 时，$|A|\ne0$，方程组有唯一解。

当 $a=1$ 时，增广矩阵可化出矛盾行；同理 $b=1$ 时也无解。当 $a=b$ 时，第三、四行对应化简后出现矛盾行，故亦无解。

所以方程组只有两种可能：有唯一解或无解，应选 D。

直接讨论增广矩阵可得：$a=b=1$ 时 $r(A)=1,r(A,b)=2$；$a=1,b\ne1$ 或 $a\ne1,b=1$ 时 $r(A)=2,r(A,b)=3$；$a=b\ne1$ 时同样无解；其余情形 $r(A)=r(A,b)=3$，有唯一解。

记方程组的系数矩阵为 $A$、增广矩阵为 $(A,b)$。因为方程组有解，

又 $A$ 为 $4\times3$ 矩阵，故 $r(A)=r(A,b)\le3$，于是增广矩阵的四阶行列式为零：

故所求行列式为 $8$。

设

由 $AC-CA=B$ 可写成线性方程组：

记该线性方程组为 $Px=\beta$，其中

对增广矩阵作初等行变换：

其中 $r_2^*$ 表示对第 $2$ 行作初等行变换后所得新的第二行。由上可见，若 $r(P,\beta)=r(P)$，则必有 $a+1=b=0$，即

当 $a=-1,b=0$ 时，

即

$(1,0,0,1)^T$ 和 $(1,-1,1,0)^T$ 为该方程组对应齐次线性方程组的一个基础解系，又 $(1,0,0,0)^T$ 为 $Px=\beta$ 的一个特解，故 $Px=\beta$ 的通解为

因此所有满足条件的矩阵为

其中 $k_1,k_2$ 为任意常数。

（I）注意到 $BA=E$ 等价于 $A^TB^T=E$，故可以考虑求矩阵方程 $A^TX=E$ 的解。对增广矩阵 $(A^T,E)$ 作初等行变换：

由上可知，$A^Tx=0$ 等价于

故该方程组的一个基础解系可取 $(1,-1,1)^T$。

$A^Tx=(1,0)^T$ 的一个特解为 $(0,1,0)^T$，通解为 $k_1(1,-1,1)^T+(0,1,0)^T$；$A^Tx=(0,1)^T$ 的一个特解为 $(1,-1,0)^T$，通解为 $k_2(1,-1,1)^T+(1,-1,0)^T$。故

其中 $k_1,k_2$ 为任意常数。

由 $BA=E$，故 $ABA=A$。记 $A=(\alpha_1,\alpha_2)$，则

于是，$1$ 至少为 $AB$ 的二重特征值，且 $\alpha_1,\alpha_2$ 为 $AB$ 属于特征值 $1$ 的两个线性无关特征向量。又 $AB$ 为三阶矩阵，且

所以 $AB$ 不满秩，$0$ 为 $AB$ 的一个特征值。因此，$AB$ 的特征值为 $1,1,0$。

（II）因为

所以 $(1,2,3)^T$ 与 $\alpha_1,\alpha_2$ 线性无关，故若 $(1,2,3)^T$ 为 $AB$ 的一个特征向量，则 $(1,2,3)^T$ 为 $AB$ 属于特征值 $0$ 的特征向量。于是

注意到 $r(A)=2$，$A$ 为列满秩矩阵，故方程组 $Ax=0$ 只有零解，从而 $ABx=0$ 等价于 $Bx=0$。于是

解得 $k_1=-1,k_2=\frac12$。所求矩阵为

由于 $\alpha_1,\alpha_2,\alpha_3$ 线性无关，故 $r(A)\ge 3$。又因为

所以 $\alpha_1,\alpha_2,\alpha_3,\alpha_4$ 线性相关，从而 $r(A)\le 3$。由此可得

进一步可得方程组 $Ax=0$ 的基础解系中仅包含 $4-3=1$ 个向量。

由

可得

于是

是方程组 $Ax=0$ 的一个解，且构成 $Ax=0$ 的一个基础解系。

又因为

故

是方程组 $Ax=\alpha_1+4\alpha_4$ 的一个特解。

因此，方程组的通解为

其中 $k$ 为任意常数。