Произведение Хатри — Рао
Произведение Хатри — Рао — операция умножения матриц , определяемая выражением[ 1] [ 2] :
A
∗ ∗ -->
B
=
(
A
i
j
⊗ ⊗ -->
B
i
j
)
i
j
{\displaystyle \mathbf {A} \ast \mathbf {B} =\left(\mathbf {A} _{ij}\otimes \mathbf {B} _{ij}\right)_{ij}}
в котором
i
j
{\displaystyle ij}
-й блок является произведением Кронекера
m
i
p
i
⊗ ⊗ -->
n
j
q
j
{\displaystyle m_{i}p_{i}\otimes n_{j}q_{j}}
соответствующих блоков
A
{\displaystyle \mathbf {A} }
и
B
{\displaystyle \mathbf {B} }
при условии, что количество строк и столбцов обеих матриц равно.
Размерность произведения —
∑ ∑ -->
i
m
i
p
i
× × -->
∑ ∑ -->
j
n
j
q
j
{\displaystyle \sum _{i}{m_{i}p_{i}}\times \sum _{j}{n_{j}q_{j}}}
.
К примеру, если матрицы
A
{\displaystyle \mathbf {A} }
и
B
{\displaystyle \mathbf {B} }
имеют блочную размерность 2 × 2 :
A
=
[
A
11
A
12
A
21
A
22
]
=
[
1
2
3
4
5
6
7
8
9
]
{\displaystyle \mathbf {A} =\left[{\begin{array}{c | c}\mathbf {A} _{11}&\mathbf {A} _{12}\\\hline \mathbf {A} _{21}&\mathbf {A} _{22}\end{array}}\right]=\left[{\begin{array}{c c | c}1&2&3\\4&5&6\\\hline 7&8&9\end{array}}\right]}
и
B
=
[
B
11
B
12
B
21
B
22
]
=
[
1
4
7
2
5
8
3
6
9
]
{\displaystyle \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {B} _{11}&\mathbf {B} _{12}\\\hline \mathbf {B} _{21}&\mathbf {B} _{22}\end{array}}\right]=\left[{\begin{array}{c | c c}1&4&7\\\hline 2&5&8\\3&6&9\end{array}}\right]}
,
то:
A
∗ ∗ -->
B
=
[
A
11
⊗ ⊗ -->
B
11
A
12
⊗ ⊗ -->
B
12
A
21
⊗ ⊗ -->
B
21
A
22
⊗ ⊗ -->
B
22
]
=
[
1
2
12
21
4
5
24
42
14
16
45
72
21
24
54
81
]
{\displaystyle \mathbf {A} \ast \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {A} _{11}\otimes \mathbf {B} _{11}&\mathbf {A} _{12}\otimes \mathbf {B} _{12}\\\hline \mathbf {A} _{21}\otimes \mathbf {B} _{21}&\mathbf {A} _{22}\otimes \mathbf {B} _{22}\end{array}}\right]=\left[{\begin{array}{c c | c c}1&2&12&21\\4&5&24&42\\\hline 14&16&45&72\\21&24&54&81\end{array}}\right]}
.
Столбцовое произведение Хатри — Рао
Столбцовое произведение Кронекера двух матриц также принято называть произведением Хатри — Рао.
Это произведение предполагает, что блоки матриц являются их столбцами. В этом случае
m
1
=
m
{\displaystyle m_{1}=m}
,
p
1
=
p
{\displaystyle p_{1}=p}
,
n
=
q
{\displaystyle n=q}
и для каждого
j
{\displaystyle j}
:
n
j
=
p
j
=
1
{\displaystyle n_{j}=p_{j}=1}
.
Результатом произведения является
m
p
× × -->
n
{\displaystyle mp\times n}
-матрица, каждый столбец которой получается как произведение Кронекера соответствующих столбцов матриц
A
{\displaystyle \mathbf {A} }
и
B
{\displaystyle \mathbf {B} }
. Например, для:
C
=
[
C
1
C
2
C
3
]
=
[
1
2
3
4
5
6
7
8
9
]
{\displaystyle \mathbf {C} =\left[{\begin{array}{c | c | c}\mathbf {C} _{1}&\mathbf {C} _{2}&\mathbf {C} _{3}\end{array}}\right]=\left[{\begin{array}{c | c | c}1&2&3\\4&5&6\\7&8&9\end{array}}\right]}
и
D
=
[
D
1
D
2
D
3
]
=
[
1
4
7
2
5
8
3
6
9
]
{\displaystyle \mathbf {D} =\left[{\begin{array}{c | c | c }\mathbf {D} _{1}&\mathbf {D} _{2}&\mathbf {D} _{3}\end{array}}\right]=\left[{\begin{array}{c | c | c }1&4&7\\2&5&8\\3&6&9\end{array}}\right]}
столбцовое произведение:
C
∗ ∗ -->
D
=
[
C
1
⊗ ⊗ -->
D
1
C
2
⊗ ⊗ -->
D
2
C
3
⊗ ⊗ -->
D
3
]
=
[
1
8
21
2
10
24
3
12
27
4
20
42
8
25
48
12
30
54
7
32
63
14
40
72
21
48
81
]
{\displaystyle \mathbf {C} \ast \mathbf {D} =\left[{\begin{array}{c | c | c }\mathbf {C} _{1}\otimes \mathbf {D} _{1}&\mathbf {C} _{2}\otimes \mathbf {D} _{2}&\mathbf {C} _{3}\otimes \mathbf {D} _{3}\end{array}}\right]=\left[{\begin{array}{c | c | c }1&8&21\\2&10&24\\3&12&27\\4&20&42\\8&25&48\\12&30&54\\7&32&63\\14&40&72\\21&48&81\end{array}}\right]}
.
Столбцовая версия произведения Хатри — Рао используется в линейной алгебре для аналитической обработки данных[ 3] и оптимизации решений проблемы обращения диагональных матриц[ 4] [ 5] ; в 1996 году его было предложено использовать в описании задачи совместного оценивания угла прихода и времени задержки сигналов в цифровой антенной решётке [ 6] , а также для описания отклика 4-координатного радара [ 7] .
Торцевое произведение
Торцевое произведение матриц
Существует альтернативная концепция произведения матриц, которая в отличие от столбцовой версии использует разбиение матриц на строки[ 8] — торцевое произведение (англ. face-splitting product )[ 7] [ 9] [ 10] или транспонированное произведение Хатри — Рао (англ. transposed Khatri — Rao product )[ 11] . Этот тип матричного умножения базируется на построчном произведении Кронекера двух и более матриц с одинаковым количеством строк.
Например, для:
C
=
[
C
1
C
2
C
3
]
=
[
1
2
3
4
5
6
7
8
9
]
{\displaystyle \mathbf {C} =\left[{\begin{array}{c c}\mathbf {C} _{1}\\\hline \mathbf {C} _{2}\\\hline \mathbf {C} _{3}\\\end{array}}\right]=\left[{\begin{array}{c c c}1&2&3\\\hline 4&5&6\\\hline 7&8&9\end{array}}\right]}
и
D
=
[
D
1
D
2
D
3
]
=
[
1
4
7
2
5
8
3
6
9
]
{\displaystyle \mathbf {D} =\left[{\begin{array}{c }\mathbf {D} _{1}\\\hline \mathbf {D} _{2}\\\hline \mathbf {D} _{3}\\\end{array}}\right]=\left[{\begin{array}{c c c }1&4&7\\\hline 2&5&8\\\hline 3&6&9\end{array}}\right]}
можно записать[ 7] :
C
∙ ∙ -->
D
=
[
C
1
⊗ ⊗ -->
D
1
C
2
⊗ ⊗ -->
D
2
C
3
⊗ ⊗ -->
D
3
]
=
[
1
4
7
2
8
14
3
12
21
8
20
32
10
25
40
12
30
48
21
42
63
24
48
72
27
54
81
]
{\displaystyle \mathbf {C} \bullet \mathbf {D} =\left[{\begin{array}{c }\mathbf {C} _{1}\otimes \mathbf {D} _{1}\\\hline \mathbf {C} _{2}\otimes \mathbf {D} _{2}\\\hline \mathbf {C} _{3}\otimes \mathbf {D} _{3}\\\end{array}}\right]=\left[{\begin{array}{c c c c c c c c c }1&4&7&2&8&14&3&12&21\\\hline 8&20&32&10&25&40&12&30&48\\\hline 21&42&63&24&48&72&27&54&81\end{array}}\right]}
.
Основные свойства
Транспонирование (1996[ 7] [ 9] [ 12] ):
(
A
∙ ∙ -->
B
)
T
=
A
T
∗ ∗ -->
B
T
{\displaystyle \left(\mathbf {A} \bullet \mathbf {B} \right)^{\textsf {T}}={\textbf {A}}^{\textsf {T}}\ast \mathbf {B} ^{\textsf {T}}}
,
Коммутативность и ассоциативная операция [ 7] [ 9] [ 12] :
A
∙ ∙ -->
(
B
+
C
)
=
A
∙ ∙ -->
B
+
A
∙ ∙ -->
C
,
(
B
+
C
)
∙ ∙ -->
A
=
B
∙ ∙ -->
A
+
C
∙ ∙ -->
A
,
(
k
A
)
∙ ∙ -->
B
=
A
∙ ∙ -->
(
k
B
)
=
k
(
A
∙ ∙ -->
B
)
,
(
A
∙ ∙ -->
B
)
∙ ∙ -->
C
=
A
∙ ∙ -->
(
B
∙ ∙ -->
C
)
,
{\displaystyle {\begin{aligned}\mathbf {A} \bullet (\mathbf {B} +\mathbf {C} )&=\mathbf {A} \bullet \mathbf {B} +\mathbf {A} \bullet \mathbf {C} ,\\(\mathbf {B} +\mathbf {C} )\bullet \mathbf {A} &=\mathbf {B} \bullet \mathbf {A} +\mathbf {C} \bullet \mathbf {A} ,\\(k\mathbf {A} )\bullet \mathbf {B} &=\mathbf {A} \bullet (k\mathbf {B} )=k(\mathbf {A} \bullet \mathbf {B} ),\\(\mathbf {A} \bullet \mathbf {B} )\bullet \mathbf {C} &=\mathbf {A} \bullet (\mathbf {B} \bullet \mathbf {C} ),\\\end{aligned}}}
где
A
{\displaystyle \mathbf {A} }
,
A
{\displaystyle \mathbf {A} }
и
C
{\displaystyle \mathbf {C} }
— матрицы, а
k
{\displaystyle k}
— скаляр,
a
∙ ∙ -->
B
=
B
∙ ∙ -->
a
{\displaystyle a\bullet \mathbf {B} =\mathbf {B} \bullet a}
,[ 12]
где
a
{\displaystyle a}
- вектор с количеством элементов, равным количеству строк матрицы
B
{\displaystyle \mathbf {B} }
,
Свойство смешанного произведения (1997[ 12] ):
(
A
∙ ∙ -->
B
)
(
A
T
∗ ∗ -->
B
T
)
=
(
A
A
T
)
∘ ∘ -->
(
B
B
T
)
{\displaystyle (\mathbf {A} \bullet \mathbf {B} )\left(\mathbf {A} ^{\textsf {T}}\ast \mathbf {B} ^{\textsf {T}}\right)=\left(\mathbf {A} \mathbf {A} ^{\textsf {T}}\right)\circ \left(\mathbf {B} \mathbf {B} ^{\textsf {T}}\right)}
,
(
A
∙ ∙ -->
B
)
(
C
∗ ∗ -->
D
)
=
(
A
C
)
∘ ∘ -->
(
B
D
)
{\displaystyle (\mathbf {A} \bullet \mathbf {B} )(\mathbf {C} \ast \mathbf {D} )=(\mathbf {A} \mathbf {C} )\circ (\mathbf {B} \mathbf {D} )}
[ 10] ,
(
A
∙ ∙ -->
B
∙ ∙ -->
C
∙ ∙ -->
D
)
(
L
∗ ∗ -->
M
∗ ∗ -->
N
∗ ∗ -->
P
)
=
(
A
L
)
∘ ∘ -->
(
B
M
)
∘ ∘ -->
(
C
N
)
∘ ∘ -->
(
D
P
)
{\displaystyle (\mathbf {A} \bullet \mathbf {B} \bullet \mathbf {C} \bullet \mathbf {D} )(\mathbf {L} \ast \mathbf {M} \ast \mathbf {N} \ast \mathbf {P} )=(\mathbf {A} \mathbf {L} )\circ (\mathbf {B} \mathbf {M} )\circ (\mathbf {C} \mathbf {N} )\circ (\mathbf {D} \mathbf {P} )}
[ 11] [ 13] ,
(
A
∗ ∗ -->
B
)
T
(
A
∗ ∗ -->
B
)
=
(
A
T
A
)
∘ ∘ -->
(
B
T
B
)
{\displaystyle (\mathbf {A} \ast \mathbf {B} )^{\textsf {T}}(\mathbf {A} \ast \mathbf {B} )=(\mathbf {A} ^{\textsf {T}}\mathbf {A} )\circ (\mathbf {B} ^{\textsf {T}}\mathbf {B} )}
[ 14] ,
где
∘ ∘ -->
{\displaystyle \circ }
обозначает произведение Адамара .
Также выполняются следующие свойства:
(
A
∘ ∘ -->
B
)
∙ ∙ -->
(
C
∘ ∘ -->
D
)
=
(
A
∙ ∙ -->
C
)
∘ ∘ -->
(
B
∙ ∙ -->
D
)
{\displaystyle (\mathbf {A} \circ \mathbf {B} )\bullet (\mathbf {C} \circ \mathbf {D} )=(\mathbf {A} \bullet \mathbf {C} )\circ (\mathbf {B} \bullet \mathbf {D} )}
[ 12] ,
a
⊗ ⊗ -->
(
B
∙ ∙ -->
C
)
=
(
a
⊗ ⊗ -->
B
)
∙ ∙ -->
C
{\displaystyle \ a\otimes (\mathbf {B} \bullet \mathbf {C} )=(a\otimes \mathbf {B} )\bullet \mathbf {C} }
,[ 7] где
a
{\displaystyle a}
- вектор-строка,
(
A
⊗ ⊗ -->
B
)
(
C
∗ ∗ -->
D
)
=
(
A
C
)
∗ ∗ -->
(
B
D
)
{\displaystyle (\mathbf {A} \otimes \mathbf {B} )(\mathbf {C} \ast \mathbf {D} )=(\mathbf {A} \mathbf {C} )\ast (\mathbf {B} \mathbf {D} )}
[ 14] ,
(
A
∙ ∙ -->
B
)
(
C
⊗ ⊗ -->
D
)
=
(
A
C
)
∙ ∙ -->
(
B
D
)
{\displaystyle (\mathbf {A} \bullet \mathbf {B} )(\mathbf {C} \otimes \mathbf {D} )=(\mathbf {A} \mathbf {C} )\bullet (\mathbf {B} \mathbf {D} )}
[ 13] ,
(
A
∙ ∙ -->
L
)
(
B
⊗ ⊗ -->
M
)
… … -->
(
C
⊗ ⊗ -->
S
)
=
(
A
B
… … -->
C
)
∙ ∙ -->
(
L
M
.
.
.
S
)
{\displaystyle (\mathbf {A} \bullet \mathbf {L} )(\mathbf {B} \otimes \mathbf {M} )\dots (\mathbf {C} \otimes \mathbf {S} )=(\mathbf {A} \mathbf {B} \dots \mathbf {C} )\bullet (\mathbf {L} \mathbf {M} ...\mathbf {S} )}
,
c
T
∙ ∙ -->
d
T
=
c
T
⊗ ⊗ -->
d
T
{\displaystyle c^{\textsf {T}}\bullet d^{\textsf {T}}=c^{\textsf {T}}\otimes d^{\textsf {T}}}
[ 12] ,
c
∗ ∗ -->
d
=
c
⊗ ⊗ -->
d
{\displaystyle c\ast d=c\otimes d}
, где
c
{\displaystyle c}
и
d
{\displaystyle d}
являются векторами согласованной размерности,
(
A
∗ ∗ -->
c
T
)
d
=
(
A
∗ ∗ -->
d
T
)
c
{\displaystyle (\mathbf {A} \ast c^{\textsf {T}})d=(\mathbf {A} \ast d^{\textsf {T}})c}
[ 15] ,
d
T
(
c
∙ ∙ -->
A
T
)
=
c
T
(
d
∙ ∙ -->
A
T
)
{\displaystyle d^{\textsf {T}}(c\bullet \mathbf {A} ^{\textsf {T}})=c^{\textsf {T}}(d\bullet \mathbf {A} ^{\textsf {T}})}
,
(
A
∙ ∙ -->
B
)
(
c
⊗ ⊗ -->
d
)
=
(
A
c
)
∘ ∘ -->
(
B
d
)
{\displaystyle (\mathbf {A} \bullet \mathbf {B} )(c\otimes d)=(\mathbf {A} c)\circ (\mathbf {B} d)}
[ 16] , где
c
{\displaystyle c}
и
d
{\displaystyle d}
являются векторами согласованной размерности (следует из свойств 3 и 8),
(
A
∙ ∙ -->
B
)
(
M
N
c
⊗ ⊗ -->
Q
P
d
)
=
(
A
M
N
c
)
∘ ∘ -->
(
B
Q
P
d
)
{\displaystyle (\mathbf {A} \bullet \mathbf {B} )(\mathbf {M} \mathbf {N} c\otimes \mathbf {Q} \mathbf {P} d)=(\mathbf {A} \mathbf {M} \mathbf {N} c)\circ (\mathbf {B} \mathbf {Q} \mathbf {P} d)}
,
W
(
C
(
1
)
x
⋆ ⋆ -->
C
(
2
)
y
)
=
(
W
C
(
1
)
∙ ∙ -->
W
C
(
2
)
)
(
x
⊗ ⊗ -->
y
)
=
W
C
(
1
)
x
∘ ∘ -->
W
C
(
2
)
y
{\displaystyle {\mathcal {W}}(C^{(1)}x\star C^{(2)}y)=({\mathcal {W}}C^{(1)}\bullet {\mathcal {W}}C^{(2)})(x\otimes y)={\mathcal {W}}C^{(1)}x\circ {\mathcal {W}}C^{(2)}y}
,
где
W
{\displaystyle {\mathcal {W}}}
является матрицей дискретного преобразования Фурье ,
⋆ ⋆ -->
{\displaystyle \star }
- символ векторной свёртки (тождество следует из свойств отсчётного скетча [ 17] ),
A
∙ ∙ -->
B
=
(
A
⊗ ⊗ -->
1
c
T
)
∘ ∘ -->
(
1
k
T
⊗ ⊗ -->
B
)
{\displaystyle \mathbf {A} \bullet \mathbf {B} =(\mathbf {A} \otimes \mathbf {1_{c}} ^{\textsf {T}})\circ (\mathbf {1_{k}} ^{\textsf {T}}\otimes \mathbf {B} )}
[ 18] , где
A
{\displaystyle \mathbf {A} }
-
r
× × -->
c
{\displaystyle r\times c}
матрица,
B
{\displaystyle \mathbf {B} }
-
r
× × -->
k
{\displaystyle r\times k}
матрица,
1
c
{\displaystyle \mathbf {1_{c}} }
,
1
k
{\displaystyle \mathbf {1_{k}} }
- векторы из
c
{\displaystyle c}
и
k
{\displaystyle k}
единиц соответственно,
M
∙ ∙ -->
M
=
(
M
⊗ ⊗ -->
1
T
)
∘ ∘ -->
(
1
T
⊗ ⊗ -->
M
)
{\displaystyle \mathbf {M} \bullet \mathbf {M} =(\mathbf {M} \otimes \mathbf {1} ^{\textsf {T}})\circ (\mathbf {1} ^{\textsf {T}}\otimes \mathbf {M} )}
[ 19] , где
M
{\displaystyle \mathbf {M} }
является
r
× × -->
c
{\displaystyle r\times c}
матрицей,
∘ ∘ -->
{\displaystyle \circ }
- произведение Адамара и
1
{\displaystyle \mathbf {1} }
- вектор из
c
{\displaystyle c}
единиц.
M
∙ ∙ -->
M
=
M
[
∘ ∘ -->
]
(
M
⊗ ⊗ -->
1
T
)
{\displaystyle \mathbf {M} \bullet \mathbf {M} =\mathbf {M} [\circ ](\mathbf {M} \otimes \mathbf {1} ^{\textsf {T}})}
, где
[
∘ ∘ -->
]
{\displaystyle [\circ ]}
- символ проникающего торцевого произведения матриц.
По аналогии,
P
∗ ∗ -->
N
=
(
P
⊗ ⊗ -->
1
c
)
∘ ∘ -->
(
1
k
⊗ ⊗ -->
N
)
{\displaystyle \mathbf {P} \ast \mathbf {N} =(\mathbf {P} \otimes \mathbf {1_{c}} )\circ (\mathbf {1_{k}} \otimes \mathbf {N} )}
, где
P
{\displaystyle \mathbf {P} }
-
c
× × -->
r
{\displaystyle c\times r}
матрица,
N
{\displaystyle \mathbf {N} }
-
k
× × -->
r
{\displaystyle k\times r}
матрица,
W
d
A
=
w
∙ ∙ -->
A
{\displaystyle \mathbf {W_{d}} \mathbf {A} =\mathbf {w} \bullet \mathbf {A} }
[ 12] ,
v
e
c
(
(
w
T
∗ ∗ -->
A
)
B
)
=
(
B
T
∗ ∗ -->
A
)
w
{\displaystyle vec((\mathbf {w} ^{\textsf {T}}\ast \mathbf {A} )\mathbf {B} )=(\mathbf {B} ^{\textsf {T}}\ast \mathbf {A} )\mathbf {w} }
[ 10] ,
v
e
c
(
A
(
w
∙ ∙ -->
B
)
)
=
(
B
T
∗ ∗ -->
A
)
w
{\displaystyle vec(\mathbf {A} (\mathbf {w} \bullet \mathbf {B} ))=(\mathbf {B} ^{\textsf {T}}\ast \mathbf {A} )\mathbf {w} }
[ 11] ,
v
e
c
(
A
T
W
d
A
)
=
(
A
∙ ∙ -->
A
)
T
w
{\displaystyle vec(\mathbf {A} ^{\textsf {T}}\mathbf {W_{d}} \mathbf {A} )=(\mathbf {A} \bullet \mathbf {A} )^{\textsf {T}}\mathbf {w} }
[ 19] ,
v
e
c
(
A
W
d
A
T
)
=
(
A
T
∙ ∙ -->
A
T
)
T
w
=
(
A
∗ ∗ -->
A
)
w
{\displaystyle vec(\mathbf {A} \mathbf {W_{d}} \mathbf {A} ^{\textsf {T}})=(\mathbf {A} ^{\textsf {T}}\bullet \mathbf {A} ^{\textsf {T}})^{\textsf {T}}\mathbf {w} =(\mathbf {A} \ast \mathbf {A} )\mathbf {w} }
,
где
w
{\displaystyle \mathbf {w} }
- вектор, сформированный из диагональных элементов матрицы
W
d
{\displaystyle \mathbf {W_{d}} }
,
v
e
c
(
A
)
{\displaystyle vec(\mathbf {A} )}
- операция формирования вектора из матрицы
A
{\displaystyle \mathbf {A} }
путём расположения одного под другим её столбцов.
Свойство поглощения произведения Кронекера:
(
A
∙ ∙ -->
L
)
(
B
⊗ ⊗ -->
M
)
.
.
.
(
C
⊗ ⊗ -->
S
)
(
K
∗ ∗ -->
T
)
=
(
A
B
.
.
.
C
K
)
∘ ∘ -->
(
L
M
.
.
.
S
T
)
{\displaystyle (\mathbf {A} \bullet \mathbf {L} )(\mathbf {B} \otimes \mathbf {M} )...(\mathbf {C} \otimes \mathbf {S} )(\mathbf {K} \ast \mathbf {T} )=(\mathbf {A} \mathbf {B} ...\mathbf {C} \mathbf {K} )\circ (\mathbf {L} \mathbf {M} ...\mathbf {S} \mathbf {T} )}
[ 10] [ 13]
(
A
∙ ∙ -->
L
)
(
B
⊗ ⊗ -->
M
)
.
.
.
(
C
⊗ ⊗ -->
S
)
(
c
⊗ ⊗ -->
d
)
=
(
A
B
.
.
.
C
c
)
∘ ∘ -->
(
L
M
.
.
.
S
d
)
{\displaystyle (\mathbf {A} \bullet \mathbf {L} )(\mathbf {B} \otimes \mathbf {M} )...(\mathbf {C} \otimes \mathbf {S} )(c\otimes d)=(\mathbf {A} \mathbf {B} ...\mathbf {C} c)\circ (\mathbf {L} \mathbf {M} ...\mathbf {S} d)}
,
(
A
∙ ∙ -->
L
)
(
B
⊗ ⊗ -->
M
)
.
.
.
(
C
⊗ ⊗ -->
S
)
(
P
c
⊗ ⊗ -->
Q
d
)
=
(
A
B
.
.
.
C
P
c
)
∘ ∘ -->
(
L
M
.
.
.
S
Q
d
)
{\displaystyle (\mathbf {A} \bullet \mathbf {L} )(\mathbf {B} \otimes \mathbf {M} )...(\mathbf {C} \otimes \mathbf {S} )(\mathbf {P} c\otimes \mathbf {Q} d)=(\mathbf {A} \mathbf {B} ...\mathbf {C} \mathbf {P} c)\circ (\mathbf {L} \mathbf {M} ...\mathbf {S} \mathbf {Q} d)}
,
где
c
{\displaystyle c}
и
d
{\displaystyle d}
являются векторами согласованной размерности.
Например[ 16] :
(
[
1
0
0
1
1
0
]
∙ ∙ -->
[
1
0
1
0
0
1
]
)
(
[
1
1
1
− − -->
1
]
⊗ ⊗ -->
[
1
1
1
− − -->
1
]
)
(
[
σ σ -->
1
0
0
σ σ -->
2
]
⊗ ⊗ -->
[
ρ ρ -->
1
0
0
ρ ρ -->
2
]
)
(
[
x
1
x
2
]
∗ ∗ -->
[
y
1
y
2
]
)
=
(
[
1
0
0
1
1
0
]
∙ ∙ -->
[
1
0
1
0
0
1
]
)
(
[
1
1
1
− − -->
1
]
[
σ σ -->
1
0
0
σ σ -->
2
]
[
x
1
x
2
]
⊗ ⊗ -->
[
1
1
1
− − -->
1
]
[
ρ ρ -->
1
0
0
ρ ρ -->
2
]
[
y
1
y
2
]
)
=
[
1
0
0
1
1
0
]
[
1
1
1
− − -->
1
]
[
σ σ -->
1
0
0
σ σ -->
2
]
[
x
1
x
2
]
∘ ∘ -->
[
1
0
1
0
0
1
]
[
1
1
1
− − -->
1
]
[
ρ ρ -->
1
0
0
ρ ρ -->
2
]
[
y
1
y
2
]
.
{\displaystyle {\begin{aligned}\\&\quad \left({\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}\bullet {\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}\right)\left({\begin{bmatrix}1&1\\1&-1\end{bmatrix}}\otimes {\begin{bmatrix}1&1\\1&-1\end{bmatrix}}\right)\left({\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}\otimes {\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}\right)\left({\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\ast {\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}\right)\\[5pt]&\quad =\left({\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}\bullet {\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}\right)\left({\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}{\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\,\otimes \,{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}{\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}\right)\\[5pt]&\quad ={\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}{\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\,\circ \,{\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}{\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}.\end{aligned}}}
Если
M
=
T
(
1
)
∙ ∙ -->
⋯ ⋯ -->
∙ ∙ -->
T
(
c
)
{\displaystyle M=T^{(1)}\bullet \dots \bullet T^{(c)}}
, где
T
(
1
)
,
… … -->
,
T
(
c
)
{\displaystyle T^{(1)},\dots ,T^{(c)}}
представляют собой независимые включения матрицы
T
{\displaystyle T}
, содержащей строки
T
1
,
… … -->
,
T
m
∈ ∈ -->
R
d
{\displaystyle T_{1},\dots ,T_{m}\in \mathbb {R} ^{d}}
, такие, что
E
[
(
T
1
x
)
2
]
=
‖ ‖ -->
x
‖ ‖ -->
2
2
{\displaystyle E[(T_{1}x)^{2}]=\|x\|_{2}^{2}}
и
E
[
(
T
1
x
)
p
]
1
/
p
≤ ≤ -->
a
p
‖ ‖ -->
x
‖ ‖ -->
2
{\displaystyle E[(T_{1}x)^{p}]^{1/p}\leq {\sqrt {ap}}\|x\|_{2}}
,
то
|
‖ ‖ -->
M
x
‖ ‖ -->
2
− − -->
‖ ‖ -->
x
‖ ‖ -->
2
|
<
ε ε -->
‖ ‖ -->
x
‖ ‖ -->
2
{\displaystyle |\|Mx\|_{2}-\|x\|_{2}|<\varepsilon \|x\|_{2}}
с вероятностью
1
− − -->
δ δ -->
{\displaystyle 1-\delta }
для любого вектора
x
{\displaystyle x}
, если количество строк
m
=
(
4
a
)
2
c
ε ε -->
− − -->
2
log
-->
1
/
δ δ -->
+
(
2
a
e
)
ε ε -->
− − -->
1
(
log
-->
1
/
δ δ -->
)
c
{\displaystyle m=(4a)^{2c}\varepsilon ^{-2}\log 1/\delta +(2ae)\varepsilon ^{-1}(\log 1/\delta )^{c}}
.
В частности, если элементами матрицы
T
{\displaystyle T}
являются числа
± ± -->
1
{\displaystyle \pm 1}
, можно получить
m
=
O
(
ε ε -->
− − -->
2
log
-->
1
/
δ δ -->
+
ε ε -->
− − -->
1
(
1
c
log
-->
1
/
δ δ -->
)
c
)
{\displaystyle m=O(\varepsilon ^{-2}\log 1/\delta +\varepsilon ^{-1}({\tfrac {1}{c}}\log 1/\delta )^{c})}
, что при малых значениях
ε ε -->
{\displaystyle \varepsilon }
согласуется с предельным значением
m
=
O
(
ε ε -->
− − -->
2
log
-->
1
/
δ δ -->
)
{\displaystyle m=O(\varepsilon ^{-2}\log 1/\delta )}
леммы Джонсона-Линденштрауса о распределении.
Блочное торцевое произведение
Примение блочного транспонированного торцевого произведения для описания отклика многогранной цифровой антенной решётки [ 13]
Для блочных матриц с одинаковым количеством столбцов в соответствующих блоках:
A
=
[
A
11
A
12
A
21
A
22
]
{\displaystyle \mathbf {A} =\left[{\begin{array}{c | c}\mathbf {A} _{11}&\mathbf {A} _{12}\\\hline \mathbf {A} _{21}&\mathbf {A} _{22}\end{array}}\right]}
и
B
=
[
B
11
B
12
B
21
B
22
]
{\displaystyle \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {B} _{11}&\mathbf {B} _{12}\\\hline \mathbf {B} _{21}&\mathbf {B} _{22}\end{array}}\right]}
согласно определению[ 7] , блочное торцевое произведение
A
[
∙ ∙ -->
]
B
{\displaystyle \mathbf {A} [\bullet ]\mathbf {B} }
запишется в виде:
A
[
∙ ∙ -->
]
B
=
[
A
11
∙ ∙ -->
B
11
A
12
∙ ∙ -->
B
12
A
21
∙ ∙ -->
B
21
A
22
∙ ∙ -->
B
22
]
{\displaystyle \mathbf {A} [\bullet ]\mathbf {B} =\left[{\begin{array}{c | c}\mathbf {A} _{11}\bullet \mathbf {B} _{11}&\mathbf {A} _{12}\bullet \mathbf {B} _{12}\\\hline \mathbf {A} _{21}\bullet \mathbf {B} _{21}&\mathbf {A} _{22}\bullet \mathbf {B} _{22}\end{array}}\right]}
.
Аналогично, для блочного транспонированного торцевого произведения (или блочного столбцового произведения Хатри — Рао ) двух матриц
A
[
∗ ∗ -->
]
B
{\displaystyle \mathbf {A} [\ast ]\mathbf {B} }
с одинаковым количеством столбцов в соответствующих блоках имеет место соотношение[ 7] :
A
[
∗ ∗ -->
]
B
=
[
A
11
∗ ∗ -->
B
11
A
12
∗ ∗ -->
B
12
A
21
∗ ∗ -->
B
21
A
22
∗ ∗ -->
B
22
]
{\displaystyle \mathbf {A} [\ast ]\mathbf {B} =\left[{\begin{array}{c | c}\mathbf {A} _{11}\ast \mathbf {B} _{11}&\mathbf {A} _{12}\ast \mathbf {B} _{12}\\\hline \mathbf {A} _{21}\ast \mathbf {B} _{21}&\mathbf {A} _{22}\ast \mathbf {B} _{22}\end{array}}\right]}
.
Выполняется свойство транспонирования[ 13] :
(
A
[
∗ ∗ -->
]
B
)
T
=
A
T
[
∙ ∙ -->
]
B
T
{\displaystyle \left(\mathbf {A} [\ast ]\mathbf {B} \right)^{\textsf {T}}={\textbf {A}}^{\textsf {T}}[\bullet ]\mathbf {B} ^{\textsf {T}}}
Приложения
Семейство торцевых произведений матриц используется в тензорно-матричной теории цифровых антенных решёток для радиотехнических систем[ 11] .
Торцевое произведение получило широкое распространение в системах машинного обучения, статистической обработке больших данных[ 16] . Оно позволяет сократить объёмы вычислений при реализации метода уменьшения размерности данных, получившего наименование тензорный скетч [ 16] , а также быстрого преобразования Джонсона — Линденштрауса [ 16] . При этом осуществляется переход от исходной проецирующей матрицы к произведению Адамара , оперирующему матрицами меньшей размерности. Погрешность аппроксимации данных большой размерности на основе торцевого произведения матриц соответствует лемме о малом искажении [ 16] [ 20] . В указанном контексте идея торцевого произведения➤ может быть использована для решения задачи дифференциальной приватности (англ. differential privacy )[ 15] . Кроме того, аналогичные вычисления были применены для формирования тензоров совместной встречаемости в задачах обработки естественного языка и построения гиперграфов подобия изображений[ 21] .
Торцевое произведение применяется для P-сплайн аппроксимации[ 18] , построения обобщённых линейных моделей массивов данных (GLAM) при их статистической обработке[ 19] и может быть использовано для эффективной реализации ядерного метода машинного обучения , а также изучения взаимодействия генотипов с окружающей средой.[ 22]
См. также
Примечания
↑ Khatri C. G., C. R. Rao . Solutions to some functional equations and their applications to characterization of probability distributions (англ.) // Sankhya [англ.] : journal. — 1968. — Vol. 30 . — P. 167—180 . Архивировано 23 октября 2010 года.
↑ Zhang X; Yang Z; Cao C. (2002), "Inequalities involving Khatri–Rao products of positive semi-definite matrices", Applied Mathematics E-notes , 2 : 117—124
↑ See e.g. H.D. Macedo and J.N. Oliveira. A linear algebra approach to OLAP . Formal Aspects of Computing, 27(2):283-307, 2015.
↑ Lev-Ari, Hanoch. Efficient Solution of Linear Matrix Equations with Application to Multistatic Antenna Array Processing (EN) // Communications in Information & Systems. — 2005. — 1 января (т. 05 , № 1 ). — С. 123—130 . — ISSN 1526-7555 . — doi :10.4310/CIS.2005.v5.n1.a5 . Архивировано 12 июля 2020 года.
↑ Masiero, B.; Nascimento, V. H. Revisiting the Kronecker Array Transform // IEEE Signal Processing Letters. — 2017. — 1 мая (т. 24 , № 5 ). — С. 525—529 . — ISSN 1070-9908 . — doi :10.1109/LSP.2017.2674969 . — Bibcode : 2017ISPL...24..525M . Архивировано 12 июля 2020 года.
↑ Vanderveen, M. C., Ng, B. C., Papadias, C. B., & Paulraj, A. (n.d.). Joint angle and delay estimation (JADE) for signals in multipath environments . Conference Record of The Thirtieth Asilomar Conference on Signals, Systems and Computers. — DOI:10.1109/acssc.1996.599145
↑ 1 2 3 4 5 6 7 8 Slyusar, V. I. (December 27, 1996). "End products in matrices in radar applications" (PDF) . Izvestiya VUZ: Radioelektronika.– 1998, Vol. 41; Number 3 : 50—53. Архивировано (PDF) 27 июля 2020 . Дата обращения: 27 июля 2020 .
↑ Anna Esteve, Eva Boj & Josep Fortiana (2009): Interaction Terms in Distance-Based Regression, Communications in Statistics — Theory and Methods, 38:19, P. 3501 [1] Архивная копия от 26 апреля 2021 на Wayback Machine
↑ 1 2 3 Slyusar, V. I. Analytical model of the digital antenna array on a basis of face-splitting matrix products (англ.) // Proc. ICATT- 97, Kyiv : journal. — 1997. — 20 May. — P. 108—109 . Архивировано 25 января 2020 года.
↑ 1 2 3 4 Slyusar, V. I. (1999). "A Family of Face Products of Matrices and its Properties" (PDF) . Cybernetics and Systems Analysis C/C of Kibernetika I Sistemnyi Analiz . 35 (3): 379—384. doi :10.1007/BF02733426 . Архивировано (PDF) 25 января 2020 . Дата обращения: 12 июля 2020 .
↑ 1 2 3 4 Миночкин А. И., Рудаков В. И., Слюсар В. И. Основы военно-технических исследований. Теория и приложения. Том. 2. Синтез средств информационного обеспечения вооружения и военной техники // Под ред. А. П. Ковтуненко. — Киев: «Гранмна». — 2012. (неопр.) C. 7 - 98; 354 - 521 (2012). Дата обращения: 12 июля 2020. Архивировано 25 января 2020 года.
↑ 1 2 3 4 5 6 7 Slyusar, V. I. (1997-09-15). "New operations of matrices product for applications of radars" (PDF) . Proc. Direct and Inverse Problems of Electromagnetic and Acoustic Wave Theory (DIPED-97), Lviv. : 73—74. Архивировано (PDF) 25 января 2020 . Дата обращения: 12 июля 2020 .
↑ 1 2 3 4 5 Vadym Slyusar. New Matrix Operations for DSP (Lecture). April 1999. - DOI: 10.13140/RG.2.2.31620.76164/1
↑ 1 2 C. Radhakrishna Rao . Estimation of Heteroscedastic Variances in Linear Models.//Journal of the American Statistical Association, Vol. 65, No. 329 (Mar., 1970), pp. 161-172
↑ 1 2 Kasiviswanathan, Shiva Prasad, et al. «The price of privately releasing contingency tables and the spectra of random matrices with correlated rows.» Proceedings of the forty-second ACM symposium on Theory of computing. 2010.
↑ 1 2 3 4 5 6 7 Ahle, Thomas; Knudsen, Jakob Almost Optimal Tensor Sketch (неопр.) . [2] (3 сентября 2019). Дата обращения: 11 июля 2020. Архивировано 14 июля 2020 года.
↑ Ninh, Pham; Rasmus, Pagh (2013). Fast and scalable polynomial kernels via explicit feature maps . SIGKDD international conference on Knowledge discovery and data mining. Association for Computing Machinery. doi :10.1145/2487575.2487591 .
↑ 1 2 Eilers, Paul H.C.; Marx, Brian D. (2003). "Multivariate calibration with temperature interaction using two-dimensional penalized signal regression". Chemometrics and Intelligent Laboratory Systems . 66 (2): 159—174. doi :10.1016/S0169-7439(03)00029-7 .
↑ 1 2 3 Currie, I. D.; Durban, M.; Eilers, P. H. C. (2006). "Generalized linear array models with applications to multidimensional smoothing". Journal of the Royal Statistical Society . 68 (2): 259—280. doi :10.1111/j.1467-9868.2006.00543.x .
↑ Ahle, Thomas; Kapralov, Michael; Knudsen, Jakob; Pagh, Rasmus; Velingker, Ameya; Woodruff, David; Zandieh, Amir (2020). Oblivious Sketching of High-Degree Polynomial Kernels . ACM-SIAM Symposium on Discrete Algorithms. Association for Computing Machinery. doi :10.1137/1.9781611975994.9 .
↑ Bryan Bischof. Higher order co-occurrence tensors for hypergraphs via face-splitting. Published 15 February, 2020, Mathematics, Computer Science, ArXiv Архивная копия от 25 ноября 2020 на Wayback Machine
↑ Johannes W. R. Martini, Jose Crossa, Fernando H. Toledo, Jaime Cuevas. On Hadamard and Kronecker products in covariance structures for genotype x environment interaction.//Plant Genome. 2020;13:e20033. Page 5. [3]
Литература