论文：Graph Time-series Modeling in Deep Learning: A Survey
期刊/会议：ACM Trans. Knowl. Discov. Data.
链接：https://dl.acm.org/doi/10.1145/3638534

思维导图：

时间序列和图因其在众多领域的普遍存在而被广泛研究。这两个主题在深度学习领域都被分别探索过。在时间序列建模中，循环神经网络或卷积神经网络对不同时间步的值之间的关系进行建模，而在图建模中，图神经网络对节点之间的相互关系进行建模。深度学习领域的最新研究要求在两种表示都存在时，对时间序列和图进行联合建模。例如，在图中的时间序列分类、回归和异常检测任务中，这两种建模方式都是必要的。本文旨在对这些模型进行全面总结，我们将其称为图时间序列模型。据我们所知，这是第一篇从深度图时间序列建模的角度描绘相关模型全貌的综述论文，旨在解决包括回归、分类和异常检测在内的一系列时间序列任务。图时间序列模型分为两类：a) 图循环 / 卷积神经网络；b) 图注意力神经网络。在每个类别下，我们根据模型的特性进一步对其进行分类。此外，我们对代表性模型进行了比较，并探讨了针对各种模型组件和数据挑战，如何利用模型的独特特性。文中还包含了指向常用数据集和代码的指引，以方便进一步研究。最后，我们讨论了未来研究的潜在方向。

1 INTRODUCTION

深度学习研究在时间序列分析和图建模方面取得了快速进展。时间序列分析在信号处理、统计学和数据挖掘等诸多领域都至关重要 [22, 40, 53]。尽管存在许多涉及时间序列分析的不同任务 [28, 60]，但本文特别关注时间序列任务，包括时间序列分类、时间序列异常检测和时间序列预测。因此，我们将用于时间序列分析的深度学习模型定义为一类利用神经网络处理时间序列数据以完成上述任务的模型。用于时间序列分类的深度学习模型通常会学习一种嵌入来对时间序列进行分类 [48, 87]；时间序列预测方法利用深度学习解决各种问题，如单变量预测 [63, 73]、多变量预测 [8, 82] 以及预测模型的可解释性 [14, 21]；时间序列异常检测方法利用深度学习在时间序列级别 [44]、时间段级别 [35, 61] 和时间点级别 [18, 98] 进行异常检测。

无论其具体任务如何，这些模型都可以分为两类：一类专注于单个时间序列，另一类同时考虑多个时间序列。虽然前一类模型通常需要更少的参数且更易于解释，但它忽略了时间序列之间可能提升模型性能的相互关系。相比之下，后一类模型要么隐式要么显式地利用时间序列之间的相互关系，从而使每个时间序列都能借鉴其他时间序列的知识。本文所讨论的图时间序列模型就属于后一类。另一方面，图模型因其在建模图节点实体之间拓扑关系方面的普遍能力而得到了广泛研究 [45, 97]。近年来，深度图学习研究在节点分类 [41, 76]、节点嵌入 [25] 和链路预测 [94] 等方面取得了显著进展。在本文中，我们将图模型定义为利用图结构的模型，其中感兴趣的实体表示为节点，实体之间的关系表示为边。图时间序列模型属于图模型的一个子类，其中节点与时间序列相关联。

时间序列模型和图模型各自都被广泛综述过。许多现有论文要么综述时间序列 [5, 6, 37]，要么综述图 [97, 102]，然而，它们仅能让人对融合这两个主题的模型有部分了解。虽然最近有一篇论文共同综述了这两个主题，但它仅研究了异常检测这一特定任务 [32]。相比之下，本文旨在填补现有综述论文的空白，及时综述深度学习中时间序列建模与图建模的联合主题。我们将相关模型称为深度图时间序列模型，简称图时间序列模型。图时间序列模型旨在利用两个不可或缺的组件来解决时间序列任务：一个是捕捉序列内依赖的时间序列组件，另一个是捕捉序列间依赖的图组件。本综述论文概述了图时间序列模型，并为研究人员提供了关于哪些因素可能影响模型性能的见解。

在深度学习研究领域，我们将图时间序列模型定义为包含一个或多个图的模型，其中图通过节点表示与时间序列相连。在典型的图时间序列模型中，所使用的图的每个节点都与一个时间序列配对。这种关联不仅限于时间序列的值，还包括与时间序列相关的静态或动态上下文信息（若有的话）。图的每条边连接两个节点，并表明它们之间连接的强度。例如，在一个用于股票价格预测的图时间序列模型中，可以采用这样一种图：每个节点对应一家公司的价格序列和财务状况，连接股票对的边可能表明它们之间关系的强度。

我们的综述结构如下：我们将本文与相关综述论文进行比较，包括那些仅综述神经时间序列模型的论文、仅综述深度图模型的论文以及其他相关综述论文（第 2 节）。我们概述了在深度学习中时间序列和图如何各自建模（第 3 节），然后给出了基本计算的基础及更技术性的细节（第 4 节）。随后，我们将代表性的图时间序列模型分为两大类（第 5 节），即图循环 / 卷积神经网络（GRCNN）和图注意力神经网络（GANN）。在 GRCNN 类别中，我们进一步根据时间序列建模和图建模对模型进行分类；在 GANN 类别中，我们进一步根据模型的目标任务对其进行分类。我们讨论并分析了图时间序列模型中表征组件的使用（如门控机制和跳跃连接），以及模型的可解释性（第 6 节）。我们总结了实际应用和常用数据集，并讨论了图时间序列模型如何适应来自时间序列或图的不规则性（第 7 节）。同时，我们展示了选定模型在两个时间序列预测任务上的性能，以观察哪种模型表现最佳并分析可能的原因。我们在附录中包含了数据集和代码资源的公开链接（D 节）。论文末尾讨论了未解决的问题和未来方向（第 8 节）。

本文旨在使研究人员熟悉最先进的深度图时间序列模型。为此，我们选取并讨论了关于该主题的代表性论文。我们的主要贡献可总结如下：

• 据我们所知，这是第一篇统一深度学习中时间序列建模与图建模研究领域的综述论文，涵盖了包括回归、分类和异常检测在内的一系列任务。我们汇编了一份全面的相关模型列表，并详细介绍了
  20 多个代表性模型。

• 为了增进对图时间序列模型的理解，我们从多个角度对模型进行分类，强调模型之间的相似之处与不同之处，并进行深入的模型讨论。

• 我们展示了所选模型在常用数据集上的性能，并给出了哪些组件对性能提升有贡献的可能原因。

• 我们为基于图的时间序列的未来研究和应用方向提供见解。同时还提供了公开使用的数据集和模型的链接，方便参考。

2 RELATED SURVEY PAPERS

我们的综述与一些综述论文密切相关，这些论文要么综述深度时间序列模型或深度图模型，要么从时间点过程或动态网络的角度综述图的时间动态。

深度学习中的时间序列已被广泛研究，且针对各种任务提出了许多模型。例如，[37] 综述了分类模型，并将其分为生成模型和判别模型。预测模型 [5, 54] 则针对各种任务类型进行了讨论，例如点预测与概率预测、单 horizon 预测与多 horizon 预测等。[6] 提出了时间序列级别、周期级别和时间点级别异常检测模型的分类法。同时，大量的深度图模型也得到了研究。例如，[81] 概述了具有代表性的图神经网络（GNNs）。另一篇平行的综述论文也总结了不同类型的 GNNs [97]。此外，[102] 从不同的传播方法、采样方法和池化方法的角度讨论了 GNNs。尽管现有的时间序列综述未包含基于图的模型，且上述图相关综述也很少讨论时间序列模型，但这些论文及其综述的模型为研究人员提出和改进图时间序列模型奠定了坚实的基础。最近的研究也致力于整合这两个主题。例如，[32] 探索了用于时间序列异常检测的基于图的模型。与他们的研究仅关注异常检测不同，本文综述的模型涵盖了一系列各种任务，包括回归、分类和异常检测。这有助于弥合深度学习中时间序列建模与图建模结合领域的现有差距。我们的综述范围定位如图 1 所示。

图 1. 我们这篇综述论文的研究范围弥合了深度学习中图建模与时间序列建模之间的差距.

与图时间序列模型类似，网络中的时间点过程和动态网络是两类捕捉图结构中嵌入的时间动态的模型。时间点过程（TPP）是一类随机过程，其实现形式为不同时间点上的离散事件列表 [23, 42]。TPP 通常用于对连续时间中的离散事件时间序列进行建模。例如，基于 TPP 的网络模型通过将每个链接创建视为离散事件，并将事件之间的时间间隔视为随机变量，来预测社交网络中链接创建的数量。相比之下，图时间序列模型使用聚合计数的数据集来生成固定时间间隔的时间序列。基于 TPP 的模型在时间建模方面更为精细，但它们需要专家知识来选择随机变量背后的概率分布，这对没有统计背景的用户而言可能较为困难。此外，它们通常具有二次时间复杂度，这对于大规模数据而言计算成本很高。动态网络模型通常构建随时间演化的图，以捕捉节点间的交互，用于节点分类、链路预测等任务 [4, 72]。例如，[27] 综述了时间依赖的图表示学习和生成建模。这些模型不考虑时间序列，因此无法解决时间序列任务。与现有综述论文不同，本综述主要围绕两个关键研究问题展开：

1. 图时间序列模型如何整合图模型和时间序列模型，以兼具两者的优势？
2. 图时间序列模型如何独特地融合各种结构设计，如注意力机制和残差连接？

在本文中，我们通过对众多图时间序列模型的深入讨论来围绕这些研究问题展开，帮助读者理解图时间序列模型在处理各种时间序列任务时的优势。此外，这种理解有望推动相关研究领域的进一步发展。

3 TIME-SERIES AND GRAPHS IN DEEP LEARNING: INDIVIDUAL MODELING

在本节中，我们将讨论在深度学习中时间序列和图是如何分别建模的。我们的讨论主要聚焦于时间序列和图中节点的嵌入学习的高层次概括。

3.1 Time-series Encoding in Deep Learning

为了对时间序列进行编码，有两种常见的神经网络：卷积神经网络（CNNs）和循环神经网络（RNNs）。通过卷积滤波器，CNN 模型能够捕捉卷积滤波器范围内时间序列值之间的局部关系。而具有循环处理特性的 RNN 模型则旨在学习一种隐藏状态，这种状态会嵌入时间序列中所有先前观测的信息，之后该隐藏状态被用于分类或预测等下游任务。

3.2 Graph Modeling in Deep Learning

近年来，许多图深度学习模型被提出，用于解决各种图问题和数据特性。在本节中，我们主要关注基于图神经网络（GNNs）的节点嵌入模型。有效的节点嵌入可用于节点分类、链路预测等下游任务。

3.2.1 节点嵌入

学习节点的有效表示仍是深度图学习中最重要的任务之一。学到的节点嵌入可用于许多任务 [18, 34]。早期模型利用随机游走 [25, 34]，而近年来的模型通过神经网络层提升了节点嵌入的性能 —— 这些神经网络层能有效聚合相邻节点的信息，并对节点间的非线性相互依赖关系进行建模，以辅助表示学习 [41, 58, 77]。

3.2.2 代表性图神经网络

图神经网络（GNNs）构成了近年来大多数基于图的深度学习模型 [81, 97]。我们简要介绍图结构在一些最成功的图神经网络模型中是如何被利用的。

图卷积网络（GCN） 通过图卷积层直接在图结构上运行，它被视为在网格结构数据上运行的卷积神经网络（CNNs）的对应物 [41]。对于图中的每个节点，GCN 模型会根据节点间的连接强度聚合其他节点的信息，即邻近节点比远距离节点的影响更大。图卷积层能够聚合一跳邻节点的信息，而通过堆叠多个图卷积层可以实现多跳邻域聚合。本质上，GCN 可被视为一种节点嵌入方法，最初被应用于节点分类任务。

图注意力网络（GAT） 整合了注意力机制，该机制包含自注意力层，可基于节点嵌入学习节点间的成对关系 [77]。尽管标准 GAT 以图的连接信息作为输入，但当此类连接信息缺失时，GAT 可假设为完全图。节点嵌入被用于计算注意力分数，这些分数进而作为图中的边权重。这带来了两方面的优势：其一，注意力分数为节点间的相互影响提供了合理且直观的解释；其二，节点嵌入和注意力分数可以交替迭代计算，就参数复杂度而言，这使得模型具有自包含性且相对简单。此外，只要存在外部图结构知识，就可利用其来选择要计算的注意力分数。同样，GAT 模型可被视为一种节点嵌入方法，它通过整合邻域信息为每个节点学习隐藏状态。

4 PRELIMINARIES AND DEFINITIONS

本节为方便起见定义了一些符号和函数。此外，我们还定义了常用的神经模块，并明确了时间序列任务。为便于阅读，采用了以下排版约定：我们使用小写拉丁字母表示标量值或函数（例如，d 表示标量值，f(·)、g(·) 表示函数），使用小写希腊字母表示神经网络中的超参数或参数（例如，θ、ψ 表示参数），用大写拉丁字母表示张量（例如，$X\in {\mathbb{R}}^{N\times T\times d}$），用粗体小写拉丁字母表示向量（例如，θ、b 等向量），用粗体大写拉丁字母表示矩阵（例如，X、W 等矩阵），用手写体大写拉丁字母表示集合（例如， G = { G 1 , G 2 , . . . , G T } G=\{G_{1}, G_{2}, ..., G_{T}\} G={G1​,G2​,...,GT​}）。当符号字母相同时，也会使用下标和上标来区分它们。符号汇总见表 1。

时间序列、图和图时间序列的定义如下。

定义 1（时间序列）。时间序列被定义为由数据值组成的序列，这些数据值要么通过对连续空间采样获得，要么在离散空间中记录得到。我们令$x=[x_1{x}_2...x_T{]}^{\top }\in {\mathbb{R}}^T$（包含 T 个观测标量值）表示长度为 T 的单变量时间序列。当与一个实体相关联的时间序列有两个或更多（例如，d 个时间序列）时，通常会形成多变量时间序列，我们令$X\in {\mathbb{R}}^{T\times d}$表示长度为 T、包含 d 个变量的多变量时间序列。一些论文用 d 表示时间特征或隐藏特征的数量。我们重载符号 d，使其既表示变量的数量，也表示特征的数量，具体含义可根据上下文明确区分。在时间序列预测任务中，包含最近一些值的回溯窗口是简化模型复杂度的常用技术。我们用 w 表示窗口大小，用 t 表示预测期限。

定义 2（图）。令$G=(V,E)$表示一个图，其中 V 和 E 分别表示其节点集和边集。节点集的大小记为(N=|V|)，其中(|·|)表示集合基数运算符。邻接矩阵记为$A\in {\mathbb{R}}^{N\times N}$，由边集得到，即元素(A_{ij})表示从节点 i 到节点 j 的边权重。若该图为连通图，则 A 为二进制矩阵，即 A ∈ { 0 , 1 } N × N A \in\{0,1\}^{N ×N} A∈{0,1}N×N。对于每个节点$v\in V$，令$\Gamma (v)\subset V$表示其邻节点集。图可能包含节点特征，此时令$X\in {\mathbb{R}}^{N\times d}$表示 d 维节点特征。为方便起见，令 $L、D\in {\mathbb{R}}^{N\times N}$分别表示邻接矩阵的拉普拉斯矩阵和度矩阵，其中$L=D-A$且$D_{ii}={\sum }_j{A}_{ij}$。

定义 3（图时间序列）。我们将图时间序列定义为其内部时间序列之间的相互关系由图$G(V,E,X)$描述的时间序列X。根据上下文，图时间序列可以是单变量的，也可以是多变量的。在基于图的时间序列模型中，图中的每个节点都关联着一个时间序列，因此，数据集中总共有N个时间序列，它们构成了长度为T、维度为d的节点特征数据$X\in {\mathbb{R}}^{N\times T\times d}$。不失一般性，可将维度设为$d=1$以涵盖单变量时间序列的情况。除非另有说明，我们使用上标表示时间索引，即$X^t$表示时刻t的所有值；使用下标表示节点和多变量索引，即$X_i$表示与节点i相关的所有值。

4.1 Fundamental Computations in Neural Networks

为方便起见，我们定义了神经网络中常用的函数、层和模块，并用下标$f_{\ast }(\cdot )$来表示它们以作区分，例如，$f_{FC}(\cdot )$代表全连接层。为简洁起见，激活函数、向量化操作以及全连接层等核心函数均在附录（A 节）中说明。如附录中所定义，我们分别用$f_{FC}(\cdot )$、$f_{softmax}(\cdot )$、$f_{EMB}(\cdot )$、$f_{CONV}(\cdot )$表示全连接层、softmax 层、嵌入层和卷积层。

a) 长短期记忆网络(LSTM) 是最常用的循环神经网络（RNN）变体之一。LSTM 的输入数据是一个包含T个时间步、维度为d的时间序列，记为$\mathbf{X}\in {\mathbb{R}}^{T\times d}$。该时间序列按每个时间步 t ∈ { 1 , 2 , … , T } t \in \{1, 2, \dots, T\} t∈{1,2,…,T}输入 LSTM。在任意时间步t，LSTM 通过以下公式处理输入向量${\mathbf{X}}^t\in {\mathbb{R}}^d$：

其中$\odot$表示哈达玛积（按元素逐点相乘）。输入维度$c_{\text{in}}=d$会被转换为输出维度$c_{\text{out}}$。各变量的维度如下：${\mathbf{f}}^t,{\mathbf{i}}^t,{\mathbf{o}}^t,{\mathbf{c}}^t,{\mathbf{h}}^t\in {\mathbb{R}}^{c_{\text{out}}}$（遗忘门、输入门、输出门、细胞状态、隐藏状态）；${\mathbf{W}}_{\ast 1}\in {\mathbb{R}}^{c_{\text{in}}\times c_{\text{out}}}$（输入侧权重，(*)代表 f、i、o、c 等门）；${\mathbf{W}}_{\ast 2}\in {\mathbb{R}}^{c_{\text{out}}\times c_{\text{out}}}$（隐藏状态侧权重）；${\mathbf{b}}_{\ast }\in {\mathbb{R}}^{c_{\text{out}}}$（偏置项）。初始时刻（$t=0$）的变量${\mathbf{f}}^0,{\mathbf{i}}^0,{\mathbf{o}}^0,{\mathbf{c}}^0,{\mathbf{h}}^0$可由用户指定（例如全 0）。因此，我们将 LSTM 的输出定义为：$f_{\text{LSTM}}(\mathbf{X})={\left[{\mathbf{h}}^1{\mathbf{h}}^2\dots {\mathbf{h}}^T\right]}^{\top }\in {\mathbb{R}}^{T\times c_{\text{out}}}$即所有时间步的隐藏状态${\mathbf{h}}^t$按行堆叠形成的矩阵。

注：公式（6）中${\mathbf{h}}^t={\mathbf{o}}^t\odot {\mathbf{c}}^t$可能存在笔误（标准 LSTM 中应为${\mathbf{h}}^t={\mathbf{o}}^t\odot \tanh ({\mathbf{c}}^t)$），翻译时保留原文表述。

b) 门控循环单元（Gated Recurrent Unit，GRU） 是另一种广受欢迎的循环神经网络（RNN）变体。它的输入与 LSTM 相同，为维度$\mathbf{X}\in {\mathbb{R}}^{T\times d}$的时间序列（T是时间步数，d是输入维度），计算过程由以下公式描述：

${\mathbf{r}}^t$是重置门，${\mathbf{u}}^t$是更新门（$\sigma$为 sigmoid 函数，输出 0~1，控制信息流动）；${\mathbf{X}}^t$ 是时间步t的输入，${\mathbf{h}}^{t-1}$是上一步隐藏状态；${\mathbf{W}}_{r1}/{\mathbf{W}}_{u1}$是输入到门的权重（$c_{\text{in}}=d$是输入维度，$c_{\text{out}}$是隐藏状态维度），${\mathbf{W}}_{r2}/{\mathbf{W}}_{u2}$ 是隐藏状态到门的权重，${\mathbf{b}}_r/{\mathbf{b}}_u$是偏置。

${\mathbf{c}}^t$是候选隐藏状态（由当前输入和 “重置门筛选后的历史状态”${\mathbf{r}}^t\odot {\mathbf{h}}^{t-1}$ 计算，$\tanh$输出 - 1~1）；$\odot$是哈达玛积（逐元素相乘）；${\mathbf{h}}^t$是当前隐藏状态：更新门${\mathbf{u}}^t$决定 “保留多少历史状态”，$1-{\mathbf{u}}^t$决定 “融入多少候选状态”。

${\mathbf{r}}^t,{\mathbf{u}}^t,{\mathbf{c}}^t,{\mathbf{h}}^t\in {\mathbb{R}}^{c_{\text{out}}}$（门、候选 / 隐藏状态）；权重${\mathbf{W}}_{\ast 1}\in {\mathbb{R}}^{c_{\text{in}}\times c_{\text{out}}}$，${\mathbf{W}}_{\ast 2},{\mathbf{W}}_1,{\mathbf{W}}_2\in {\mathbb{R}}^{c_{\text{out}}\times c_{\text{out}}}$；偏置${\mathbf{b}}_{\ast },\mathbf{b}\in {\mathbb{R}}^{c_{\text{out}}}$。GRU 的输出是所有时间步隐藏状态的堆叠：$f_{\text{GRU}}(\mathbf{X})={\left[{\mathbf{h}}^1{\mathbf{h}}^2\dots {\mathbf{h}}^T\right]}^{\top }\in {\mathbb{R}}^{T\times c_{\text{out}}}$即把时间步1到T的${\mathbf{h}}^t$按行拼接，形成$T\times c_{\text{out}}$的输出矩阵。

c) 图卷积神经网络（Graph Convolutional Neural Network, GCN） 是一类基础的图神经网络（GNN）模型，用于结合图的拓扑结构变换节点特征。给定图 $G=(V,E,\mathbf{A})$（其中$\mathbf{A}$为邻接矩阵）和节点特征 $\mathbf{X}\in {\mathbb{R}}^{N\times d}$（N是节点数，d是特征维度），一个包含l 层图卷积层的 GCN 模型通过以下步骤学习节点嵌入：

d) 图注意力网络（Graph Attention Network, GAT） 是另一类强大的图神经网络（GNN）。与依赖显式边权重的模型不同，GAT 通过 注意力分数 实现节点间的信息聚合。注意力系数的计算方式如下：

注意力分数可扩展至K个通道，因此，节点i的新隐藏状态${\mathbf{H}}_i^{\prime }$通过多头注意力的均值计算得到；每个通道的计算依赖于注意力分数${\alpha }_{ij}^k$、可训练参数矩阵${\mathbf{W}}^k$，以及节点i的局部邻域 ( j ∈ Γ i ∪ { i } (j \in \Gamma_i \cup \{i\} (j∈Γi​∪{i}，即节点i的邻居及自身）中的隐藏状态${\mathbf{H}}_j$。

4.2 Problem Definitions

图时间序列模型本质上旨在解决各种时间序列任务，本节阐述了其中一些最重要的任务，即时间序列分类 [46, 64, 65, 92]、时间序列预测 [8, 12, 47, 57, 62, 67, 70, 75, 79, 84] 以及时间序列异常检测 [7, 18, 98]。不失一般性，我们假设所有这些任务的输入都是多个多变量时间序列 X 和一个图 G。每个时间序列都与图 G 中的一个节点相关联。

图时间序列分类旨在预测时间序列的标签。假设输入为时间序列$X\in {\mathbb{R}}^{N\times T\times d}$，且存在一个包含C个不同类别的标签集 y = { 1 , 2 , … , C } y=\{1,2, \dots, C\} y={1,2,…,C}，分类模型会学习从每个时间序列到其标签的映射$f_{\text{classification}}:(G,X)\mapsto y$，其中$y\in y^N$。

图时间序列预测旨在基于历史观测值，预测未来时间区间内的数值。假设输入为时间序列 $X\in {\mathbb{R}}^{N\times T\times d}$（其中N是节点数，T是历史时间步数，d是特征维度），且目标预测期限为$\tau$，则预测模型学习从历史时间序列到未来预测值的映射：

$f_{\text{forecasting}}:\left(G,X^{1:T}\right)\mapsto {\hat{X}}^{T+1:T+\tau }$

式中 $X^{1:T}$ 代表 1 到T时刻的历史观测，${\hat{X}}^{T+1:T+\tau }$ 代表预测的$T+1$到$T+\tau$时刻的未来值。

图时间序列异常检测可分为三个层级，即 时间序列级、周期级 和 时间点级：

1. 时间序列级异常检测：本质是二分类任务，核心是判断整个时间序列是否属于异常（如判断某传感器的完整数据序列是否故障）。

2. 周期级异常检测：旨在识别时间序列中不规则的时间段（如股票走势中连续 3 天的异常波动区间）。给定时间序列 $X\in {\mathbb{R}}^{N\times T}$（N 为节点数，T 为时间步数），模型学习映射：

   f detection : X ↦ { ( s p , t p ) ∣ p = 1 , 2 , … , P } f_{\text{detection}}: X \mapsto \left\{ (s_p, t_p) \mid p=1,2,\dots,P \right\} fdetection​:X↦{(sp​,tp​)∣p=1,2,…,P}

   其中 P 是检测到的异常周期数，$(s_p,t_p)$表示第 p 个异常周期的起始时间 $s_p$和 结束时间 $t_p$。

3. 时间点级异常检测：可视为周期级的特殊情况 —— 当周期长度为 1（单个时间点） 时，即为检测某一时刻的异常（如某秒的传感器读数突增）。

   这些基本定义可灵活调整，以适配 动态图（图结构随时间变化）、多变量时间序列 等实际场景的形式化描述。

5 DEEP GRAPH TIME-SERIES MODELING

近年来的图时间序列模型主要分为两类：图循环 / 卷积神经网络（GRCNN）和图注意力神经网络（GANN）。GRCNN 模型利用自回归层或卷积层来学习时间值之间的时间依赖性（见 5.1.1 节和 5.1.2 节）。我们还讨论了 GRCNN 模型在自衍生图（5.1.3 节）和演化图（5.1.4 节）上的应用。GANN 模型整合注意力机制以捕捉依赖性。不同的注意力机制为节点间以及跨时间戳的值之间的相互影响提供了可能的解释。我们在 5.2 节中详细讨论了不同的注意力类型。请注意，我们的分类并非互斥，一个模型可能属于多个类别。在这种情况下，我们将该模型归入最合适的类别进行讨论。在整个讨论过程中，我们总结并重点强调了所介绍模型的关键函数或模块，详细的模型公式见附录（B 节）供参考。表 2 提供了所调研模型的时间线。有关时间序列归一化、图构建等相关实验设置以及可用代码资源的说明也见附录（C 节和 D 节）。

5.1 Graph Recurrent/Convolutional Neural Networks

建模图与时间序列的一种直观方法是将图模型和时间序列模型相结合。在深度学习中，循环神经网络（RNN）和卷积神经网络（CNN）常被用作时间序列模型，而图神经网络（GNN）则用于图模型。表 3 从时间序列建模和图建模的维度，对图循环 / 卷积神经网络（GRCNN）进行了对比分析。大多数 GRCNN 模型会构建一个图结构，其中每个节点都关联着一条时间序列（可为单变量或多变量）。除非另有说明，且不失一般性，我们假设所有关联的时间序列均为多变量，并且所有节点的特征维度大小一致。本节中，我们首先从时间序列建模的视角讨论模型（如 5.1.1 节和 5.1.2 节所述），随后从图建模的视角展开分析（如 5.1.3 节和 5.1.4 节所述），并在表 3 中总结这些模型的属性。

5.1.1 基于 RNN 的时间序列建模

如公式 4 至公式 8 所述，RNN 模型可通过将权重矩阵乘法替换为图卷积或图扩散，实现节点间的消息传播。因此，经改进的 RNN 模型不仅能通过自身的递归特性建模时间依赖性，还可捕捉节点间的非线性相互影响。在这一类别中，我们将介绍 GCRN、DCRNN 和 DGSL，如图 2 所示，这些模型均将图神经网络（GNN）模块嵌套在 RNN 单元内部。

图 2. 图 RNN 模型示意图。图组件（例如图卷积网络（GCN）或扩散机制）嵌套在 RNN 单元内部。

GCRN [69] 用图卷积层替代了长短期记忆网络（LSTM）中的全连接层。具体而言，LSTM 中所有门的权重矩阵乘法被图卷积网络（GCN）取代，形成了一种记为 LSTM∗的 LSTM 变体：

$H^t=LST{M}_{f_{GCN},G}^{\ast }\left(X^t,H^{t-1}\right)(12)$

GCRN 利用图结构进行训练，这使得每个节点能够高效聚合邻居信息；与之不同的是，原始 RNN（此处指 LSTM 模型）通过密集神经层来建模节点间的依赖关系。GCRN 模型的形式与 LSTM 模型相似，因此，公式 46 中导出的隐藏状态在时间序列预测任务中的使用方式，与 LSTM 中隐藏状态的使用方式一致且合理。详细公式参见 B.1 节。

DCRNN [51] 采用扩散卷积替代了另一种 RNN 变体 —— 门控循环单元（GRU）中的权重矩阵乘法。图扩散算子记为$g_{\theta }(\cdot )$，其与参数 θ 和邻接矩阵 A 相关，定义如下：

$g_{\theta }(X)={\sum }_{k=0}^{K-1}\left({\theta }_{k,1}{\left(D_O^{-1}A\right)}^k+{\theta }_{k,2}{\left(D_I^{-1}{A}^T\right)}^k\right)X(13)$

其中$D_O$和$D_I$分别表示出度矩阵和入度矩阵。该模型利用随机游走矩阵$D_O^{-1}A$和$D_I^{-1}{A}^{\top }$进行信息传播。在时间组件方面，模型选择 GRU 而非 LSTM，由于 GRU 模型结构更简单，因此带来了计算量更轻的优势。DCRNN 启发了许多后续模型，包括 DGSL [70]、T-GCN [100] 和 GraphDF [9]。

DGSL [70] 可视为一种带有概率图的 DCRNN 变体，其图结构从时间序列数据中学习得到。给定时间序列数据 $X\in {\mathbb{R}}^{N\times T\times d}$，图 A ∈ { 0 , 1 } N × N A \in\{0,1\}^{N ×N} A∈{0,1}N×N 通过以下公式进行参数化和采样：

其中 $g_{ij}^1$和 $g_{ij}^2\sim \text{Gumbel}(0,1)$（定义见 C.5 节）。二元图通过从公式 15 的分布中采样边来构建，这一过程利用了 Gumbel 重参数化方法 [38]，其中s为选定的常数参数。每个节点对的参数${\theta }_{ij}$通过一种链路预测方法学习得到，该方法以节点将嵌入作为输入，如公式 14 所示。借助采样得到的图，DGSL 使 DCRNN 模型适用于序列到序列的训练和预测。由于 DGSL 中的图是用时间序列数据进行参数化的，因此它会同时优化时间序列学习和图学习的可训练参数。

近年来的方法以多种方式构建图，用于除时间序列预测之外的其他任务。例如，VGCRN [10] 采用概率方法，构建了一个深度变分网络，用于时间序列异常检测。GANF [16] 结合贝叶斯网络构建了图增强的流模型，该贝叶斯网络对时间序列之间的因果关系进行建模，以实现时间序列异常检测。此外，GRIN [13] 结合图神经网络（GNN）和循环神经网络（RNN），针对时间序列补全任务展开研究。

模型对比： 在图建模方面，GCRN 采用图卷积网络（GCN），适用于无向图；而 DCRNN 和 DGSL 则使用图扩散机制，其优势在于能够对有向图进行建模。此外，GCRN 和 DCRNN 需要依赖外部图结构，而 DGSL 采用概率方法，从节点嵌入中学习图结构，无需使用预定义的图。图 3 展示了图 RNN 单元的示意图，该图突出展示了所选模型之间的差异与共性。

图 3. 图 RNN 单元的详细示意图。表示时间t处不同时间序列的值。每个节点都关联着一条独立的时间序列。时间序列之间的相互关系通过图神经网络（GNN）捕捉，而 GNN 在所选图时间序列模型中的应用方式各不相同：在 GCRN 中，每个节点通过图卷积网络（GCN）向其邻居学习；在 DCRNN 中，其扩散学习过程会考虑每个节点的入度和出度，如双向箭头所示；在 DGSL 中，所使用的图结构是概率性的，如虚线箭头所示。

5.1.2 基于 CNN 的时间序列建模

另一类研究工作通过卷积神经网络（CNN）而非循环神经网络（RNN）对时间序列进行建模。

STGCN [90] 通过独立的层分别对图结构和时间依赖性进行建模，而非将图嵌套在 RNN 结构中。STGCN 提出了一种时空卷积块，该卷积块由时间 - 空间 - 时间层构成。其中，时间层基于带有门控线性单元的 1D 卷积层构建，与 RNN 模型相比，其时间复杂度更低；而空间层则由图卷积网络（GCN）层构成。因此，STGCN 启发了对时间维度和空间维度的独立看待与使用方式。

Graph WaveNet [83] 指出，由于节点连接存在缺失，显式给定的图结构可能无法充分表示节点间的关系。为缓解信息缺失问题以及 RNN 组件的低效性，Graph WaveNet 构建了自适应邻接矩阵，并且用堆叠的扩张卷积层替代了 RNN 模型。在图建模方面，Graph WaveNet 借鉴了 DCRNN 的图扩散层，通过在扩散矩阵中增加自适应邻接这一第三项对其进行改进。

其中，自适应矩阵通过嵌入向量$H_{emb1}$和$H_{emb2}$学习得到，这两个嵌入向量独立于给定的图结构。在模型训练初期，$H_{emb1}$和$H_{emb2}$均采用随机初始化方式。

MTGNN [82] 同样通过节点嵌入构建图，且不需要先验图结构知识。MTGNN 分别对时间序列和图进行建模，随后按流水线顺序将两者融合。为简洁起见，我们重点关注图建模部分，并用 $g_{cnn}(\cdot )$表示时间组件，该组件通过扩张卷积层大幅缩减时间序列的时间维度。给定时间序列数据 $X\in {\mathbb{R}}^{N\times T\times D}$、节点嵌入 $H_{em{b}_1}$、$H_{em{b}_2}\in {\mathbb{R}}^{N\times d_{emb}}$，邻接矩阵的计算如下：

如公式 17 所示，两个独立计算的节点嵌入通过全连接层、tanh (・) 激活函数以及选定的常数超参数$\alpha$进行转换。需要注意的是，邻接矩阵A被确保为非对称矩阵，且通过按行选取 Top K 的方式进一步稀疏化连接，如公式 18 所示。

为保留记为 A 的初始图结构，MTGNN 利用带重启的随机游走方法生成每个节点的多层隐藏状态，随后拼接所有隐藏状态。令$H^0=g_{cnn}(X)$表示来自时间组件的初始隐藏状态，多层隐藏状态通过来自公式 9 的转换图结构 A 进行计算并聚合，得到第 l 层的隐藏状态如下：

模型对比： STGCN、Graph WaveNet 和 MTGNN 采用不同的 CNN 变体进行时间序列建模。STGCN 使用门控因果卷积神经网络（gated causal CNN），Graph WaveNet 使用扩张卷积神经网络（dilated CNN）。MTGNN 结合多个扩张卷积神经网络构建出 inception 扩张卷积神经网络，这使其能够对不同粒度的时间序列值进行建模。我们还注意到，STGCN 采用 GCN 层对给定的空间图进行建模，而 Graph WaveNet 提出了一种自适应图，该图融合了空间图和自衍生语义图。MTGNN 则仅依赖自衍生语义图，无需数据集提供预先定义的图结构。

时间序列组件模型对比：RNN 与 CNN
在深度学习中对时间序列进行建模时，最直观的方法之一是在输入时间序列数据上应用全连接层或一系列全连接层，并通过将预测值与实际真实值拟合来更新网络参数 [5]。输入层的每个神经元对应每个时间步的值，后续层的神经元通过网络参数汇总所有时间步的值，然而，随着层数增加，这会导致参数爆炸式增长和优化效率低下。

为解决这些问题，卷积层被更频繁地使用，它通过减少层间神经连接大幅降低模型复杂度。此外，扩张卷积层（如图 4 所示）能以较低的模型复杂度对极长序列进行建模，因为它会按预先选定的频率对时间序列输入进行下采样。基于 CNN 的模型也被称为直接方法，因为它们一次性预测未来值 [19]；相反，基于 RNN 的模型通过循环消耗时间值来捕捉时间依赖性，进而得到最终嵌入。

图 4. 一个包含三个扩张卷积层（扩张因子为 [1, 2, 4]）的模型能够处理 8 个时间值，其速度通常快于展开 8 次的循环神经网络（RNN）结构。

由于这种时间序列建模特性，RNN 在时间建模中应用最为广泛，我们在 3.1 节中对此进行了阐述。基于 RNN 的图时间序列模型将图建模嵌套在 RNN 单元内，因此在模型设计上相对受限；相比之下，基于 CNN 的模型用不同的层分别对图和时间序列进行建模，这使得多样化的组合成为可能，例如 STGCN 中的 “时间 - 空间 - 时间” 结构。

5.1.3 具有自衍生图的模型

大多数相关数据集（如交通数据和电力负荷数据）会提供外部图，这类图主要描述节点的地理连通性。然而，外部图结构并非总能获取，且它们未必能反映节点间的实际关联。在这种情况下，一些模型提出使用自衍生图，即图结构要么从时间序列中衍生，要么从节点嵌入中衍生。本节将从图建模的视角描述这些模型，具体探讨不同模型如何利用自衍生图捕捉节点间的相互关系。本节将讨论三种模型，即 FC-GAGA [62]、STFGNN [47] 和 RGSL [91]，但上一节中讨论的 Graph WaveNet 和 MTGNN 等其他模型也属于这一类别。不同模型中的图类型汇总于表 3。本节末尾将从图建模的角度对这些模型进行对比。

FC-GAGA [62] 与 MTGNN 类似，无需图结构的先验知识。需要注意的是，FC-GAGA 在时间序列建模中使用时间序列门控而非循环神经网络（RNN）或卷积神经网络（CNN）。时间序列门控可视为一种特殊类型的 CNN，因为它们用于对时间协变量特征进行加权。令$X\in {\mathbb{R}}^{N\times T}$表示节点时间序列，令$H_{emb}=f_{EMB}(X)\in {\mathbb{R}}^{N\times d_{emb}}$表示节点嵌入。FC-GAGA 的定义如下：

其中，图结构A从节点嵌入中学习并优化得到，如公式 21 所示，它与转换后的时间序列数据${\tilde{x}}_i$共同用于门控机制，以关闭不相关节点对的连接，其中$ϵ$为选定的常数超参数。隐藏状态Z通过拼接节点嵌入$H_{emb}$、缩放后的时间序列数据$X/\tilde{x}$以及门控状态G构建而成。随后，Z作为残差模块（记为$f_{res}$）的初始输入，该模块生成时间序列预测结果$\hat{X}$。为简洁起见，我们将残差模块$f_{res}$的详细信息放在 B.2 节中。FC-GAGA 得益于自动衍生图结构的灵活性，而非依赖基于马尔可夫模型或基于距离的图拓扑信息。然而，基于节点嵌入构建图的时间复杂度为$O(N^2)$，这限制了 FC-GAGA 的可扩展性。

STFGNN [47] 与许多仅使用单个图的模型不同，它通过一个融合层整合了三个图，其中每个图编码一种类型的信息。STFGNN 定义了一个时间图，该图利用动态时间规整（DTW）变体（定义见 C.3 节）编码图时间序列之间的时间相似关系；一个空间图，该图从节点间的地理距离中衍生而来；以及一个连通性图，该图表示相邻两个时间步之间节点的连接关系。随后，这三个矩阵采用用户选定的切片大小组合成一个时空融合图，用于隐藏状态学习。

RGSL [91] 也借助 Gumbel softmax 函数结合了外部图结构和语义图。此外，RGSL 还将领域知识融入语义图中。

图建模：目标与局限性

图时间序列模型中，图建模的目标与普通深度图模型中的目标相似，即有效且高效地利用每个节点的邻居信息。为实现可扩展性以解决时间复杂度的局限性，人们已付出巨大努力。因此，许多图神经网络（GNN）仅需$O(|E|)$ [41, 51, 69, 77, 84, 90, 92, 98]（的复杂度），而非 $O(N^2)$[62, 79, 82]（的复杂度）。由此，对边进行图稀疏化显著降低了时间复杂度。

与普通深度图模型不同，在图时间序列模型中，图结构与时间序列密切相关。研究人员应注意其局限性，具体如下：a) 图密度会限制计算效率。尽管许多图神经网络（GNN）模型将时间复杂度从 [较高复杂度] 降低至 [较低复杂度]，但当图为稠密图时（最坏情况下为完全图），边的数量将接近节点数量的平方，即 [O (N²)]，这会导致模型退化为最坏的时间复杂度。对于时间序列预测等需要及时响应的任务而言，这是一个严重的局限性。b) 此外，不同于深度学习模型 —— 其建模能力通常随模型深度或层数的增加而增强，对于深度图模型而言，简单增加图神经层并不能达到同样的效果。通过堆叠多个图神经层，远距离节点会被纳入，从而导致过平滑问题 —— 由于来自大型邻域集合的消息传播，局部信息无法得到充分利用 [55, 56, 81, 99]。在循环神经网络（RNN）结构中嵌套图神经网络（GNN）的图时间序列模型，在对长序列建模时更易受过平滑影响，这是因为在每个 RNN 展开步骤中都会发生消息传播。c) 另一个问题是过挤压，这是由于每个节点的邻居节点信息过多，而学习到的输出是固定长度向量，因此信息损失不可避免 [1]。

图组件的模型比较：图构建方法

许多图时间序列数据集包含一个预定义图。例如，维基百科数据中有一个图用于表示站点间的链接关系 [75]。在生物网络中，会提供一个图来表示生物实体间的链接 [19]。然而，对于其他未明确提供图的数据集，需要借助一些指标来构建图。我们介绍三种构建图的方法，即分别构建空间图、时间图和语义图。图 5 展示了这些图构建方法，每种方法都附有示例如下：

a) 空间图基于距离信息构建 [51]。若直接将距离用作图的边权重，会导致距离更近的节点因彼此间距更短而具有更小的边权重。然而，大多数图神经网络（GNN）模型需要 “ closeness 图”（亲近度图），其中更大的边权重代表更强的连接。将距离图转换为亲近度图的一种常用方法是通过径向基函数（RBF）（定义见 C.2 节）。一种特殊情况是连通性图，这类图是二元的，即当且仅当两个节点相连时，它们之间存在边且边权重为 1。基于地理学第一定律 ——“万物皆相关，但近者更相关”，若数据集中提供了空间图和连通性图，它们便是直观的选择，这也是大多数模型采用它们的原因；

b) 时间图基于节点时间序列之间的时间相似性构建 [57]。通过将每个节点时间序列格式化为序列，可利用多种序列相似性度量来构建时间图，包括余弦相似度、系数度量以及动态时间规整（DTW）等。例如，在前述的 GRCNN 模型中，STFGNN [47] 便使用 DTW 来构建时间图。若节点间的连接和相互影响与其时间序列模式高度相关，那么时间图会十分有用。此外，时间图超越了地理学第一定律，因为它可以连接两个时间序列高度相关但地理上相距较远的节点；

c) 语义图基于节点嵌入构建，用于连接语义上接近的节点，即这些节点之间共享一些相似的隐藏特征 [62]。在语义图中，地理上相距较远的节点可能因共享相似特征而紧密相连 [47]。相似程度可通过一些嵌入相似性度量来衡量，如相关系数。此外，边嵌入可用作分布函数的参数，边权重可从这些分布函数中采样得到 [70]。也可以整合多种语义类型的图 [47, 57]。语义图的优势在于不依赖外部图结构或时间序列模式。在实际应用中，通过级联处理 [62]、融合 [47] 或将一种图用作另一种图的掩码 [79] 等方式，组合多种类型的图已被广泛采用。

5.1.4 具有演化图的模型

时间动态性不仅存在于节点级时间序列中，还可能体现在演化图结构上，这为图神经网络带来了另一层次的建模复杂性。与静态图不同，演化图模型中使用一系列图，记为$G=(G_1,G_2,...,G_T)$，其中每个时间步t对应一个图$G_t=(V_t,E_t)$。节点数量动态依赖于时间步，即$N_t=|V_t|$。由于演化图中的动态性建模难度大得多，本节将简要介绍代表性模型。

Radlow [75] 对空间组件和时间组件分别进行建模，随后通过将两者相加实现组合。Radlow 的输入是一系列图 G 和节点多变量时间序列 $X\in {\mathbb{R}}^{N\times T\times d}$。从数据集中为每个时间步导出一个连通性图，因此存在一系列邻接矩阵，用张量 $A\in {\mathbb{R}}^{N\times N\times T}$ 表示。Radlow 的计算公式如下：

在时间步t，预测值KaTeX parse error: Can't use function '\)' in math mode at position 12: \hat{x}^{t}\̲)̲是两个变量\(\hat{Q}^…和${\hat{U}}^t$的总和，这两个变量分别由循环组件和图组件计算得到，如公式 24 所示。两个组件均采用了残差模块和 LSTM 模型。图组件额外使用了一个注意力模块，该模块基于图注意力机制和通用注意力机制构建。详细公式可参见 B.3 节。

Radlow 学习依赖于时间步的节点嵌入，并将其用于可解释的预测和数据补全。图连通性信息被用于为每个节点的注意力计算选择相邻节点，且不会在图上创建可训练参数，这使得与基于 GCN 的方法相比，它相对轻量、可扩展且速度更快。

TStream [11] 采用持续学习的方式适配图神经网络（GNN）模型，以快速学习大规模演化网络模式。在$\Delta N_t$远小于$N_t$的假设下，TStream 利用詹森 - 香农散度（Jensen-Shannon divergence，JSD）来衡量相邻时间步中两个衍生隐藏状态分布之间的相似性。那些具有高 JSD 分数的节点被视为发生了剧烈变化，会与新增节点一同进行更新。此外，模型还采用了信息重放方法和参数平滑方法，以避免遗忘历史观测数据。

LRGCN [46] 以时序演化图中的路径分类问题为研究目标。该模型用于预测现实世界中可能出现的路径故障，例如交通网络或电信网络中的路径故障。预测基于路径嵌入，而路径嵌入是通过 LSTM 和注意力层对路径上所有节点的嵌入进行聚合得到的。Z-GCNET [12] 提出了一种时间感知的持久同调表示学习图卷积网络（GCN）方法，用于追踪拓扑特征并将其应用于交通预测和加密货币价格预测。ESG [88] 认为，演化图结构会随关注的时间尺度而变化，其提出的模型为每个时间尺度学习一个不同的图。总之，演化图模型比前两种模型更复杂，因为除了时间序列和节点关系的动态性之外，它们还需要对动态图结构进行建模。一系列图通常是给定的或从数据集中衍生而来的，其中一个关键挑战是在不导致参数爆炸的情况下处理这些图。

5.2 Graph Atention Neural Networks

注意力机制被应用于图时间序列模型中，这有助于对节点间以及时间步间的相互依赖关系进行建模。我们将使用任何注意力机制的图时间序列模型称为图注意力神经网络（GANN）。我们探讨三种注意力类型，即空间 / 图注意力、时间注意力和通用注意力。大多数 GANN 模型利用图注意力，这种注意力可视为空间图与语义图的一种特殊组合。由于注意力机制的重要性，我们在本节中专门讨论 GANN 模型，而非将相关模型归入前文章节。我们进一步根据预测任务和异常检测任务对 GANN 模型进行分类。GANN 模型的属性对比列于表 4 中。

5.2.1 用于预测的注意力机制

我们讨论六种将图注意力机制用于时间序列预测的模型，即 GaAN [92]、Cola-GNN [19]、ASTGCN [26]、STAG-GCN [57]、STGNN [79] 和 StemGNN [8]。

GaAN [92] 利用卷积子网络来控制每个注意力头的重要性。GaAN 添加了一个具有门控特性的图聚合器，这与 GAT 模型的图聚合器（公式 11）不同，具体如下：

其中，αᵢⱼᵏ由公式 10 计算得到，w 为门控向量。g_pool 是专门设计的卷积子网络，用于从节点 i 及其邻域节点中学习门控值。例如，GaAN 可在 g_pool 中运用最大池化和平均池化操作。该模型可同时用于分类和预测任务。在时间序列预测中，GaAN 可看作是一种 GCRN 变体，其图组件被 GaAN 结构替代，而 LSTM 组件得以保留。Cola-GNN [19] 以成对方式利用图注意力机制进行类流感疾病预测。ASTGCN [26] 融合了图注意力层和时间注意力层的多种模块。STAG-GCN [57] 是一种用于交通预测的自适应门控 GCN 方法，它利用基于距离的空间图和基于时间序列间 DTW 距离的语义图，还采用通用注意力机制（公式 33）进行时间建模。类似地，STGNN [79] 和 StemGNN [8] 在其空间组件中采用了融入状态的通用注意力机制。这些预测模型大多以回归任务为目标，但也存在分类模型。例如，THGNN [85] 通过在股票序列上运用基于图注意力和通用注意力的图结构学习，来预测股票的走势方向。

5.2.2 用于异常检测的注意力机制

MTAD-GAT [98]、GDN [18] 和 GReLeN [95] 以时间序列异常检测任务为目标。

MTAD-GAT [98] 利用图注意力网络（GAT）模型判断是否存在时间点级异常。给定时间序列数据 $X\in {\mathbb{R}}^{1\times T\times d}$，MTAD-GAT 模型的计算公式如下：

MTAD-GAT 是一种自监督方法，它从两个角度利用图注意力网络（GAT）：a) 将每个特征维度视为一个节点，使用一个 GAT 模型提取特征之间的关系并得到$H_d$；b) 将每个时间步视为一个节点，使用另一个 GAT 模型捕捉时间步之间的关系并得到$H_T$。如公式 27 所示，面向特征的 GAT 和面向时间的 GAT 与归一化数据进行融合。如公式 28 所示，门控循环单元（GRU）结构用于捕捉长期时间依赖性，得到最终的隐藏状态$H\in {\mathbb{R}}^{T\times d_{hid}}$。最后，将H分别输入到全连接网络和变分自编码器（VAE）网络，以分别得到预测损失和重构损失。

GDN [18] 同样是一种点级多变量时间序列异常检测模型，它采用图注意力网络（GAT）模型来聚合每个节点的前 k 个邻居的信息。给定时间序列数据$X\in {\mathbb{R}}^{N\times T\times d}$，我们令$H_{emb}\in {\mathbb{R}}^{N\times d_{emb}}$表示初始节点嵌入，GDN 模型的计算公式如下：

其中，二进制图由节点嵌入构建，并通过公式 29 中选择前 k 个邻居进行稀疏化。sgn 为符号函数，定义于 C.5 节。节点 i 在时间步 t 的隐藏状态$H_i^t$通过对邻域内节点嵌入的基于注意力的聚合计算得到，如公式 30 所示，其中成对注意力分数${\alpha }_{ij}$以$[H_{emb,i}{f}_{FC}(X_i^t)]$为输入向量，通过公式 10 计算得到。最后，对嵌入$H_{emb}$与隐藏状态 H 进行元素级乘法运算，运算结果经拼接后输入全连接网络，以得到二进制预测结果，如公式 31 所示。

GDN 中的节点嵌入具有三重功能：a) 它们用于构建二进制连通图；b) 它们用于计算成对注意力分数，这些分数本质上代表节点间的语义邻近性；c) 它们用于最终隐藏状态以进行预测。由于没有循环组件，GDN 相比其他基于 RNN 的图模型具有更轻量的优势。与 GDN 相比，FuSAGNet [29] 通过对每个节点嵌入的时间过程进行独特建模，进一步提升了异常检测性能，从而增强了模型的鲁棒性。

GReLeN [95] 利用变分自编码器（VAE）为异常检测建模节点间依赖关系。GReLeN 通过通用注意力对时间特征进行编码，并基于 Gumbel-softmax 类别重参数化方法，利用 VAE 生成概率图。

图组件的模型比较：图注意力机制

图注意力机制旨在计算节点间的成对注意力分数 [77]。图注意力网络（GAT）无需依赖预定义的图结构，因为图结构本质上是通过图注意力学习得到的，因此 GAT 成为后续许多模型的标准化核心模块。例如，MTAD-GAT 利用 GAT 构建面向特征的图和面向时间的图，用于时间序列异常检测 [98]。GDN 同样利用 GAT 聚合邻域节点的特征，用于时间序列异常检测 [18]。还提出了一些 GAT 变体，例如，Cola-GNN 基于已知的连通性信息构建类 GAT 结构，用于类流感疾病预测 [19]。AGNN [74] 在计算注意力分数时采用余弦运算而非拼接操作。

时间注意力机制与通用注意力机制

除图注意力机制外，时间注意力机制和通用注意力机制在图时间序列建模中也被广泛使用。这些注意力机制的示意图如图 6 所示。

在将循环神经网络（RNN）模型用于序列到序列预测任务时，RNN 模型最后一个时间步之前的隐藏状态，即$h^{t-1}$、$h^{t-2}$、……，可能会对预测性能产生影响。注意力机制最初被提出，旨在通过将状态值与注意力分数相乘来同时利用最新的隐藏状态和较早的隐藏状态 [3]。我们将这种用于序列建模的注意力类型称为时间注意力机制。其形式如下：

其中，新的隐藏状态$h^{\prime t}$整合了一系列隐藏状态，而非仅包含最后一个隐藏状态。例如，LSTM-RGCN [49] 将时间注意力机制用于股票选择。

由于图时间序列模型由空间组件和时间组件构成，研究人员自然会利用图注意力进行图建模，并利用时间注意力进行时间序列建模。例如，ASTGCN [26] 提出了一种融合这两种注意力机制的时空模块。GMAN [101] 也采用了这两种注意力机制，并通过门控融合来整合生成的状态。STHAN-SR [67] 将时间鹰注意力和超图注意力用于股票选择。

随着时间注意力机制的成功，通用注意力机制（也称为自注意力机制）被提出，它将注意力描述为一种将查询和一组键值对映射到输出的函数 [76]。在这一研究方向中，从注意力嵌入中衍生出三个变量，分别代表查询、键和值状态，并对这些状态采用聚合方法。通用注意力机制的形式如下：

其中，Q、K、V 的维度分别为${\mathbb{R}}^{N\times d_q}$、${\mathbb{R}}^{N\times d_h}$、${\mathbb{R}}^{N\times d_v}$。Radlow 通过对查询、键和值状态采用不同的聚合方式对通用注意力机制进行了调整，如公式 53 所述 [75]。STGNN 将图注意力机制和通用注意力机制均用于交通预测 [79]。ST-GRAT [66] 更进一步，包含了所有三种注意力类型。此外，注意力机制可用于多模态学习。例如，可融合从图像、文本和历史销售数据中学习到的注意力分数，用于产品销售预测 [21]。除此之外，还有许多其他基于图的注意力机制，例如自注意力机制 [46] 和门控注意力机制 [92] 等等 [45]。

6 REPRESENTATIONAL COMPONENTS

除了从时间序列建模（时间组件）和图建模（空间组件）的角度之外，我们注意到一些计算方法在图时间序列模型中被广泛使用。我们将这些方法称为表征组件，它们实际上用于转换神经网络中的中间隐藏状态。我们将讨论并分析包括门控机制和跳跃连接在内的表征组件。此外，我们还将探讨图时间序列模型背景下的模型可解释性问题。

6.1 Gated Mechanisms

门控神经元作为激活或选择变量，助力非线性依赖建模。从数据流的角度来看，门控可被视为数据转换 [47] 或数据融合 [91, 101]。就转换目的而言，给定隐藏状态h，可由其自身推导出一个门控变量g（其每个元素通常被限制在 [0, 1] 范围内），然后将门控变量g与隐藏状态h进行元素级乘法，得到新的隐藏状态$h^{\prime }$供使用：

其中，函数g可从密集层或卷积层等神经结构中任意选择 [47, 90]。而就融合目的而言，假设我们要融合两个隐藏状态$h_1$、$h_2$，一种直接的融合方法是从一个隐藏状态（例如$h_1$）中推导出一个门控变量g，并利用该门控变量通过平衡两个隐藏状态之间的权重来得到新的隐藏状态$h^{\prime }$：

在这种情况下，融合门控可扩展到将两个以上的隐藏状态作为输入进行封装 [92]。转换和融合技术均在门控模型中被广泛应用，其中长短期记忆网络（LSTM，公式 4 - 公式 5）和门控循环单元（GRU，公式 7 - 公式 8）便是两个例子。由于 LSTM 和 GRU 均为门控模型，任何基于它们的模型也会利用门控机制，而由于这些门控控制时间维度，我们将这种门控机制称为时间门控机制 [50, 100]。

许多图时间序列模型还采用图门控机制，通过推导门控变量来选择要激活的边。例如，STAG-GCN [57] 通过融合门控整合自适应图。类似地，ColaGNN [19] 将连通图与注意力图相融合。FC-GAGA [62] 将门控机制同时用于时间建模和图建模。图门控机制还可进一步与注意力机制相结合 [50, 92]。

6.2 Skip Connections

跳跃连接在深度神经网络中的应用日益广泛 [33, 80, 88]。跳跃连接是一种捷径，它将浅层的输入连接到深层的输入，从而形成残差模块。这种连接已被证明在保留有用特征方面有效，且通常能带来更好的性能 [30]。跳跃连接在图时间序列模型中也被广泛使用。例如，ST-GRAT [66] 和 STFGNN [47] 使用跳跃连接对每个时空层后的转换状态进行求和。ASTGCN [26] 和 Radlow [75] 堆叠多个时空块，并使用跳跃连接连接每个块前后的特征。Graph-WaveNet [83] 和 MTGNN [82] 将跳跃连接用于上述两种目的。StemGNN [8] 研究了跳跃连接的效果，并证实跳跃连接有助于提高预测精度。ESG [88] 还通过跳跃连接将每个模块学到的图连接起来。

6.3 Model Interpretability

研究模型可解释性对于理解模型结果至关重要，尤其是在临床分析等应用中 [52, 63]。为此，研究者提出了不同的方法，包括掩码方法 [14]、基于显著性的方法 [36] 以及时间序列上的离散表示学习 [24]。预测结果也可通过学到的图子结构来解释 [89]。在一些模型中，神经网络会学习节点嵌入和节点间的注意力分数，通过对学到的嵌入进行可视化可实现解释 [18, 26, 46, 57, 66]。另一方面，可通过组件的不同组合实现可解释性 [21, 75, 92]。例如，可通过移除时间组件并衡量性能下降的程度来评估时间组件的贡献。在 GaAN [92] 中，通过对比包含和不包含相应组件的实验，研究了注意力机制和门控机制的有效性。

7 APPLICATIONS AND DATASETS

图时间序列模型的应用涵盖了广泛的领域，从城市交通规划 [11, 47, 57, 62, 70, 79, 92]、犯罪预测 [84] 到 3D 点运动检测 [65] 和流行病学建模 [19]，还包括许多其他实际应用 [12, 49, 75, 98]。在本节中，我们首先就选定的回归模型在两个广泛使用的数据集（METR-LA 和 PEMS-BAY [51]）上的预测性能进行比较。此外，我们使用两个水处理数据集（即 SWAT 和 WADI [18]）对选定的异常检测模型进行了比较。之后，我们将探讨相关模型如何处理嵌入在时间序列或图结构中的独特数据异常。我们在附录（D 节）中提供了代表性数据集的表格。

7.1 Regression Model Performance Comparison on Trafic Forecasting

交通优化是交通决策者和研究人员的长期追求。更高效交通方案成功的关键之一，是提前准确了解道路交通状况，包括但不限于交通流量的规模、行驶速度，以及可能的计划性活动。随后，提前预测被用于制定下游决策，例如推荐更快的路线，或帮助城市建设规划者了解交通瓶颈并进而改善这些瓶颈。随着时间推移，在多个地点收集的时序值（例如交通流量、速度）提供了时间序列数据，同时，地点的地理分布为图构建提供了距离关系。

METR-LA 和 PEMS-BAY [51] 是两个广泛用于预测性能评估的交通数据集。它们的数据统计信息列于附录 D 中。表 5 展示了各类图时间序列模型在超前 3 步、6 步和 12 步预测中关于 MAE、RMSE 和 MAPE 指标的预测性能，结果大致按从最差模型到最佳模型的顺序排列。这些指标的计算公式见附录 C.4。从表中可以看出，在 METR-LA 数据集上，DGSL 在所有预测时长下均表现最佳；在 PEMS-BAY 数据集上，STGNN 表现最佳。需要注意的是，在表现最佳的模型中，MTGNN [82]、STGNN [79] 和 DGSL [70] 使用给定的图结构来选择边，而非在模型中使用地理距离值。这一差异表明，利用时序图和语义图有助于提升性能。此外，我们还注意到，模型性能会因数据集不同而略有差异。

表 5. 图时间序列模型在交通速度预测上的比较。各类图时间序列模型在超前 3 步、6 步和 12 步预测中关于 MAE、RMSE 和 MAPE 指标的预测性能。最佳结果用粗体突出显示，次佳结果用斜体突出显示。

7.2 Anomaly Detection Model Performance Comparison on Water Treatment

水处理中的异常检测能力对确保水质控制至关重要。众多图时间序列模型已被提出用于精确的异常检测，并已在两个公开（数据集）上进行了评估，包括 SWAT 和 WADI [18]。这两个数据集均由水处理传感器的时间序列数据组成，且测试集中的异常已被标记。表 6 报告了模型在精确率、召回率和 F1 分数方面的性能。显然，不同模型对不同指标的侧重有所不同。例如，在两个数据集上，GDN 和 FuSAGNet 分别取得了最高（粗体标注）和次高（斜体标注）的精确率，而 GReLeN 则取得了最佳的召回率性能。这种差异可能归因于 GReLeN 的图关系学习存在将负样本预测为正样本的倾向，从而导致假阳性预测增多。

表 6. 图时间序列模型在水处理异常检测上的比较。性能评估指标包括精确率、召回率和 F1 分数。最佳结果用粗体突出显示，次佳结果用斜体突出显示。

7.3 Data Challenges

数据特征可能给建模带来挑战。非规则时间序列数据可能存在以不均匀时间间隔采样的时间序列，或带有异常峰值或谷值的时间序列 [68, 71, 96]。其他数据挑战的例子包括具有稀疏类别特征和密集数值特征的数据 [39]。此外，这种非规则性也可能存在于图结构中。

7.3.1 非规则时间序列

基于网页浏览量或视频观看量构建的时间序列，其数值范围跨度很大，从 0 到数百万不等，这与通常处于较小范围内的交通速度值形成对比。为了对不同尺度的时间序列进行预测，在数据预处理和后处理阶段会采用缩放方法 [75]。Min-Max 缩放和 Z-score 缩放是两种最常用的缩放方法。我们在 C.1 节中列出了它们的计算公式。

异构类型的时间序列带来了另一项挑战。例如，盗窃或抢劫等不同类型的犯罪具有不同的时间序列模式和不断演变的相互依赖性。注意力机制或门控机制可用于构建类型敏感模型，以捕捉类型间的相互关系。文献 [84] 提出了一种类型感知嵌入层，用于学习不同类型犯罪之间的相互影响。

7.3.2 非规则图结构

在包括网约车预测和犯罪预测 [84] 等一些应用中，位置数据是基于地理坐标收集的，而非预先选定的地点。在这种情况下，需要采用划分和聚合等网格映射策略从这些数据中构建图。网格结构数据可通过卷积神经网络（CNN）建模以捕捉空间相关性 [93]，或进一步聚合后通过图模型建模。此外，现实世界中的图可能是动态的，其中节点间的交互会随时间变化。有多种策略可用于创建新图或更新现有图以反映这种动态性。例如，STAG-GCN [57] 采用了具有动态边权重的自适应图。

7.4 Other Applications and Datasets

相关模型还被用于开展家庭用电行为分析，将家庭划分为不同类型，使电力公司能够优化定价策略。一些预测模型通过衡量预测值与实际值之间差异的偏差，可轻松扩展为异常检测模型。例如，交通网络预测模型可转换用于检测可能由道路事故引发的异常交通流量。同一任务也可通过不同方式解决，比如，文献 [49] 针对隔夜股价变动预测，将其表述为二分类问题，即股票隔夜是上涨还是下跌。相比之下，另一种时空注意力模型 [67] 则将股票选择任务表述为时间序列预测问题。

8 FUTURE DIRECTIONS

尽管图时间序列模型取得了快速发展，但仍然存在挑战和未解决的问题。

可扩展性。大规模数据的存在使得图时间序列模型的可扩展性成为必要。在处理大型图时，需要做出决策以保留关键的结构信息并剔除不太有用的信息。相关策略包括采样、池化等。在面对长序列时，类似的思路同样适用：为提高计算效率，模型应选择有影响的时间值而非全部处理。

运用独特考量。未来的研究工作还需适应不同数据集或目标中的独特情境。一些考量包括：a) 对时间序列中周期性和季节性的影响进行建模；b) 对长期和短期时间序列模式的影响进行建模；c) 对图中局部和全局邻居节点的影响进行建模；d) 对异常数据（如时间序列突发数据、孤立节点等）的影响进行建模，以及更多方面。此外，还需设计可解释的模型，以实现对所考虑建模的定量理解。

先进组件的采用。时间序列模型和深度图模型的发展逐渐推动了图时间序列模型的进步。例如，Transformer [76] 在序列建模中的应用日益广泛，且也可整合到图时间序列模型中 [79, 86]。同样，近期的图神经网络（GNNs）也可纳入考量 [81, 102]。此外，表征组件方面更先进的研究成果也可加以采用。

更广泛地应用于更多任务。如本文及其他综述 [78] 所示，大多数图时间序列模型以预测问题为目标。然而，图时间序列模型的能力并不局限于这一特定任务。图时间序列这一研究领域在未来的分类、推荐、表示学习以及许多其他目标相关的研究工作中充满潜力。

9 CONCLUSION

本文中，我们全面总结了图时间序列建模这一统一主题的最新研究工作。我们将图时间序列模型分为图循环 / 卷积神经网络（GRCNN）和图注意力神经网络（GANN），并进一步依据不同组件对其进行分类。我们详细介绍了每个类别中的代表性模型，并从时间、空间和表征三个角度对这些模型及其组件展开讨论与分析。这其中包括对各类图构建方法、图模型的局限性以及被广泛采用的注意力机制和门控机制的阐释。我们还探讨了该领域的实际应用、数据集以及未来的研究方向。