基于编码器-解码器模型的人群移动预测分析

第３８卷第６期　　　２０２１年６月　　计算机应用与软件ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＶｏｌ３８Ｎｏ．６Ｊｕｎ．２０２１基于编码器解码器模型的人群移动预测分析陈建伟　李建波（青岛大学计算机科学技术学院　山东青岛２６６０７１）摘　要　　现有的人群移动性研究对于较长的轨迹面临着预测精度较低的问题。对此，提出基于长短期神经网络（ＬＳＴＭ）的编码器解码器模型来预测人群移动轨迹。同时考虑过去和当前的轨迹，且限制当前轨迹的长度，从ＳＴＭ的能力。将每个用户的全部轨迹划分为历史轨迹和当前轨迹；使用双向长短期神经网络（ＢｉＬ而充分发挥ＬＳＴＭ）和数据的逆置两个方法处理长的历史轨迹；使用编码器探索历史轨迹移动模式并编码生成信息；解码器解码获取的信息并对当前轨迹做预测。在公开数据集上的测试结果表明，与传统方法和近年的深度学习方法相比，该模型的精确度有明显提升。关键词　　编码器　解码器　移动预测　长短期记忆神经网络　地点预测中图分类号　ＴＰ３　　　　文献标志码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２１．０６．０１３ＨＵＭＡＮＭＯＢＩＬＩＴＹＰＲＥＤＩＣＴＩＶＥＡＮＡＬＹＳＩＳＢＡＳＥＤＯＮＥＮＣＯＤＥＲＤＥＣＯＤＥＲＭＯＤＥＬＣｈｅｎＪｉａｎｗｅｉ　ＬｉＪｉａｎｂｏ（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＱｉｎｇｄａｏＵｎｉｖｅｒｓｉｔｙ，Ｑｉｎｇｄａｏ２６６０７１，Ｓｈａｎｄｏｎｇ，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ　　Ｅｘｉｓｔｉｎｇｈｕｍａｎｍｏｂｉｌｉｔｙｒｅｓｅａｒｃｈｅｆｆｏｒｔｓｈａｖｅｔｈｅｐｒｏｂｌｅｍｏｆｌｏｗｅｒｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｄｕｅｔｏｌｏｎｇｅｒ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｅｎｃｏｄｅｒｄｅｃｏｄｅｒｍｏｄｅｌｂａｓｅｄｏｎｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙｔｒａｊｅｃｔｏｒｉｅｓ．Ａｉｍｉｎｇａｔｔｈｉｓｐｒｏｂｌｅｍ（ＬＳＴＭ）ｎｅｕｒａｌｎｅｔｗｏｒｋｔｏｐｒｅｄｉｃｔｔｈｅｈｕｍａｎｍｏｖｅｍｅｎｔ．Ｔｈｉｓｍｏｄｅｌｃｏｎｆｉｄｅｄｔｈｅｐａｓｔａｎｄｃｕｒｒｅｎｔｔｒａｊｅｃｔｏｒｙａｔｔｈｅｓａｍｅｔｉｍｅ，ａｎｄｌｉｍｉｔｅｄｔｈｅｌｅｎｇｔｈｏｆｃｕｒｒｅｎｔｔｒａｊｅｃｔｏｒｙ，ｗｈｉｃｈｌｅｖｅｒａｇｅｄｔｈｅｓｔｒｅｎｇｔｈｏｆＬＳＴＭ．Ｔｈｅｃｏｍｐｌｅｔｅｔｒａｊｅｃｔｏｒｙｏｆｅａｃｈｕｓｅｒｗａｓｄｉｖｉｄｅｄｉｎｔｏａｈｉｓｔｏｒｉｃａｌｔｒａｊｅｃｔｏｒｙａｎｄａｃｕｒｒｅｎｔｔｒａｊｅｃｔｏｒｙ；ｔｈｅｌｏｎｇｈｉｓｔｏｒｉｃａｌｔｒａｊｅｃｔｏｒｙｗａｓｐｒｏｃｅｓｓｅｄｗｉｔｈａｂｉｄｉｒｅｃｔｉｏｎａｌｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙ（ＢｉＬＳＴＭ）ｎｅｕｒａｌｎｅｔｗｏｒｋａｎｄｒｅｖｅｒｓｅｄａｔａ；ｔｈｅｅｎｃｏｄｅｒｅｘｐｌｏｒｅｄｔｈｅｈｉｓｔｏｒｉｃａｌｔｒａｊｅｃｔｏｒｙｍｏｖｅｍｅｎｔｐａｔｔｅｒｎａｎｄｅｎｃｏｄｅｄａｃｏｎｔｅｘｔ；ｔｈｅｄｅｃｏｄｅｒｄｅｃｏｄｅｄｔｈｅａｃｑｕｉｒｅｄｃｏｎｔｅｘｔａｎｄｐｒｅｄｉｃｔｅｄｔｈｅｃｕｒｒｅｎｔｔｒａｊｅｃｔｏｒｙ．Ｔｈｅｔｅｓｔｒｅｓｕｌｔｓｏｎｔｈｅｐｕｂｌｉｃｄａｔａｓｅｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｉｓｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｄｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌａｎｄｒｅｃｅｎｔｄｅｅｐｌｅａｒｎｉｎｇｍｅｔｈｏｄｓ．Ｋｅｙｗｏｒｄｓ　　Ｅｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｂｉｌｉｔｙｐｒｅｄｉｃｔｉｏｎ　Ｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙ（ＬＳＴＭ）ｎｅｕｒａｌｎｅｔｗｏｒｋ　Ｌｏｃａｔｉｏｎｐｒｅｄｉｃｔｉｏｎ有很大影响，它可以帮助解决很多城市问题，如避免交０　引　言如今，许多移动设备如手机和智能手环已成为人们出门必备的物品。这些设备往往内置ＧＰＳ，可以实时检测人的位置。因此，人们的运动轨迹可以轻松获得，从而为探索人类的移动规律带来可能。此外，人类移动规律性的探索一直是自然、社会等领域长期以来１－２］的研究热点［。该研究对疾病传播、交通流量控制通堵塞、预防疾病等。本文通过分析人类移动模式，预测人群未来轨迹。现有的人群轨迹预测任务主要面临两个问题，一个是数据的稀疏性；另一个是冗长的历史轨迹。其中数据的稀疏性表现在两个方面：（１）人们的轨迹从现实世界中获取，由于人类移动的不确定性和个人隐私问题，收集的数据量通常比较稀疏；（２）每个人的轨迹记录的时间间隔在稀疏的数据中的分布也不均匀，这导２０１９－１０－１１。国家重点研发计划重点专项（２０１８ＹＦＢ２１００３０３）；山东省重点研发计划项目（２０１６ＧＧＸ１０１０３２）；山东收稿日期：省创新型博士后人才计划项目（４０６１８０３０００１）。陈建伟，硕士生，主研领域：城市计算。李建波，教授。

　　７８　　　计算机应用与软件２０２１年致了轨迹的碎片化，加重了数据稀疏性的问题。而冗长的历史轨迹表现为：收集的每个用户的全部轨迹往往很冗长，这为寻找有价值的移动轨迹增加了难度。总的来说，以上的两个问题使得预测任务更加困难。人的移动轨迹本质上是一个空间分布的时间序列ＮＮ被提出用来处理时间序列数据，却容数据，早期ＲＳＴＭ的提出改易出现长输入导致的梯度消失问题。Ｌ善了这一问题，其通过门控制结构来处理长输入并且式往往不能表达用户移动轨迹的顺序转换规律，因此后来的研究者们建立模型预测人类的移动性。如马尔可夫链模型是一种经典的统计模型，但此方法仅考虑上一步的状态，这使得其难以捕获到复杂的顺序转换规律。随后，文献［９］提出了隐马尔可夫模型（ＨＭＭ）来与隐藏的未知状态结合，从而改进马尔可夫模型。虽然ＨＭＭ表现优异，但其忽略了轨迹的时间依赖关系。随着深度学习技术的兴起，ＲＮＮ被用来捕捉时间１０－１２］１０］依赖关系并预测用户移动轨迹［。Ｌｉｕ等［提出表现优异。直观地，单一的ＬＳＴＭ网络可以直接用来处理轨迹预测问题，然而却不是有效的。首先，ＬＳＴＭ对于过长的输入依然有着遗忘的问题［３］，冗长的移动轨迹使得单一的ＬＳＴＭ难以捕捉顺序转换规律。其次，数据的稀疏性也使得单一的ＬＳＴＭ更难以处理预测任务。这表现在稀疏的特征和丢失的数据使得ＬＳＴＭ难以训练。另外，ＬＳＴＭ网络由于过长的输入丢失数据的长期依赖关系，导致无法捕捉轨迹的历史移动模式。为了解决上述问题，本文提出一个基于ＬＳＴＭ的编码器解码器模型。具体地，本文将用户的轨迹划分成历史轨迹和当前轨迹，随后一个嵌入矩阵被用来处理轨迹的稀疏性。被嵌入的历史轨迹输入到编码器中，得到语义向量和隐藏状态。继而，解码器的输入为来自编码器的输出和被嵌入的当前轨迹，最后生成用户未来轨迹。针对长历史轨迹，本文使用数据逆置和双向长短期神经网络作为编码器的两个方法，有效地缓解了ＬＳＴＭ对于早期轨迹遗忘的问题。１　相关工作虽然人类行为的预测有局限性，但Ｓｏｎｇ等［４］发现了９３％的潜在可预测性。在此基础上，许多研究者探索人类移动模式和预测人类移动性。如文献［５－６］通过数据挖掘探索了人类移动模式。具体地，Ｍａｒｔａ等［５］发现人类轨迹显示出高度的时间和空间规律性，每个人都有很大概率访问常去的地点，且每个人的移动距离与时间无关。随后，文献［７－８］提出了与移动模式结合来预测人类的移动性的方法，其中文献［７］通过当前观察的历史移动模式提出了一个高斯混合模型来计算未来移动地点的概率。与以上方法相比，本文模型可以在训练过程中学习用户之间的移动模式。以上方法都取得了良好的结果，但预先定义的模了ＳＴＲＮＮ，并对轨迹局部时间和空间上下文进行建模。Ｙａｏ等［１１］提出了一个结合了语义信息的ＬＳＴＭ神经网络。与以上方法相比，本文模型同时考虑历史轨迹和当前轨迹来预测未来轨迹，且限制了当前轨迹的长度，使得预测精度得以提升。编码器解码器模型率先由文献［１３］提出，且已经在轨迹预测的很多领域中取得优异表现。Ｐａｒｋ等［１４］提出基于编码器解码器的车辆轨迹预测技术，该技术可以实时生成周围车辆的未来轨迹序列。Ｎｇｕｙｅｎ等［１５］提出了一种序列到序列模型，根据历史路线预测船舶的下一个位置。Ｆｅｎｇ等［１６］提出了注意力机制循环神经网络来捕捉历史轨迹的多层周期性。本文工作与文献［１４－１５］思路有相似之处，与文献［１６］相比，改进了模型结构，提高了预测精度。２　移动轨迹问题的ＬＳＴＭ模型２．１　问题定义本文首先收集每个用户的移动轨迹，轨迹全部按照时间顺序排列。因此，用户ｕｘ轨迹定义为：Ｔｕｘ＝（ｌｕｔｘ１，ｌｕｔｘ２，…，ｌｕｔｘｎ）　ｘ∈［１，ｍ］（１）式中：ｍ表示用户数量；ｌｕｔｘｉ表示ｕｘ在ｔｉ时刻去的第ｉ个地点。随后，本文将Ｔｕｘ分成多个子轨迹，即Ｓｕ１ｘ，Ｓｕ２ｘ，…，Ｓｕηｘ，η表示用户ｕｘ的子轨迹数量。由于用户地点记录时间不固定，因此本文选择固定每个子轨迹的时间间隔并设置了子轨迹的长度。本文将每个子轨迹的时间间隔设置为７天，且子轨迹的长度上限为２０。问题规划：首先定义用户ｕ的历史轨迹Ｔｕｈ＝（Ｓｕ１，Ｓｕ２，…，Ｓｕη）和当前轨迹Ｔｕｕｕｕｃ＝Ｓη＋１＝（ｌｔｎ＋１，ｌｔｎ＋２，…，ｌｕｔｎ＋ｋ－１）。本文的研究问题可以描述为：根据用户历史轨迹Ｔｕｈ和当前轨迹Ｔｕｃ，训练一个模型来预测用户的下一个去的地点ｌｕｔｎ＋ｋ。

　第６期　　　陈建伟，等：基于编码器解码器模型的人群移动预测分析ｃｆ（ｘ，ｃ）ｔ＝ｔｔ－１　７９（８）２．２　ＲＮＮ和ＬＳＴＭ神经网络（ＮＮ）由大量相互连接的节点组成，它本身是表示数据关系的近似函数。此外，ＮＮ经常处理的任务大致分为分类和回归问题，可以通过各种结构Ｎ中最常见的网络结构是擅长来解决不同的问题。ＮＣＮＮ）和擅长处理时间序处理图像的卷积神经网络（列的ＲＮＮ。式中：ｆ为编码器的运行函数，具体地，ｆ是式（２）到式６）的整合表示。随后，它作为解码器的输入。解码（步骤为由ｘ作为初始的输入，在随后的τ个时间步中ｔｙ，ｙ，…，ｙ）。基于ＬＳＴＭ的编码器解码器模生成（１２τ型的目标是通过编码器生成的语义向量ｃ计算输出序ｔ列的条件概率ｐ（ｙ，ｙ，…，ｙｘ，ｘ，…，ｘ），该条件概１２１２ｔτ｜在标准ＲＮＮ结构中，隐藏层中的神经元建立权重连接，因此ＲＮＮ拥有“记忆”。但是当序列太长时，早期的输入对后来的输入影响较小，这导致了梯度消失问题。为了解决这个问题，ＲＮＮ的变体ＬＳＴＭ和ＧＲＵ被提出。现在，ＬＳＴＭ被广泛用于长输入问题。本文模型基于ＬＳＴＭ结构，式（２）－式（７）描述了ＬＳＴＭ的工作原理：ｉｔ＝σ（Ｗｉｉ×ｘｔ＋ｂｉｉ＋Ｗｈｉ×ｈｔ－１＋ｂｈｉ）（２）ｆｔ＝σ（Ｗｉｆ×ｘｔ＋ｂｉｆ＋Ｗｈｆ×ｈｔ－１＋ｂｈｆ）（３）ｇｔ＝ｔａｎｈ（Ｗｉｇ×ｘｔ＋ｂｉｇ＋Ｗｈｇ×ｈｔ－１＋ｂｈｇ）（４）ｏｔ＝σ（Ｗｉｏ×ｘｔ＋ｂｉｏ＋Ｗｈｏ×ｈｔ－１＋ｂｈｏ）（５）ｃｔ＝ｆｔ×ｃｔ－１＋ｉｔ×ｇｔ（６）ｈｔ＝ｏｔ⊙ｔａｎｈ（ｃｔ）（７）式中：Ｗｉｉ、Ｗｈｉ、Ｗｉｆ、Ｗｈｆ、Ｗｉｇ、Ｗｈｇ、Ｗｉｏ、Ｗｈｏ是各个控制门的权重矩阵；ｂ为偏置向量，ｃｔ是ｔ时刻存储在神经元中的值；ｈｔ是隐藏层在ｔ时刻的输出；⊙表示点积。３　基于编码器解码器的位置预测模型３．１　模型结构编码器解码器模型［１３］最先应用于自然语言处理的问题上，如机器翻译。在机器翻译中，一种语言被翻译成另一种语言，两种语言的长度通常不同。而传统的ＲＮＮ模型的输入和输出长度相同，因此限制了翻译的准确性。随后，编码器解码器模型被提出。该模型由两个单独的ＲＮＮ组成，分别称为编码器和解码器，其工作机制是首先通过编码器对源输入进行编码并且获得语义向量，接下来语义向量作为编码器和解码器的连接，最后通过解码器分析语义向量并且预测目标语言。在本文模型中，如图１所示，给出一个序列对（ｘ１，ｘ２，…，ｘｔ）和（ｙ１，ｙ２，…，ｙτ），其中ｔ和τ不一定相等。通过式（２）到式（７），编码器处理输入（ｘ１，ｘ２，…，ｘｔ）。经过ｔ个时间步的处理，编码器产生最终的语义向量ｃｔ。ｃｔ的计算过程可以表示为：率可以表示为：ｐ（ｙ１，ｙ２，…，ｙτ｜ｘ１，ｘ２，…，ｘｔ）＝τ　∏ｐ（ｙＴ｜ｃｔ，ｙ１，ｙ２，…，ｙＴ－１）（９）Ｔ＝１图１　编码器解码器模型　　由于本文使用ｘｔ作为解码器的初始输入，ｐ（ｙ１）的计算过程如下：ｐ（ｙ１）＝ｚ（ｃｔ，ｘｔ）（１０）式中：ｚ是解码器的运行函数，同理ｚ也是式（２）到式（６）的整合表示。为了与编码器区分，此处使用了符号ｚ。两个ＬＳＴＭ网络分别在本文的模型中用作编码器和解码器，如图１所示，编码器首先对用户的历史轨迹进行编码并生成语义向量（Ｃｏｎｔｅｘｔ）。注意到语义向量的大小由隐藏层的大小决定，因此语义向量的大小保持固定。随后，解码器对语义向量进行解码。最后从当前轨迹中预测未来的轨迹。更清楚地来解释，假设用户的历史轨迹是（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５），当前轨迹是（ｙ１，ｙ２，ｙ３），将历史轨迹作为编码器的输入，获得编码器最后一个时间步的隐藏状态和Ｃｏｎｔｅｘｔ。然后将编码器的最后时刻的隐藏状态作为解码器的初始状态，并将历史轨迹的最后一个地点ｘ５作为解码器的初始输入。在解码器中，每更新一个时间步，将语义向量用作当前位置的参考向量。最后，将ｙ３输入解码器来预测下一个地点ｙ４。以上是模型的核心工作流程，更具体地，每个地点首先通过嵌入网络层来将稀疏的特征（如地点标识、时间）表示为密集矩阵。嵌入层使用非常广泛，在语义表达方面表现良好［１７］。随后，将一个完全连接层添加到解码器的输出层。最后，本文加入Ｓｏｆｔｍａｘ层根据上一层的输出计算预测地点的概率分布。完整的网络结构如图２所示。

　　８０　　　计算机应用与软件２０２１年据输入到编码器中，并且目标数据不变，即新的训练集ｘ，ｘ，ｘ，ｘ，ｘ）和（ｙ，ｙ，ｙ）。分析认为，逆置的为（５４３２１１２３更接近ｙ，从而使其他位置相对而言更接近数据使ｘ１１目标位置。在模型方面，由于注意到编码器可以通过逆置数据来学习早期的历史数据，从而减轻了早期遗忘的问题。因此，本文使用ＢｉＬＳＴＭ（ＢｉｄｉｒｅｃｔｉｏｎａｌＬＳＴＭ结构，即编码器基于ＢｉＬＳＴＭ结构。如上ＬＳＴＭ）图２　预测模型整体结构３．２　训练集准备在３．１节中，注意到编码器解码器模型使用的训练集是序列对。为了方便训练，本文制作了相似的训练集。制作此训练集的方法是：分割每个用户的全部轨迹为多个子轨迹；划分子轨迹们为历史轨迹和当前轨迹。示例描述如下：假设用户ｕ１有１０个子轨迹，那么首先第一个子轨迹作为该用户的历史轨迹，而第二个子轨迹作为当前轨迹，要预测的目标地点是当前轨迹的最后一个地点。随后，将该用户的第一个和第二个子轨迹作为历史轨迹，第三个子轨迹为当前轨迹。因此对于ｕ１，可以生成９个数据对样本。本文对其他用户使用相同的方法，生成所有的训练集。３．３　新的问题３．２节的训练集的制作方法会导致长历史轨迹的问题。即使ＬＳＴＭ擅长处理长输入问题，神经元存储的“记忆”也会因输入过长而消失。因此，Ｆｅｎｇ等［１６］提出将注意力机制添加到模型中以计算历史轨迹与当前轨迹的关联，这在一定程度上解决了长轨迹的问题。然而，新增加的注意力机制在训练过程中计算当前解码器的输入和编码器的所有输出之间的概率分布，这浪费了很多时间。此外，基于现有的两个网络添加这种机制会增加参数数量，使训练更加困难。３．４　改进方法先前的研究者们提出了许多方法解决过长的输入带来的问题［１８］，本文使用两种方法来提高预测的准确性。具体地，从数据和模型两个方面来改进。在数据方面，参考文献［１９］中逆置数据的方法，这不仅没有降低精度，反而提高了预测的准确性。例如，如果原始训练集是（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５）和（ｙ１，ｙ２，ｙ３），将逆置的数所述，过长的输入限制了ＬＳＴＭ的能力，因此编码器的语义信息不能保存历史轨迹的完整信息。根据数据的改进方法，逆置的历史轨迹提升了预测精度。因此，正向的历史轨迹和反向的轨迹可以一起丰富语义信息。很方便地，本文采用了ＢｉＬＳＴＭ结构作为编码器来实现这种想法。改进模型如图３所示，在编码器中，ｃ１（ｘ１，ｘｎ）和ｃ２（ｘｎ，ｘ１）分别是编码器的前向传播过程和后向传播过程的神经元向量。并且，本文提出使用ｃ１和ｃ２的简单加法作为更新后的参考语义向量，解码器的初始状态是前向传播的隐藏状态ｈ１（ｘ１，ｘｎ）。图３　本文改进模型４　实　验４．１　数据集本文使用三个不同的数据集，分别是Ｆｏｕｒｓｑｕａｒｅ２０１０、Ｆｏｕｒｓｑｕａｒｅ２０１２和Ｇｏｗａｌｌａ。Ｆｏｕｒｓｑｕａｒｅ２０１０数据集来自文献［１６］，Ｆｏｕｒｓｑｕａｒｅ２０１２［２０］数据集是Ｆｏｕｒｓｑｕａｒｅ于２０１２年４月１２日至２０１３年２月１６日在纽约市收集的长期真实签到数据。Ｇｏｗａｌｌａ［２１］和Ｆｏｕｒｓｑｕａｒｅ都是基于用户位置信息的服务机构，它们鼓励用户与他人共享有关其当前位置的信息。数据格式如下：用户ＩＤ；地点ＩＤ；类别ＩＤ；类别名称；经度；纬度；时间。数据集的信息如表１所示。

　第６期　　　陈建伟，等：基于编码器解码器模型的人群移动预测分析表１　数据集信息数据集Ｆｏｕｒｓｑｕａｒｅ２０１０Ｆｏｕｒｓｑｕａｒｅ２０１２Ｇｏｗａｌｌａ用户数８８６１０８３１０７２９２签到数Ｎ＼Ａ２２７２４７６４４２８９２参数隐藏层学习速率Ｌ２惩罚嵌入层梯度修剪表２　各个数据集使用的模型参数ＦｏｕｒｓｑｕａｒｅＦｏｕｒｓｑｕａｒｅ２０１０２０１２３００１ｅ４１ｅ７３００３４００１ｅ４１ｅ６４００５Ｇｏｗａｌｌａ７００１ｅ４１ｅ５１０００５　８１对于每一个数据集，本文都使用各个用户８０％的数据作为训练集，２０％的数据作为测试集。４．２　实验平台４．４　结果分析本文提出的神经网络模型以及比较的所有神经网络都基于Ｐｙｔｏｒｃｈ平台运行，且使用了一个ＮｖｉｄｉａＧＴＸ１０８０ＴｉＧＰＵ来加速训练。４．３　评价指标和参数设置为了公平比较，本文使用了精确度Ｔｏｐ＠ｋ、召回率Ｒｅｃａｌｌ、Ｆ１分数（Ｆ１ｓｃｏｒｅ）和负对数似然ＮｅｇａｔｉｖｅＬｏｇＬｉｋｅｌｉｈｏｏｄ（ＮＬＬ）来评价模型，其中ＮＬＬ从损失函数角度来评价真实地点的分布和预测地点的分布之间的可能性。Ｒｅｃａｌｌ和Ｆ１是分类问题中常用的两个评价指标，Ｔｏｐ＠ｋ可以描述为预测结果中前ｋ个最高概率结果的准确率，定义ｌ（ｍ）为输入ｍ的真实结果，Ｌｋ（ｍ）为前ｋ个预测的列表，那么Ｔｏｐ＠ｋ可以描述为：Ｔｏｐ＠ｋ＝｜｛ｍ∈Ｍ：ｌ（ｍ）∈Ｌｋ（ｍ）｝｜｜Ｍ｜（１１）本文的对比模型包括传统方法和几个最近被提出的深度学习方法，包括：Ｍａｒｋｏｖ模型；单个ＲＮＮ神经网络（ｓｉｍｐｌｅ＿ｒｎｎ）：以ＬＳＴＭ为默认结构，用户的全部轨迹作为该神经网络的输入；ＳＥＲＭ［１１］：Ｙａｏ等提出的一个结合了语义信息的循环神经网络；ＤｅｅｐＭｏｖｅ［１６］：Ｆｅｎｇ等提出了一个注意力机制考虑历史轨迹的多层周期性。为了方便表示，本文初始模型表示为ＬＳＴＭＬＳＴＭ，数据改进方法表示为ｄａｔａ＿ｒｅｖｅｒｓｅ，模型改进方法表示为ＢＬＳＴＭＬＳＴＭ。不失一般性，每个模型都试验了３次并取其中的最大值比较。本文的模型由两个ＬＳＴＭ组成，因此需要设置每个神经网络。具体地，首先设置两个ＬＳＴＭ网络都为１层。并且，使两个ＬＳＴＭ隐藏层的大小相同，这可以使解码器更方便地处理编码器的输出。随后，由于数据的稀疏性，本文在每个地点进入模型之前使用嵌入层嵌入，嵌入层的维度与两个ＬＳＴＭ隐藏层的大小相同。由于本文将该预测问题看作一个分类问题，因此使用了ＮＬＬＬｏｓｓ计算真实地点和预测地点之间的误差，最后使用Ａｄａｍ［２２］算法作为优化器。由于各个数据集参数都不相同，本文给出各个数据集的参数设置如表２所示。在Ｆｏｕｒｓｑｕａｒｅ的两个数据集上，各模型的Ｔｏｐ＠ｋ结果如图４和图５所示，ＬＳＴＭＬＳＴＭ结构与传统方法Ｍａｒｋｏｖ和简单的深度学习方法ｓｉｍｐｌｅ＿ｒｎｎ进行比较，可以看到Ｍａｒｋｏｖ的性能最差，因为它的结构特点是下一个预测的地点只与前一个地点有关。ｓｉｍｐｌｅ＿ｒｎｎ由于其对过去位置的记忆而具有更好的性能。ＬＳＴＭＬＳＴＭ结构限制了各个子轨迹的长度，使得ＬＳＴＭ能力没有受到限制，因此性能表现最好。此外，ＬＳＴＭＬＳＴＭ结构同时考虑历史轨迹和当前轨迹，有效地减弱了长历史轨迹造成的影响。在Ｆｏｕｒｓｑｕａｒｅ２０１０和Ｆｏｕｒｓｑｕａｒｅ２０１２两个数据集上，ＢｉＬＳＴＭＬＳＴＭ结构的Ｔｏｐ＠１精确度比ｓｉｍｐｌｅ＿ｒｎｎ分别提升３１％和３３％，Ｔｏｐ＠５精确度比ｓｉｍｐｌｅ＿ｒｎｎ分别提升３３％和３３％。图４　各个模型在Ｆｏｕｒｓｑｕａｒｅ２０１０上的Ｔｏｐ＠ｋ结果图５　各个模型在Ｆｏｕｒｓｑｕａｒｅ２０１２上的Ｔｏｐ＠ｋ结果

　　８２　　　计算机应用与软件续表３数据集模型ｓｉｍｐｌｅ＿ｒｎｎＳＥＲＭＦｏｕｒｓｑｕａｒｅ２０１２ＤｅｅｐＭｏｖｅＤａｔａ＿ｒｅｖｅｒｓｅＢｉＬＳＴＭＬＳＴＭＲｅｃａｌｌＦ１ｓｃｏｒｅＮＬＬ０．１４５０．１６３０．１９００．１９２０．２０１０．１４５０．１６３０．１９００．１９２０．２０１６．８７６．７７６．５１６．４９６．４１２０２１年本文的改进方法与ＳＥＲＭ和ＤｅｅｐＭｏｖｅ两个深度学习方法对比，可以看到ＳＥＲＭ仅在Ｔｏｐ＠５结果上优ｉｍｐｌｅ＿ｒｎｎ，但由于长历史轨迹使得ＬＳＴＭ能力受到于ｓ限制，因此导致Ｔｏｐ＠１结果与ｓｉｍｐｌｅ＿ｒｎｎ几乎相同。ＤｅｅｐＭｏｖｅ相比ＳＥＲＭ在两个数据集上表现优异，但没ａｔａ＿ｒｅｖｅｒｓｅ方法和ＢＬＳＴＭＬＳＴＭ方法，这验证有超过ｄ了数据逆置以及改进模型对预测的有效性。ＢｉＬＳＴＭＬＳＴＭ结构相比ＤｅｅｐＭｏｖｅ在两个数据集上的提升效果分别为Ｔｏｐ＠１：７％和９％；Ｔｏｐ＠５：１２％和９％。分析认为，本文的改进模型相较ＤｅｅｐＭｏｖｅ取得更好的效果。原因在于模型更加简洁，这使得训练起来更加容易；编码器解码器的连接方式，历史轨迹的最后一个地点作为解码器的初始输入；编码器的改进增加了语义向量的参考信息，同时考虑了未来和过去的轨迹的影响，使得解码器预测未来轨迹更加准确。在Ｇｏｗａｌｌａ数据集上，实验结果如图６所示，可以得出与Ｆｏｕｒｓｑｕａｒｅ两个数据集上相同的结论。ＤｅｅｐＭｏｖｅ相比简单的模型有着更好的表现效果，而本文的改进方法相比ＤｅｅｐＭｏｖｅ有了一定的提升。ＢＬＳＴＭＬＳＴＭ结构在Ｇｏｗａｌｌａ数据集上相比ＤｅｅｐＭｏｖｅ的提升效果为Ｔｏｐ＠１：９％；Ｔｏｐ＠５：１１％。此外，本文还比较了两个改进方法的Ｒｅｃａｌｌ、Ｆ１分数和ＮＬＬ在各个数据集上的表现，结果如表３所示。可以看出，ＢｉＬＳＴＭＬＳＴＭ结构的Ｒｅｃａｌｌ和Ｆ１分数都是最高的，这表明了其分类结果的准确性最好。此外，ＢｉＬＳＴＭＬＳＴＭ结构的ＮＬＬ值最低，也从损失函数的角度说明了本文模型预测的准确性。图６　各个模型在Ｇｏｗａｌｌａ上的Ｔｏｐ＠ｋ结果表３　各个数据集在其他指标上的表现数据集模型ＲｅｃａｌｌＦ１ｓｃｏｒｅＮＬＬｓｉｍｐｌｅ＿ｒｎｎ０．１２９０．１２９７．３３Ｆｏｕｒｓｑｕａｒｅ２０１０ＤｅｅｐＭｏｖｅ０．１５８０．１５８６．９４ｄａｔａ＿ｒｅｖｅｒｓｅ０．１６３０．１６３７．０３ＢｉＬＳＴＭＬＳＴＭ０．１６９０．１６９６．８８ｓｉｍｐｌｅ＿ｒｎｎ０．１３１０．１３１７．７８ＧｏｗａｌｌａＤｅｅｐＭｏｖｅ０．１６００．１６０７．２９ｄａｔａ＿ｒｅｖｅｒｓｅ０．１６１０．１６１７．２７ＢｉＬＳＴＭＬＳＴＭ０．１７００．１７０７．１７　　由于本文数据集为多用户数据集，本文模型对每个用户预测未来轨迹并得到其预测精度。本文选用最重要的实验指标Ｔｏｐ＠１生成所有用户预测结果数据，随后介绍其统计意义上的合理性。如图７所示，本文比较了改进模型ＢｉＬＳＴＭＬＳＴＭ和ＤｅｅｐＭｏｖｅ箱形图上的结果。可以看到，本文改进模型总体Ｔｏｐ＠１结果优于对比模型。本文模型的下四分位线高于ＤｅｅｐＭｏｖｅ模型，表示本文模型可预测的用户数相对更多。此外本文模型异常值相比ＤｅｅｐＭｏｖｅ也更多，这表明本文模型高准确率用户的数量增加，同时通过中位数的位置也验证了本文模型总体结果优于对比模型。紧接着，本文使用ｔ检验验证了两组预测结果的差异性。其中ｔ值为－２．５８５表明ＤｅｅｐＭｏｖｅ模型多用户预测均值小于本文模型，ｐ值为０．０１表明有９５％的概率假设两组预测结果在统计意义上有显著的差异。为了更清楚地表示ｐ值变化规律，本文绘制了ｐ值随用户数增加的变化图。如图８所示，从两条曲线交叉点可以得到，当用户数大于７００左右时，ｐ值小于０．０５。通过以上结果可以得到，两组预测结果在均值上差异是显著的，从统计意义上解释了结果的合理性。图７　ＢｉＬＳＴＭＬＳＴＭ与ＤｅｅｐＭｏｖｅ箱形图对比

　第６期　　　陈建伟，等：基于编码器解码器模型的人群移动预测分析　８３实验，并与传统方法和几个近年被提出的深度学习方法相比，结果显示本文模型更有效。本文通过用户历史轨迹预测未来的轨迹。但是，数据集的稀疏性和过长的轨迹导致预测准确性比较差。因此，本文将用户全部轨迹划分为历史轨迹和当前轨迹，并且使用编码器解码器模型来解决这个问题。对于过长的轨迹，本文使用数据逆置和ＢｉＬＳＴＭ图８　ｐ值变化曲线本文还对比了各个模型的运行效率，如图９所示。可以看出本文改进模型ＢｉＬＳＴＭＬＳＴＭ最先收敛，且整体预测精度优于改进方法和对比模型，而ＤｅｅｐＭｏｖｅ收敛最慢，且耗时最长。这主要是因为该模型结构复杂，难以训练。本文模型及其改进方法在前１０个ｅｐｏｃｈ中收敛都比较快，而后预测精度都趋于稳定，这主要是本文模型结构简单且易于训练的结果。图９　各个模型的收敛曲线５　结　语本文的主要贡献如下：（１）提出一个基于编码器解码器的轨迹预测模型，该模型同时考虑历史轨迹和当前轨迹，通过限制当前轨迹的长度，可以有效提高预测精确度。（２）针对冗长的历史轨迹改进了编码器的结构，即使用ＢＬＳＴＭ结构。该结构有效地丰富了历史信息，通过正向传播考虑移动轨迹的顺序转换规律和时间依赖性关系，通过反向传播考虑未来轨迹对当前和过去轨迹造成的影响，有效地丰富了解码器的参考语义向量。（３）在两种测试数据集和一个世界真实数据集上ＬＳＴＭ结构来缓解早期遗忘的问题。与传统的预测方法和近年被提出的深度学习方法相比，本文方法显示出更好的结果。本文方法仍有许多不足，如数据的特征过少，只靠嵌入矩阵还远远不够，未来会加入语义信息如兴趣点等来丰富数据的特征。参考文献［１］刘瑜，肖昱，高松，等．基于位置感知设备的人类移动研究综述［Ｊ］．地理与地理信息科学，２０１１，２７（４）：８－１３，３１．［２］刘震，付俊辉，赵楠．基于移动通信数据的用户移动轨迹预测方法［Ｊ］．计算机应用与软件，２０１３，３０（２）：１０－１３，１７．［３］ＢａｈｄａｎａｕＤ，ＣｈｏＫ，ＢｅｎｇｉｏＹ．Ｎｅｕｒａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｂｙｊｏｉｎｔｌｙｌｅａｒｎｉｎｇｔｏａｌｉｇｎａｎｄｔｒａｎｓｌａｔｅ［ＥＢ］．ａｒＸｉｖ：１４０９．０４７３，２０１４．［４］ＳｏｎｇＣ，ＱｕＺ，ＢｌｕｍｍＮ，ｅｔａｌ．Ｌｉｍｉｔｓｏｆｐｒｅｄｉｃｔａｂｉｌｉｔｙｉｎｈｕｍａｎｍｏｂｉｌｉｔｙ［Ｊ］．Ｓｃｉｅｎｃｅ，２０１０，３２７（５９６８）：１０１８－１０２１．　［５］ＭａｒｔａＣＧ，ＣéｓａｒＡＨ，ＡｌｂｅｒｔＬáｓｚｌóＢ．Ｕｎｄｅｒｓｔａｎｄｉｎｇｉｎｄｉｖｉｄｕａｌｈｕｍａｎｍｏｂｉｌｉｔｙｐａｔｔｅｒｎｓ［Ｊ］．Ｎａｔｕｒｅ，２００８，４５３（７１９６）：７７９－７８２．［６］ＧｉａｎｎｏｔｔｉＦ，ＮａｎｎｉＭ，ＰｉｎｅｌｌｉＦ，ｅｔａｌ．Ｔｒａｊｅｃｔｏｒｙｐａｔｔｅｒｎｍｉｎｉｎｇ［Ｃ］／／１３ｔｈＡＣＭＳＩＧＫＤＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙａｎｄＤａｔａＭｉｎｉｎｇ，２００７：３３０－３３９．［７］ＭｏｎｒｅａｌｅＡ，ＰｉｎｅｌｌｉＦ，ＴｒａｓａｒｔｉＲ，ｅｔａｌ．ＷｈｅｒｅＮｅｘｔ：Ａｌｏｃａｔｉｏｎｐｒｅｄｉｃｔｏｒｏｎｔｒａｊｅｃｔｏｒｙｐａｔｔｅｒｎｍｉｎｉｎｇ［Ｃ］／／ＡＣＭＳＩＧＫＤＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙａｎｄＤａｔａＭｉｎｉｎｇ，２００９：６３７－６４６．［８］ＷｉｅｓｔＪ，ＨｆｆｋｅｎＭ，ＫｒｅβｅｌＵ，ｅｔａｌ．Ｐｒｏｂａｂｉｌｉｓｔｉｃｔｒａｊｅｃｔｏｒｙｐｒｅｄｉｃｔｉｏｎｗｉｔｈｇａｕｓｓｉａｎｍｉｘｔｕｒｅｍｏｄｅｌｓ［Ｃ］／／２０１２ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ，２０１２：１４１－１４６．［９］ＭａｔｈｅｗＷ，ＲａｐｏｓｏＲ，ＭａｒｔｉｎｓＢ．ＰｒｅｄｉｃｔｉｎｇｆｕｔｕｒｅｌｏｃａｔｉｏｎｓｗｉｔｈｈｉｄｄｅｎＭａｒｋｏｖｍｏｄｅｌｓ［Ｃ］／／ＡＣＭＣｏｎｆｅｒｅｎｃｅｏｎＵｂｉｑｕｉｔｏｕｓＣｏｍｐｕｔｉｎｇ，２０１２：９１１－９１８．［１０］ＬｉｕＱ，ＷｕＳ，ＷａｎｇＬ，ｅｔａｌ．Ｐｒｅｄｉｃｔｉｎｇｔｈｅｎｅｘｔｌｏｃａｔｉｏｎ：Ａｒｅｃｕｒｒｅｎｔｍｏｄｅｌｗｉｔｈｓｐａｔｉａｌａｎｄｔｅｍｐｏｒａｌｃｏｎｔｅｘｔｓ［Ｃ］／／ＴｈｉｒｔｉｅｔｈＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，２０１６：１９４－２００．（下转第１２５页）

　第６期　　　周泽华，等：基于图上下文的知识表示学习　１２５［１５］ＳｏｃｈｅｒＲ，ＣｈｅｎＤ，ＭａｎｎｉｎｇＣＤ，ｅｔａｌ．Ｒｅａｓｏｎｉｎｇｗｉｔｈｎｅｕｒａｌｔｅｎｓｏｒｎｅｔｗｏｒｋｓｆｏｒｋｎｏｗｌｅｄｇｅｂａｓｅｃｏｍｐｌｅｔｉｏｎ［Ｃ］／／ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ，２０１３：９２６－９３４．［１６］ＮｅｅｌａｋａｎｔａｎＡ，ＲｏｔｈＢ，ＭｃＣａｌｌｕｍＡ．Ｃｏｍｐｏｓｉｔｉｏｎａｌｖｅｃｔｏｒｓｐａｃｅｍｏｄｅｌｓｆｏｒｋｎｏｗｌｅｄｇｅｂａｓｅｉｎｆｅｒｅｎｃｅ［Ｃ］／／２０１５ＡＡＡＩＳｐｒｉｎｇＳｙｍｐｏｓｉｕｍＳｅｒｉｅｓ，２０１５．［１７］ＦｅｎｇＪ，ＨｕａｎｇＭ，ＹａｎｇＹ．ＧＡＫＥ：Ｇｒａｐｈａｗａｒｅｋｎｏｗｌｅｄｇｅｅｍｂｅｄｄｉｎｇ［Ｃ］／／２６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔａ［３０］ＳｏｃｈｅｒＲ，ＣｈｅｎＤ，ＭａｎｎｉｎｇＣＤ，ｅｔａｌ．Ｒｅａｓｏｎｉｎｇｗｉｔｈｎｅｕｒａｌｔｅｎｓｏｒｎｅｔｗｏｒｋｓｆｏｒｋｎｏｗｌｅｄｇｅｂａｓｅｃｏｍｐｌｅｔｉｏｎ［Ｃ］／／ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ，２０１３：９２６－９３４．（上接第８３页）［１１］ＹａｏＤ，ＺｈａｎｇＣ，ＨｕａｎｇＪ，ｅｔａｌ．Ｓｅｒｍ：Ａｒｅｃｕｒｒｅｎｔｍｏｄｅｌｆｏｒｎｅｘｔｌｏｃａｔｉｏｎｐｒｅｄｉｃｔｉｏｎｉｎｓｅｍａｎｔｉｃｔｒａｊｅｃｔｏｒｉｅｓ［Ｃ］／／２０１７ＡＣＭｏｎＣｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎａｎｄＫｎｏｗｌｅｄｇｅｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ：ＴｅｃｈｎｉｃａｌＰａｐｅｒｓ，２０１６：６４１－６５１．１８］方阳，赵翔，谭真，等．一种改进的基于翻译的知识图谱表示方法［Ｊ］．计算机研究与发展，２０１８，５５（１）：１３９－１５０．１９］温雯，黄家明，蔡瑞初，等．一种融合节点先验信息的图表示学习方法［Ｊ］．软件学报，２０１８，２９（３）：７８６－７９８．２０］ＪｉＧ，ＨｅＳ，ＸｕＬ，ｅｔａｌ．Ｋｎｏｗｌｅｄｇｅｇｒａｐｈｅｍｂｅｄｄｉｎｇｖｉａｄｙｎａｍｉｃｍａｐｐｉｎｇｍａｔｒｉｘ［Ｃ］／／５３ｒｄＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓａｎｄｔｈｅ７ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ，２０１５：６８７－６９６．２１］ＮｉｃｋｅｌＭ，ＲｏｓａｓｃｏＬ，ＰｏｇｇｉｏＴ．Ｈｏｌｏｇｒａｐｈｉｃｅｍｂｅｄｄｉｎｇｓｏｆｋｎｏｗｌｅｄｇｅｇｒａｐｈｓ［Ｃ］／／３０ｔｈＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，２０１６．２２］ＮｉｃｋｅｌＭ，ＴｒｅｓｐＶ，ＫｒｉｅｇｅｌＨＰ．Ａｔｈｒｅｅｗａｙｍｏｄｅｌｆｏｒｃｏｌｌｅｃｔｉｖｅｌｅａｒｎｉｎｇｏｎｍｕｌｔｉｒｅｌａｔｉｏｎａｌｄａｔａ［Ｃ］／／２８ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，２０１１：８０９－８１６．２３］ＹａｎｇＢ，ＹｉｈＷ，ＨｅＸ，ｅｔａｌ．Ｅｍｂｅｄｄｉｎｇｅｎｔｉｔｉｅｓａｎｄｒｅｌａｔｉｏｎｓｆｏｒｌｅａｒｎｉｎｇａｎｄｉｎｆｅｒｅｎｃｅｉｎｋｎｏｗｌｅｄｇｅｂａｓｅｓ［ＥＢ］．ａｒＸｉｖ：１４１２．６５７５，２０１４．２４］ＬｉｎＹ，ＬｉｕＺ，ＬｕａｎＨ，ｅｔａｌ．Ｍｏｄｅｌｉｎｇｒｅｌａｔｉｏｎｐａｔｈｓｆｏｒｒｅｐｒｅｓｅｎｔａｔｉｏｎｌｅａｒｎｉｎｇｏｆｋｎｏｗｌｅｄｇｅｂａｓｅｓ［ＥＢ］．ａｒＸｉｖ：１５０６．００３７９，２０１５．２５］ＷａｎｇＺ，ＺｈａｎｇＪ，ＦｅｎｇＪ，ｅｔａｌ．Ｋｎｏｗｌｅｄｇｅｇｒａｐｈａｎｄｔｅｘｔｊｏｉｎｔｌｙｅｍｂｅｄｄｉｎｇ［Ｃ］／／２０１４ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ（ＥＭＮＬＰ），２０１４：１５９１－１６０１．２６］ＺｈｏｎｇＨ，ＺｈａｎｇＪ，ＷａｎｇＺ，ｅｔａｌ．Ａｌｉｇｎｉｎｇｋｎｏｗｌｅｄｇｅａｎｄｔｅｘｔｅｍｂｅｄｄｉｎｇｓｂｙｅｎｔｉｔｙｄｅｓｃｒｉｐｔｉｏｎｓ［Ｃ］／／２０１５ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ，２０１５：２６７－２７２．２７］ＸｉｅＲ，ＬｉｕＺ，ＪｉａＪ，ｅｔａｌ．Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｌｅａｒｎｉｎｇｏｆｋｎｏｗｌｅｄｇｅｇｒａｐｈｓｗｉｔｈｅｎｔｉｔｙｄｅｓｃｒｉｐｔｉｏｎｓ［Ｃ］／／３０ｔｈＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，２０１６．２８］ＨａｎＸ，ＬｉｕＺ，ＳｕｎＭ．Ｎｅｕｒａｌｋｎｏｗｌｅｄｇｅａｃｑｕｉｓｉｔｉｏｎｖｉａｍｕｔｕａｌａｔｔｅｎｔｉｏｎｂｅｔｗｅｅｎｋｎｏｗｌｅｄｇｅｇｒａｐｈａｎｄｔｅｘｔ［Ｃ］／／３２ｎｄＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，２０１８．２９］ＨａｍａｇｕｃｈｉＴ，ＯｉｗａＨ，ＳｈｉｍｂｏＭ，ｅｔａｌ．Ｋｎｏｗｌｅｄｇｅｔｒａｎｓｆｅｒｆｏｒｏｕｔｏｆｋｎｏｗｌｅｄｇｅｂａｓｅｅｎｔｉｔｉｅｓ：Ａｇｒａｐｈｎｅｕｒａｌｎｅｔｗｏｒｋａｐｐｒｏａｃｈ［ＥＢ］．ａｒＸｉｖ：１７０６．０５６７４，２０１７．Ｍａｎａｇｅｍｅｎｔ，２０１７：２４１１－２４１４．［１２］许芳芳，杨俊杰，刘宏志．基于ＳＴＬＳＴＭ网络的位置预测模型［Ｊ］．计算机工程，２０１９，４５（９）：１－７．［１３］ＣｈｏＫ，ＶａｎＭＢ，ＧｕｌｃｅｈｒｅＣ，ｅｔａｌ．ＬｅａｒｎｉｎｇｐｈｒａｓｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｕｓｉｎｇＲＮＮｅｎｃｏｄｅｒｄｅｃｏｄｅｒｆｏｒｓｔａｔｉｓｔｉｃａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ［ＥＢ］．ａｒＸｉｖ：１４０６．１０７８，２０１４．［１４］ＰａｒｋＳＨ，ＫｉｍＢＤ，ＫａｎｇＣＭ，ｅｔａｌ．ＳｅｑｕｅｎｃｅｔｏｓｅｑｕｅｎｃｅｐｒｅｄｉｃｔｉｏｎｏｆｖｅｈｉｃｌｅｔｒａｊｅｃｔｏｒｙｖｉａＬＳＴＭｅｎｃｏｄｅｒｄｅｃｏｄｅｒａｒｃｈｉｔｅｃｔｕｒｅ［Ｃ］／／２０１８ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ（ＩＶ），２０１８．［１５］ＮｇｕｙｅｎＤＤ，ＶａｎＣＬ，ＡｌｉＭＩ．Ｖｅｓｓｅｌｄｅｓｔｉｎａｔｉｏｎａｎｄａｒｒｉｖａｌｔｉｍｅｐｒｅｄｉｃｔｉｏｎｗｉｔｈｓｅｑｕｅｎｃｅｔｏｓｅｑｕｅｎｃｅｍｏｄｅｌｓｏｖｅｒｓｐａｔｉａｌｇｒｉｄ［Ｃ］／／１２ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤｉｓｔｒｉｂｕｔｅｄａｎｄＥｖｅｎｔｂａｓｅｄＳｙｓｔｅｍｓ，２０１８．［１６］ＦｅｎｇＪ，ＬｉＹ，ＺｈａｎｇＣ，ｅｔａｌ．ＤｅｅｐＭｏｖｅ：Ｐｒｅｄｉｃｔｉｎｇｈｕｍａｎｍｏｂｉｌｉｔｙｗｉｔｈａｔｔｅｎｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｃ］／／２０１８ＷｏｒｌｄＷｉｄｅＷｅｂＣｏｎｆｅｒｅｎｃｅ，２０１８：１４５９－１５６８．［１７］ＭｉｋｏｌｏｖＴ，ＹｉｈＷ，ＺｗｅｉｇＧ．Ｌｉｎｇｕｉｓｔｉｃｒｅｇｕｌａｒｉｔｉｅｓｉｎｃｏｎｔｉｎｕｏｕｓｓｐａｃｅｗｏｒｄｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ［Ｃ］／／２０１３ＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＮｏｒｔｈＡｍｅｒｉｃａｎＣｈａｐｔｅｒｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ：ＨｕｍａｎＬａｎｇｕａｇｅＴｅｃｈｎｏｌｏｇｉｅｓ，２０１３：７４６－７５１．［１８］ＬｕｏｎｇＭＴ，ＰｈａｍＨ，ＭａｎｎｉｎｇＣＤ．Ｅｆｆｅｃｔｉｖｅａｐｐｒｏａｃｈｅｓｔｏａｔｔｅｎｔｉｏｎｂａｓｅｄｎｅｕｒａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ［ＥＢ］．ａｒＸｉｖ：１５０８．０４０２５，２０１５．［１９］ＳｕｔｓｋｅｖｅｒＩ，ＶｉｎｙａｌｓＯ，ＬｅＱＶ．Ｓｅｑｕｅｎｃｅｔｏｓｅｑｕｅｎｃｅｌｅａｒｎｉｎｇｗｉｔｈｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｃ］／／２７ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍ，２０１４：３１０４－３１２２．［２０］ＹａｎｇＤ，ＺｈａｎｇＤ，ＺｈｅｎｇＶＷ，ｅｔａｌ．ＭｏｄｅｌｉｎｇｕｓｅｒａｃｔｉｖｉｔｙｐｒｅｆｅｒｅｎｃｅｂｙｌｅｖｅｒａｇｉｎｇｕｓｅｒｓｐａｔｉａｌｔｅｍｐｏｒａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｉｎＬＢＳＮｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｙｓｔｅｍｓ，Ｍａｎ，ａｎｄＣｙｂｅｒｎｅｔｉｃｓ：Ｓｙｓｔｅｍｓ，２０１５，４５（１）：１２９－１４２．［２１］ＣｈｏＥ，ＭｙｅｒｓＳＡ，ＬｅｓｋｏｖｅｃＪ．Ｆｒｉｅｎｄｓｈｉｐａｎｄｍｏｂｉｌｉｔｙ：Ｕｓｅｒｍｏｖｅｍｅｎｔｉｎｌｏｃａｔｉｏｎｂａｓｅｄｓｏｃｉａｌｎｅｔｗｏｒｋｓ［Ｃ］／／１７ｔｈＡＣＭＳＩＧＫＤＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙａｎｄＤａｔａＭｉｎｉｎｇ，２０１１：１０８２－１０９０．［２２］ＫｉｎｇｍａＤＰ，ＢａＪ．Ａｄａｍ：Ａｍｅｔｈｏｄｆｏｒｓｔｏｃｈａｓｔｉｃｏｐｔｉｍｉｚａｔｉｏｎ［Ｃ］／／ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ（ＩＣＬＲ），２０１５．［［［［［［［［［［［［