|
下面要注意的是Transformer模块使用方式的不同。Transformer主要使用方式包括：（1） 编码器 （例如用于分类），（2） 解码器 （例如用于语言建模）和（3） 编码器-解码器 （例如用于机器翻译）。
在编码器-解码器模式下，通常有多个multi-head self-attention模块，包括编码器和解码器中的标准self-attention，以及允许解码器利用来自解码器的信息的编码器-解码器cross-attention。这影响了self-attention机制的设计。
在编码器模式中，没有限制或self-attention机制的约束必须是因果方式，即仅取决于现在和过去的token。
在编码器-解码器设置中，编码器和编码器-解码器cross-attention可能是无因果方式，但解码器的self attention必须是因果方式。设计有效的self attention机制，需要支持AR（auto-regressive）解码的因果关系，这可能是一个普遍的限制因素。
Efficient Transformers
Efficient Transformers的分类如图，其对应的方法在近两年（2018-2020）发表的时间、复杂度和类别见表：
Transformer是通过将Transformer blocks彼此堆叠而形成的多层体系结构。Transformer blocks的特点包括 multi-head self-attention 机制、positionwise前馈网络（feed-forward network）、层归一化（LN）模块和残差连接器（residual connectors）。
Transformer模型的输入通常是形状为BxN的张量，其中B是批处理（batch）大小，N是序列长度。该输入先穿过一个嵌入层，该层将每个one-hot token表示转换为d-维的嵌入向量，即BxNxd。然后，新张量与位置编码相加，并通过一个multi-head self-attention模块。
位置编码可以是正弦输入形式或者可训练的嵌入方式。multi-head self-attention模块的输入和输出通过残差连接器和层归一化层（LN）模块连接。然后，将multi-head self-attention模块的输出传递到两层前馈网络（FFN），类似于以残差方式连接层归一化（LN）模块。
带层归一化模块的残差连接器定义为：
Web应用程序过滤工具也提供了一些保护，当服务器检测到攻击的有效载荷时，就是检测正在进行中的攻击的良好机制。Web应用程序过滤器将寻找具有特定上下文的请求，这些请求反映了XSS攻击。这可以归结为异常检测，研究人员也可以通过一个集成了检测威胁的日志产品来实现。
不过，专家表示，总体而言，防御XSS攻击的最佳方法是预防而不是检测。
跨站脚本预防技巧
确保你的浏览器已打补丁，确保你在完成所做的工作后退出站点。这确保了cookie不再有效，请谨慎考虑您访问的网站。另一个好的策略是使用多个浏览器：将一个用于受信任的站点，将另一个用于不受信任的站点。
从较高的层次上来说，可以考虑其开发流程，构建安全措施来保护应用程序和网站免受此类攻击。XSS很容易被预防，但是如果没有安全原则作为开发设计的基础，那么事后使用安全保护措施时，它就会被忽略。
最简单的方法是安装过滤器，当用户添加输入时，使其合理，比如电话号码应该是电话号码，日期应该是日期，而不是一段Java脚本。请确保如果你的应用程序要求输入名字，那么该名字就不应是活动内容，并在将其显示给用户之前对其进行编码。这样，攻击者就无法利用纯文本发起攻击了。不过这么高级的方法在很大程度上取决于开发人员的技能水平。
（编辑：阿坝站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
