0. 前言

"Attention is all you need"中有一个位置编码方案，目的是消除绝对位置的影响。本文尝试从数学角度验证该编码方案可使两位置的编码相关性只受相对位置影响，而不受绝对位置影响。

0. 前言

以下针对《统计学习方法(第二版)》的中的内容

1. 背景介绍

2. EM公式推导

记可观测变量为$Y$，隐变量为$Z$，参数为$\theta$ 。根据对$Y$的$n$次观测，估计$\theta$

1. pytorch多卡训练

在Ubuntu 20.04上，探索多块显卡的分布式训练

以下代码 pytorch 1.10 和 pytorch 2.0 均通过测试

安装

1. 官网：https://www.boost.org/users/history/

   boost 1.70.0 版本：https://boostorg.jfrog.io/artifactory/main/release/1.70.0/source/

0. 安装

sudo wget -qO- https://get.docker.com/ | sh
docker --version