这篇文章大概就是类似于 THUNLP-MT/Document-Transformer 的用户手册吧。

跑一个英->中的模型。

目录：

  1. 语料库下载：data.statmt.org/wmt18/t
  2. BPE编码
  3. 利用句子级平行语料及文档级平行语料训练得到了基本的transformer模型；这里我使用的是之前训练好的t2t里面的transformer。
  4. 使用文档级平行语料训练一个虚拟的context_transformer模型；
  5. 将第一步得到的基本transformer模型merge到第二步的虚拟模型中，以初始化context模型；
  6. 训练context模型。

2，BPE编码

下载BPE工具包：github.com/rsennrich/su ，进入subword_nmt目录，创建data文件夹，把语料库放入data文件夹，执行以下命令

python learn_joint_bpe_and_vocab.py --input data/train.en data/train.zh -s 32000 -o bpe32k --write-vocabulary data/vocab.en data/vocab.zh
python subword-nmt/apply_bpe.py --vocabulary data/vocab.en --vocabulary-threshold 50 -c bpe32k < data/train.en > data/corpus.32k.en
python subword-nmt/apply_bpe.py --vocabulary data/vocab.zh --vocabulary-threshold 50 -c bpe32k < data/train.zh > corpus.32k.zh

最后data文件的目录如图所示

对验证集同样进行bpe编码。

然后，将bpe产生的词表、经过bpe编码的训练集和验证集分别放到以下目录，将重命名

数据集
词表

3，训练t2t中的transformer模型

首先去官网下载源码：tensorflow/tensor2tensor

PROBLEM=translate_enzh_wmt32k
MODEL=transformer
HPARAMS=transformer_big #单块GPU可以用transformer_base_single_gpu

DATA_DIR=./data
TMP_DIR=./datagen
TRAIN_DIR=./train/$PROBLEM/$MODEL-$HPARAMS

用户自定义数据可以参考：blog.csdn.net/hpulfc/ar

接下来开始产生用于t2t中相应格式的数据：

t2t-datagen
--data_dir=./data
--tmp_dir=./datagen
--problem=translate_enzh_bpe32000
--t2t_usr_dir=./trans_enzh

接著就是训练：

t2t-trainer
--data_dir=./data
--problem=translate_enzh_bpe32000
--t2t_usr_dir=./trans_enzh
--model=transformer
--hparams_set=transformer_big
--output_dir=./train
--train_steps=100000
--hparams=batch_size=5120

4，使用文档级平行语料训练一个虚拟的context_transformer模型。

这里需要用到一个上下文文档，具体参见 THUNLP-MT/Document-Transformer 。我简单写了个脚本。假定每两句话分别为上下文（这么做当然不好了）。

然后再手动添加一行空行，删除第一行最前面的空格，以及最后一行。

f = open(train.en)
f1 = open(train.ctx.en, w+)
pre =
print(--start--)
for i, cur in enumerate(f.readlines()):
str = (pre + + cur).replace(
,)
print(str, file=f1)
pre = cur
f.close()
f1.close()
print(--finished--)

有了相应的语料之后，就可以训练一下虚拟的context_transformer模型了

文件目录

bpe产生的词表

代码如下：

python2 thumt/bin/trainer_ctx.py
--input corpus/train.en corpus/train.zh
--context corpus/train.ctx.en
--vocabulary vocab/vocab.en vocab/vocab.zh
--output models/dummy
--model contextual_transformer
--parameters train_steps=1

只能用python2去跑，并且会报两个错，一个是找不到thumt这个包。

windows下要修改相应的环境变数。mac或者linux要创建.bashrc这个目录，添加

export PYTHONPATH=$PYTHONPATH:/container_data/zgk/DocumentTransformer/

再执行以下命令即可。

source .bashrc

另一个错是python2的KeyEthumt/data/datasey.py 在 python2 中报了错。

params.mapping["target"][params.unk]

报了一个KeyError的错，我直接改成

default_value=0

5，将第一步得到的基本transformer模型merge到第二步的虚拟模型中，以初始化context模型；

python2 thumt/scripts/combine_add.py
--model models/dummy
--part models/transformer/model.ckpt-100000
--output models/train/

6，训练context模型。

python2 thumt/bin/trainer_ctx.py
--input corpus/train.en corpus/train.zh
--context corpus/train.ctx.en
--output models/sentence_doc
--vocabulary vocab/vocab.en vocab/vocab.zh
--model contextual_transformer
--parameters start_steps=95000,num_context_layers=1,batch_size=6250,train_steps=100000,save_checkpoint_steps=5000,keep_checkpoint_max=50,beam_size=5

以上就可以训练出一个基于上下文的transformer模型了。至于训练出来的模型效果怎么样，该怎么优化，是后续的工作，不在本文的讨论范围……

在跑t2t的时候，经常遇到内存爆了的情况。因为我将

--hparams=batch_size=5120

错写为

--batch_size=5120

另外也有可能是

--hparams_set=transformer_big 导致的……

本来还想著用8块2080Ti爽一把……

推荐阅读：

相关文章