DomainAdaption4DependencyParsing

Pytorch implementations of model-centric and data-centric domain-adaption techniques for dependency parsing.

Datasets

NLPCC-2019依存句法分析领域移植评测任务数据集

源域：平衡语料(BC)

目标域：

• 淘宝产品博客(PB)
• 淘宝产品评论(PC)
• 网络小说《诛仙》(ZX)

Run

nohup python train_ts.py --cuda 1 -lr 1e-3 --bert_lr 2e-5 --bert_layer 4 --batch_size 32 --src_type BC --tgt_type ZX --d_model 768 --arc_size 640 --label_size 128 &> zx_.log &

nohup python train_ts.py --cuda 2 -lr 1e-3 --bert_lr 2e-5 --bert_layer 4 --batch_size 32 --src_type BC --tgt_type PC --d_model 768 --arc_size 640 --label_size 128 &> pc_.log &

nohup python train_ts.py --cuda 3 -lr 1e-3 --bert_lr 2e-5 --bert_layer 4 --batch_size 32 --src_type BC --tgt_type PB --d_model 768 --arc_size 640 --label_size 128 &> pb_.log &

Core Methods

• Domain-Adaptive Pretraining：MLM + Finetuning
• Teacher-Student Learning：pretrained teacher + to-be-trained student
• Multi-task Tri-training：shared BERT + separated Biaffines

Others

• Full Finetuning
• DistanceNet：Dual BERT + domain distance metrics
• Domain Adversarial Training：GRL + domain classification
• VAE Reconstruction：autoencoder