Google AI研发出更有效NLP预训练方法
admin
2021-01-26 00:53:19
0次
中文科讯网消息：Google AI发博表示，在其新论文《ELECTRA：将文本编码器作为标识符而不是生成器进行预训练》中，研究人员采用了另一种方法进行语言预训练，该方法保持了BERT的优点，但学习效率更高。ELECTRA是一种新的预训练方法，比如，ELECTRA使用仅四分之一的算力就可以在GLUE自然语言理解基准上达到RoBERTa和XLNet的性能，并在SQuAD问答基准上获得最优的结果。ELECTRA出色的效率意味着即使在小规模的情况下也能很好地运行。ELECTRA已作为TensorFlow之上的开源模型发布，其中包括许多易于使用的预训练语言表示模型。
本文Tags： Google AI
