我需要使用预先训练的伯特模型('dbmdz/bert-base-italian-xxl-cased'),它来自Tensorflow的Huggingface (在链接上)。在网站上看到这篇文章之后,
model = TFBertModel.from_pretrained("../../models/pretrained
我正在使用huggingface TFBertModel来做一个分类任务(来自here:),我正在使用添加了头部密集层的裸TFBertModel,而不是TFBertForSequenceClassification,因为我不知道如何使用后者使用预先训练的权重来仅微调模型。据我所知,在BERT和ALBERT中,微调应该会给我大约80%或更多的准确率,但我甚至无法接近这个数字: Train on 3600 samples, validate on 400