Mô hình này được công bố trên HF papers vào ngày 2020-02-12 và được đóng góp cho Hugging Face Transformers vào ngày 2023-06-20.

T5v1.1

Tổng quan

T5v1.1 được phát hành trong kho google-research/text-to-text-transfer-transformer bởi Colin Raffel và cộng sự. Đây là phiên bản cải tiến của mô hình T5 gốc. Mô hình này được đóng góp bởi patrickvonplaten. Mã nguồn gốc có thể được tìm thấy tại đây.

Mẹo sử dụng

Bạn có thể trực tiếp chèn trọng số của T5v1.1 vào một mô hình T5, như sau:

from transformers import T5ForConditionalGeneration


model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")

Phiên bản T5 1.1 bao gồm các cải tiến sau so với mô hình T5 gốc:

• Hàm kích hoạt GEGLU trong lớp ẩn feed-forward, thay vì ReLU. Xem bài báo này.

• Dropout đã được tắt trong quá trình pre-training (lợi ích về chất lượng). Dropout nên được bật lại trong quá trình fine-tuning.

• Được huấn luyện trước trên C4 mà không trộn lẫn các tác vụ hạ nguồn.

• Không có chia sẻ tham số giữa lớp nhúng và lớp phân loại.

• “xl” và “xxl” thay thế cho “3B” và “11B”. Hình dạng của mô hình hơi khác - d_model lớn hơn và num_heads cùng d_ff nhỏ hơn.

Lưu ý: T5 Version 1.1 chỉ được huấn luyện trước trên C4 mà không có bất kỳ huấn luyện có giám sát nào. Do đó, mô hình này phải được tinh chỉnh trước khi có thể sử dụng cho một tác vụ hạ nguồn, khác với mô hình T5 gốc. Vì t5v1.1 được huấn luyện trước theo phương pháp không giám sát, nên không có lợi ích thực sự nào khi sử dụng tiền tố tác vụ trong quá trình tinh chỉnh đơn tác vụ. Nếu bạn đang thực hiện tinh chỉnh đa tác vụ, bạn nên sử dụng một tiền tố.

Google đã phát hành các biến thể sau:

• google/t5-v1_1-small

• google/t5-v1_1-base

• google/t5-v1_1-large

• google/t5-v1_1-xl

• google/t5-v1_1-xxl.

Tham khảo trang tài liệu của T5 để xem đầy đủ tham chiếu API, mẹo, ví dụ mã và notebook.