Google T5

官方网站：立即使用

Google T5 功能

• Text-to-Text Transfer Transformer （T5） 是 Google Research 的产品，旨在探索迁移学习的局限性。 它是一个在大型文本语料库上预先训练的统一转换器，可用于在多个 NLP 任务上获得最先进的结果。 T5 库用作重现项目论文中实验的代码，也可以通过提供有用的模块来用于在文本到文本任务的混合上训练和微调模型，从而用于未来的模型开发。

主要特点

1. t5.数据：用于定义提供 tf.data.Datasets 的 Task 对象的包。
2. T5.评价：包含要在评估期间使用的指标以及用于在评估时应用这些指标的实用程序。
3. T5.型号：包含用于将 T5 任务和混合物连接到模型实现以进行训练、评估和推理的填充码。

用法

• 数据集准备：它支持 Tasks、TfdsTasks、TextLineTasks 和 TSV 文件。
• 安装：可以使用 pip 安装。
• 在 GCP 上设置 TPU：需要根据您的项目、区域和 GCS 存储桶设置变量。
• 训练、微调、评估、解码、导出：为这些操作提供了多个命令。
• GPU使用情况：也支持 GPU 使用。

使用案例

• 再现实验：T5 库可用于重现项目论文中的实验。
• 模型开发：它还可以通过提供有用的模块来用于在文本到文本任务的混合上训练和微调模型，从而用于未来的模型开发。
• T5 的代码是开源的，可在 GitHub 上使用 Apache-2.0 许可证。