Trainer - deprecate tokenizer for processing_class (#32385)
* Trainer - deprecate tokenizer for processing_class * Extend chage across Seq2Seq trainer and docs * Add tests * Update to FutureWarning and add deprecation version
This commit is contained in:
@@ -276,7 +276,7 @@ En este punto, solo quedan tres pasos:
|
||||
... args=training_args,
|
||||
... train_dataset=encoded_minds["train"],
|
||||
... eval_dataset=encoded_minds["test"],
|
||||
... tokenizer=processor.feature_extractor,
|
||||
... processing_class=processor.feature_extractor,
|
||||
... data_collator=data_collator,
|
||||
... compute_metrics=compute_metrics,
|
||||
... )
|
||||
|
||||
@@ -160,7 +160,7 @@ Al llegar a este punto, solo quedan tres pasos:
|
||||
... data_collator=data_collator,
|
||||
... train_dataset=food["train"],
|
||||
... eval_dataset=food["test"],
|
||||
... tokenizer=image_processor,
|
||||
... processing_class=image_processor,
|
||||
... )
|
||||
|
||||
>>> trainer.train()
|
||||
|
||||
@@ -225,7 +225,7 @@ En este punto, solo quedan tres pasos:
|
||||
... args=training_args,
|
||||
... train_dataset=tokenized_swag["train"],
|
||||
... eval_dataset=tokenized_swag["validation"],
|
||||
... tokenizer=tokenizer,
|
||||
... processing_class=tokenizer,
|
||||
... data_collator=DataCollatorForMultipleChoice(tokenizer=tokenizer),
|
||||
... )
|
||||
|
||||
|
||||
@@ -195,7 +195,7 @@ En este punto, solo quedan tres pasos:
|
||||
... args=training_args,
|
||||
... train_dataset=tokenized_squad["train"],
|
||||
... eval_dataset=tokenized_squad["validation"],
|
||||
... tokenizer=tokenizer,
|
||||
... processing_class=tokenizer,
|
||||
... data_collator=data_collator,
|
||||
... )
|
||||
|
||||
|
||||
@@ -155,7 +155,7 @@ En este punto, solo faltan tres pasos:
|
||||
... args=training_args,
|
||||
... train_dataset=tokenized_billsum["train"],
|
||||
... eval_dataset=tokenized_billsum["test"],
|
||||
... tokenizer=tokenizer,
|
||||
... processing_class=tokenizer,
|
||||
... data_collator=data_collator,
|
||||
... )
|
||||
|
||||
|
||||
Reference in New Issue
Block a user