From 26dad0a9fab0694ce1128d91838b9ca78e1554f6 Mon Sep 17 00:00:00 2001 From: Lorenzo De Mattei Date: Fri, 8 May 2020 15:45:10 +0200 Subject: [PATCH] example updated to use generation pipeline (#4230) * example updated to use generation pipeline * Update model_cards/LorenzoDeMattei/GePpeTto/README.md Co-authored-by: Julien Chaumond --- .../LorenzoDeMattei/GePpeTto/README.md | 76 ++++++++++--------- 1 file changed, 42 insertions(+), 34 deletions(-) diff --git a/model_cards/LorenzoDeMattei/GePpeTto/README.md b/model_cards/LorenzoDeMattei/GePpeTto/README.md index cdffed246c..25ac61fa11 100644 --- a/model_cards/LorenzoDeMattei/GePpeTto/README.md +++ b/model_cards/LorenzoDeMattei/GePpeTto/README.md @@ -59,56 +59,64 @@ tokenizer = GPT2Tokenizer.from_pretrained( ## Example using GPT2LMHeadModel ```python -from transformers import GPT2Tokenizer, GPT2LMHeadModel +from transformers import AutoTokenizer, AutoModelWithLMHead, pipeline, GPT2Tokenizer -tokenizer = GPT2Tokenizer.from_pretrained('LorenzoDeMattei/GePpeTto') -model = GPT2LMHeadModel.from_pretrained( - 'LorenzoDeMattei/GePpeTto', pad_token_id = tokenizer.eos_token_id +tokenizer = AutoTokenizer.from_pretrained("LorenzoDeMattei/GePpeTto") +model = AutoModelWithLMHead.from_pretrained("LorenzoDeMattei/GePpeTto") + +text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer) +prompts = [ + "Wikipedia Geppetto", + "Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso"] + + +samples_outputs = text_generator( + prompts, + do_sample=True, + max_length=50, + top_k=50, + top_p=0.95, + num_return_sequences=3 ) -input_ids = tokenizer.encode( - 'Wikipedia Geppetto', return_tensors = 'pt' -) -sample_outputs = model.generate( - input_ids, - do_sample = True, - max_length = 50, - top_k = 50, - top_p = 0.95, - num_return_sequences = 3, -) -print('Output:\n' + 100 * '-') -for i, sample_output in enumerate(sample_outputs): - print( - '{}: {}'.format( - i, tokenizer.decode(sample_output, skip_special_tokens = True) - ) - ) +for i, sample_outputs in enumerate(samples_outputs): + print(100 * '-') + print("Prompt:", prompts[i]) + for sample_output in sample_outputs: + print("Sample:", sample_output['generated_text']) + print() + ``` Output is, -```text -Output: +``` ---------------------------------------------------------------------------------------------------- -0: Wikipedia Geppetto +Prompt: Wikipedia Geppetto +Sample: Wikipedia Geppetto rosso (film 1920) -Geppetto è una città degli Stati Uniti d'America, situata nello Stato dell'Iowa, nella Contea di Greene. +Geppetto rosso ("The Smokes in the Black") è un film muto del 1920 diretto da Henry H. Leonard. -Wikipedia The Sax +Il film fu prodotto dalla Selig Poly -The Sax è il primo album discografico -2: Wikipedia Geppetto/Passione +Sample: Wikipedia Geppetto -Geppetto è il primo album in studio dei Saturday Night Live, pubblicato dalla Iron Maiden nel 1974. +Geppetto ("Geppetto" in piemontese) è un comune italiano di 978 abitanti della provincia di Cuneo in Piemonte. -L'album è un lavoro di debutto che lo porta a definire -3: Wikipedia Geppetto +L'abitato, che si trova nel versante valtellinese, si sviluppa nella -Geppetto ("Fenëvëv" in calabrese) è un comune italiano di abitanti della regione Calabria. +Sample: Wikipedia Geppetto di Natale (romanzo) -Zona di particolare pregio storico-artistico, paesaggistico, storico-artistico, +Geppetto di Natale è un romanzo di Mario Caiano, pubblicato nel 2012. + +---------------------------------------------------------------------------------------------------- +Prompt: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso +Sample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso. Il burattino riesce a scappare. Dopo aver trovato un prezioso sacchetto si reca + +Sample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso, e l'unico che lo possiede, ma, di fronte a tutte queste prove + +Sample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso: - A voi gli occhi, le guance! A voi il mio pezzo! ``` ## Citation