Update README.md

README.md

@@ -27,12 +27,17 @@ MODEL_NAME = "andreidima/Llama-2-7b-Romanian-qlora"
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, device_map="auto")
 model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, device_map="auto")
 
-input_text = """"Context: În anul 1600, Mihai Viteazul a realizat prima unire a Țărilor Române: Țara Românească, Transilvania și Moldova. Această unire a fost un moment important în istoria României.
+input_text = """Eu răspund la întrebări pe baza contextului.
+Context: În anul 1600, Mihai Viteazul a realizat prima unire a Țărilor Române: Țara Românească, Transilvania și Moldova. Această unire a fost un moment important în istoria României.
 Întrebare: În ce an a realizat Mihai Viteazul prima unire a Țărilor Române?
 Răspuns: """
 input_ids = tokenizer(input_text, return_tensors="pt")
 
-outputs = model.generate(**input_ids, max_new_tokens=100, eos_token_id = [13])
+outputs = model.generate(
+    **input_ids, 
+    max_new_tokens=100, 
+    eos_token_id = [13] # 13 is the token ID for a newline character at the end of a non-empty line
+)
 print(tokenizer.decode(outputs[0]))
 ```