Transformers documentation
Kỹ thuật xây dựng prompt
Kỹ thuật xây dựng prompt
Kỹ thuật prompt (prompt engineering) hay việc tạo prompt, sử dụng ngôn ngữ tự nhiên để cải thiện hiệu suất của các mô hình ngôn ngữ lớn (LLM) trên nhiều loại tác vụ khác nhau. Một prompt có thể định hướng mô hình để tạo ra đầu ra mong muốn. Trong nhiều trường hợp, bạn thậm chí không cần một mô hình fine-tuned cho một tác vụ. Bạn chỉ cần một prompt tốt.
Hãy thử yêu cầu một LLM phân loại một số văn bản. Khi tạo một prompt, điều quan trọng là phải cung cấp các hướng dẫn rất cụ thể về nhiệm vụ và kết quả cần đạt được.
from transformers import pipeline
import torch
pipeline = pipeline(task="text-generation", model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Classify the text into neutral, negative or positive.
Text: This movie is definitely one of my favorite movies of its kind. The interaction between respectable and morally strong characters is an ode to chivalry and the honor code amongst thieves and policemen.
Sentiment:
"""
outputs = pipeline(prompt, max_new_tokens=10)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: Classify the text into neutral, negative or positive.
Text: This movie is definitely one of my favorite movies of its kind. The interaction between respectable and morally strong characters is an ode to chivalry and the honor code amongst thieves and policemen.
Sentiment:
PositiveThách thức nằm ở việc thiết kế các prompt tạo ra kết quả như mong đợi, bởi vì ngôn ngữ vô cùng tinh tế và giàu sức biểu đạt.
Hướng dẫn này bao gồm các thực hành tốt nhất, kỹ thuật và ví dụ về kỹ thuật prompt để giải quyết các tác vụ ngôn ngữ và suy luận.
Thực hành tốt nhất
Hãy cố gắng chọn các mô hình mới nhất để đạt hiệu suất tốt nhất. Lưu ý rằng LLM có thể có hai biến thể, base và instruction-tuned (hoặc chat).
Các mô hình cơ sở rất giỏi trong việc hoàn thành văn bản dựa trên một prompt ban đầu, nhưng chúng không giỏi trong việc tuân theo các chỉ dẫn. Các mô hình được tinh chỉnh theo chỉ dẫn là các phiên bản được huấn luyện cụ thể từ các mô hình cơ sở trên dữ liệu mang tính chỉ dẫn hoặc hội thoại. Điều này khiến các mô hình được tinh chỉnh theo chỉ dẫn phù hợp hơn cho việc tạo prompt.
Các LLM hiện đại thường là các mô hình chỉ có decoder, nhưng có một số LLM encoder-decoder như Flan-T5 hoặc BART có thể được sử dụng cho prompting. Hãy tải các mô hình này trực tiếp bằng lớp AutoModelForSeq2SeqLM (thay vì sử dụng Pipeline) và tạo ra đầu ra từ chính mô hình.
Bắt đầu với một prompt ngắn và đơn giản, sau đó tinh chỉnh dần để đạt kết quả tốt hơn.
Đặt các chỉ dẫn ở đầu hoặc cuối prompt. Với các prompt dài hơn, các mô hình có thể áp dụng các tối ưu hóa để ngăn chặn việc chú ý (attention) tăng theo hàm bậc hai, điều này đặt trọng số cao hơn vào phần đầu và phần cuối của prompt.
Tách biệt rõ ràng các chỉ dẫn khỏi văn bản cần quan tâm.
Hãy cụ thể và mô tả chi tiết về nhiệm vụ cũng như kết quả mong muốn, bao gồm ví dụ như định dạng, độ dài, phong cách và ngôn ngữ. Tránh các mô tả và hướng dẫn mơ hồ.
Hướng dẫn nên tập trung vào “cần làm gì” thay vì “không nên làm gì”.
Hướng dẫn mô hình tạo ra đầu ra chính xác bằng cách viết từ đầu tiên hoặc thậm chí là câu đầu tiên.
Thử các kỹ thuật khác như few-shot và chain-of-thought để cải thiện kết quả.
Kiểm tra các prompt của bạn với các mô hình khác nhau để đánh giá độ bền vững của chúng.
Phiên bản hóa và theo dõi hiệu suất của prompt.
Kỹ thuật
Việc tạo ra một prompt tốt, còn được gọi là zero-shot prompting, có thể chưa đủ để đạt được kết quả mong muốn. Bạn có thể cần thử một vài kỹ thuật prompting để đạt hiệu suất tốt nhất.
Phần này giới thiệu một số kỹ thuật tạo prompt.
Few-shot prompting
Few-shot prompting cải thiện độ chính xác và hiệu suất bằng cách bao gồm các ví dụ cụ thể về những gì mô hình nên tạo ra khi có một đầu vào. Các ví dụ rõ ràng này giúp mô hình hiểu tốt hơn về tác vụ và định dạng đầu ra mà bạn đang tìm kiếm. Hãy thử nghiệm với các số lượng ví dụ khác nhau (2, 4, 8, v.v.) để xem chúng ảnh hưởng đến hiệu suất như thế nào. Ví dụ bên dưới cung cấp cho mô hình 1 ví dụ (1-shot) về định dạng đầu ra (ngày ở định dạng MM/DD/YYYY) mà nó nên trả về.
from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Text: The first human went into space and orbited the Earth on April 12, 1961.
Date: 04/12/1961
Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon.
Date:"""
outputs = pipeline(prompt, max_new_tokens=12, do_sample=True, top_k=10)
for output in outputs:
print(f"Result: {output['generated_text']}")
# Result: Text: The first human went into space and orbited the Earth on April 12, 1961.
# Date: 04/12/1961
# Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon.
# Date: 09/28/1960Nhược điểm của few-shot prompting là bạn cần tạo các prompt dài hơn, làm tăng chi phí tính toán và độ trễ. Ngoài ra, độ dài của prompt cũng có giới hạn. Cuối cùng, mô hình có thể học được các mẫu không mong muốn từ các ví dụ của bạn, và nó có thể không hoạt động tốt với các tác vụ suy luận phức tạp.
Để cải thiện few-shot prompting cho các LLM instruction-tuned hiện đại, hãy sử dụng chat template cụ thể của mô hình. Các mô hình này được huấn luyện trên các bộ dữ liệu có các cuộc hội thoại theo lượt giữa “user” và “assistant”. Việc cấu trúc prompt của bạn để phù hợp với điều này có thể cải thiện hiệu suất.
Cấu trúc prompt của bạn như một cuộc trò chuyện theo lượt và sử dụng phương thức apply_chat_template để mã hóa token và định dạng nó.
from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
messages = [
{"role": "user", "content": "Text: The first human went into space and orbited the Earth on April 12, 1961."},
{"role": "assistant", "content": "Date: 04/12/1961"},
{"role": "user", "content": "Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon."}
]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=12, do_sample=True, top_k=10)
for output in outputs:
print(f"Result: {output['generated_text']}")Trong khi cách tiếp cận few-shot prompting cơ bản nhúng các ví dụ trong một chuỗi văn bản duy nhất, định dạng chat template mang lại những lợi ích sau.
- Mô hình có thể hiểu tốt hơn vì nó nhận diện được mẫu và vai trò mong đợi của đầu vào từ người dùng và đầu ra từ trợ lý một cách chính xác hơn.
- Mô hình có thể nhất quán hơn trong việc tạo ra định dạng đầu ra mong muốn vì nó được cấu trúc giống như đầu vào trong quá trình huấn luyện.
Luôn tham khảo tài liệu của một mô hình được tinh chỉnh theo hướng dẫn cụ thể để tìm hiểu thêm về định dạng của mẫu trò chuyện (chat template) của mô hình đó, từ đó bạn có thể cấu trúc các prompt few-shot của mình cho phù hợp.
Chuỗi suy luận
Chain-of-thought (CoT) hiệu quả trong việc tạo ra các đầu ra nhất quán và lập luận chặt chẽ hơn bằng cách cung cấp một chuỗi các prompt giúp mô hình “suy nghĩ” kỹ lưỡng hơn về một chủ đề.
Ví dụ dưới đây cung cấp cho mô hình một số prompt để xử lý các bước suy luận trung gian.
from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Let's go through this step-by-step:
1. You start with 15 muffins.
2. You eat 2 muffins, leaving you with 13 muffins.
3. You give 5 muffins to your neighbor, leaving you with 8 muffins.
4. Your partner buys 6 more muffins, bringing the total number of muffins to 14.
5. Your partner eats 2 muffins, leaving you with 12 muffins.
If you eat 6 muffins, how many are left?"""
outputs = pipeline(prompt, max_new_tokens=20, do_sample=True, top_k=10)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: Let's go through this step-by-step:
1. You start with 15 muffins.
2. You eat 2 muffins, leaving you with 13 muffins.
3. You give 5 muffins to your neighbor, leaving you with 8 muffins.
4. Your partner buys 6 more muffins, bringing the total number of muffins to 14.
5. Your partner eats 2 muffins, leaving you with 12 muffins.
If you eat 6 muffins, how many are left?
Answer: 6Tương tự như prompting few-shot, nhược điểm của CoT là đòi hỏi nhiều công sức hơn để thiết kế một chuỗi prompt giúp mô hình suy luận qua một tác vụ phức tạp, và độ dài prompt làm tăng độ trễ.
Tinh chỉnh
Mặc dù prompting là một cách mạnh mẽ để làm việc với LLM, có những kịch bản mà một mô hình đã được fine-tune hoặc thậm chí việc fine-tune một mô hình lại hoạt động tốt hơn.
Dưới đây là một số kịch bản mà việc tinh chỉnh mô hình là hợp lý.
- Lĩnh vực của bạn khác biệt rất lớn so với dữ liệu mà LLM được tiền huấn luyện, và việc sử dụng prompting chuyên sâu không mang lại kết quả như mong muốn.
- Mô hình của bạn cần hoạt động tốt trong một ngôn ngữ có ít tài nguyên.
- Mô hình của bạn cần được huấn luyện trên dữ liệu nhạy cảm có các yêu cầu tuân thủ quy định nghiêm ngặt.
- Bạn đang sử dụng một mô hình nhỏ do các ràng buộc về chi phí, quyền riêng tư, hạ tầng hoặc các yếu tố khác.
Trong tất cả các kịch bản này, hãy đảm bảo rằng bạn có một bộ dữ liệu chuyên ngành đủ lớn để huấn luyện mô hình của mình, có đủ thời gian và tài nguyên, và chi phí tinh chỉnh là xứng đáng. Nếu không, bạn có thể sẽ tốt hơn khi thử tối ưu hóa prompt của mình.
Ví dụ
Các ví dụ dưới đây minh họa việc đưa prompt cho LLM để thực hiện các tác vụ khác nhau.
from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Return a list of named entities in the text.
Text: The company was founded in 2016 by French entrepreneurs Clément Delangue, Julien Chaumond, and Thomas Wolf in New York City, originally as a company that developed a chatbot app targeted at teenagers.
Named entities:
"""
outputs = pipeline(prompt, max_new_tokens=50, return_full_text=False)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: [Clément Delangue, Julien Chaumond, Thomas Wolf, company, New York City, chatbot app, teenagers]from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Translate the English text to French.
Text: Sometimes, I've believed as many as six impossible things before breakfast.
Translation:
"""
outputs = pipeline(prompt, max_new_tokens=20, do_sample=True, top_k=10, return_full_text=False)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: À l'occasion, j'ai croyu plus de six choses impossiblesfrom transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Permaculture is a design process mimicking the diversity, functionality and resilience of natural ecosystems. The principles and practices are drawn from traditional ecological knowledge of indigenous cultures combined with modern scientific understanding and technological innovations. Permaculture design provides a framework helping individuals and communities develop innovative, creative and effective strategies for meeting basic needs while preparing for and mitigating the projected impacts of climate change.
Write a summary of the above text.
Summary:
"""
outputs = pipeline(prompt, max_new_tokens=30, do_sample=True, top_k=10, return_full_text=False)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: Permaculture is the design process that involves mimicking natural ecosystems to provide sustainable solutions to basic needs. It is a holistic approach that combfrom transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Answer the question using the context below.
Context: Gazpacho is a cold soup and drink made of raw, blended vegetables. Most gazpacho includes stale bread, tomato, cucumbers, onion, bell peppers, garlic, olive oil, wine vinegar, water, and salt. Northern recipes often include cumin and/or pimentón (smoked sweet paprika). Traditionally, gazpacho was made by pounding the vegetables in a mortar with a pestle; this more laborious method is still sometimes used as it helps keep the gazpacho cool and avoids the foam and silky consistency of smoothie versions made in blenders or food processors.
Question: What modern tool is used to make gazpacho?
Answer:
"""
outputs = pipeline(prompt, max_new_tokens=10, do_sample=True, top_k=10, return_full_text=False)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: A blender or food processor is the modern tool