banner
璃香小代

璃香小代

CS/语言学习/日记 CN/JP/EN/LA

關於AI生成問答修改版(一):CoT和材料選擇

我曾用 GPT-4 生成關於製作 anki 卡片的 prompt,靈感來源於 auto prompt,旨在 AI 在衡量輸出結果的品質後不斷調試自己的 prompt,以達到最優;在 Claude 和 GPT-4 上實驗如下的
prompt:

在製作抽認卡時,請充分參考 SuperMemo 的 20 條規則,AP 考試及其他考試中的問題和不同教程中的引導性問題。同時,注意遵循以下要求:

  1. 確保抽認卡簡潔、清晰,並集中於關鍵信息。
  2. 問題應具體、明確,避免歧義。
  3. 使用簡單直接的語言,確保卡片易於閱讀和理解。
  4. 答案應只包含一個關鍵事實 / 名稱 / 概念 / 術語。
  5. 考慮問題的適用性和普遍性,確保問題在不同場景和知識領域中具有實際應用價值。
  6. 注意問題的合理性,確保問題不引起誤解或質疑。
    以下是 SuperMemo 的 20 條規則的概述:
  7. 不要學習如果你不理解
  8. 學習材料應是基於問題和答案的形式
  9. 最小信息原則:每個問題應盡可能簡潔
  10. 避免布爾問題(是 / 否問題)
  11. 優化問題的闡述
  12. 使用具象而非抽象的問題
  13. 專注於應用性知識,而非純理論知識
  14. 均衡問題的難度,避免過於簡單或過於複雜的問題
  15. 使用多樣化的問題形式,提高學習興趣
  16. 確保答案是易於回憶和理解的
  17. 通過上下文線索幫助回憶
  18. 製作問題時考慮多種學習角度
  19. 將知識分解成獨立的、易於掌握的部分
  20. 在適當的時候,利用圖像、圖表和其他視覺輔助工具
  21. 制定適當的複習計劃,確保長期記憶
  22. 使用間隔重複法,提高記憶效果
  23. 針對易混淆的知識點製作特定的問題
  24. 將不同領域的知識進行整合,形成更高層次的認識
  25. 定期更新和修改抽認卡,以確保知識的準確性和時效性
  26. 對自己的學習過程進行反饋和調整,以提高學習效果
    文本:太陽是太陽系中唯一的恆星,由氫氣和氦氣組成。太陽的核心溫度約為 1500 萬攝氏度。在這樣的高溫下,氫氣核子發生聚變反應,形成氦原子,並釋放出大量能量。

根據 SuperMemo 的 20 條規則,我們可以從文本中提取信息並製作以下抽認卡:

問題答案
太陽系中唯一的恆星是什麼?太陽。
太陽主要由哪兩種氣體組成?氫氣和氦氣。
太陽的核心溫度約為多少攝氏度?1500 萬攝氏度。
在太陽的高溫核心中,氫氣核子發生什麼反應?聚變反應。
在聚變反應中,氫氣核子形成了什麼元素?氦元素。
太陽的聚變反應會釋放出哪種能量?大量能量。

文本:地球自轉一周的時間為 23 小時 56 分 4 秒,這段時間被稱為恆星日。地球繞太陽公轉一周的時間約為 365.24 天,被稱為回歸年。
根據 SuperMemo 的 20 條規則製作抽認卡:

問題答案
地球自轉一周的時間稱為什麼?恆星日。
恆星日的時長是多少?23 小時 56 分 4 秒。
地球繞太陽公轉一周的時間稱為什麼?回歸年。
回歸年的時長約為多少天?365.24 天。

這套抽認卡遵循了以下規則:

  • 規則 2:學習材料基於問題和答案的形式
  • 規則 3:最小信息原則,問題盡可能簡潔
  • 規則 5:優化問題的闡述,使問題清晰易懂
  • 規則 10:確保答案易於回憶和理解
  • 規則 13:將知識分解成獨立的、易於掌握的部分
    通過這些抽認卡,我們可以看到如何將 SuperMemo 的 20 條規則應用於實際製作過程。當然,根據文本內容和學習目標的不同,可能需要採用其他規則。關鍵是在製作抽認卡時全面考慮這些規則,以提高學習效果。
    製作抽認卡時,請注意以下幾點:
  1. 針對不同知識領域和背景,靈活運用 SuperMemo 的 20 條規則。
  2. 結合實際需求,參考 AP 考試及其他考試中的問題,以及不同教程中的引導性問題。
  3. 注意問題的適用性和普遍性,確保問題在不同場景和知識領域中具有實際應用價值。
  4. 保持問題的合理性,避免引起誤解或質疑。
    綜合以上要點,可以更有效地製作抽認卡,提高學習效果。下面是我要提供的文本:
    。。。。。。。。

舉例子#

在 Claude 和 GPT4 上發現一個現象,在涉及到通過大量舉例子來說明一個細節問題的文本來生成問答的時候,有近 8 成問答無法獨立於文本存在,需要手動改動;

細節事實拆分原子化#

GPT-4 能較好的提出獨立的問題,但是答案涉及多個步驟或是要點的時候,很容易陷入列舉惡夢,忽略了拆分要點和步驟形成更容易記住的卡片。它理解的事實,關鍵是從問題出發的,而非答案。

Claude 不僅有少部分中英混雜的現象,還出現了鏈式問題的現象,相當於一個問答下面有三個需要知道母問題涉及的內容的子問題,過於省略,比如 “這反映了什麼?”“反映了公式之間的一致性”

latex 公式保留#

latex 公式我用的是 quicker 中的好未來 ocr 免費識別的,起碼不用考慮 mathpix 付費問題,先用文本 ocr 完畢後,再對公式部分一一識別

學習材料的選擇#

好的入門教材讓初學者上手更快,就像復旦出的《高等代數》
文本陳述的越簡明扼要,越有邏輯性,生成的問答越好,但缺點是用語法提問主語或是賓語等等,變換成不同形式相同邏輯和思想的問題能力較差。輸入的文本的書寫風格一致才行,否則很容易出現 Waluigi 效應遞增

長度問題#

我們可以看到一個陳述細節的內容往往生成的問答比較詳細,隨著文本長度,對話長度等遞增,Waluigi 效應遞增

模型問題#

Claude 雖有少部分中英混雜的現象,但一致性保持較強,反饋調試較差,問題的冗餘性保持良好
GPT-4 容易生成太過籠統的問題,但提供背景的能力比 Claude 強,反饋調試能力較強,問題太少,冗餘性較差

Prompt 問題#

寫 prompt 的時候要注意的是模式和特殊性,專注做什麼而非不做什麼。

基於 Claude,GPT-4 生成針對詞典文本的內容容易生成 “舉個例子” 的問題(數量上也少),原因是沒有針對詞典文本優化問題。還有一個 fine understanding 的問題,它們不能確保在深度的文學問題上勝出,簡單講就是古人的 “小學” 的語言細分的學問,它們基於模型的概率問題,原來訓練的數據裡面如果包括高頻性的語言和領域知識,那麼它們會生成高質,正確的內容,但是錯誤或是有歧義用法的概率還是存在的,它們會自動校正以符合錯誤有歧義但似乎正確的用法
我曾寫過關於詞典,文字解釋的生成問題的 prompt,與上文的 prompt 差別很大,如:

Sentence miner in languages learning is a kind of people who would use the grammar books or dictionaries to create flashcards (mostly in Q&A forms)
For example, text: welcome2 ●●● S2 W3 adjective
1 you’re welcome SPOKEN a polite way of replying to someone who has just thanked you for something
‘Thanks for the coffee.’ ‘You’re welcome.’
2 if someone is welcome in a place, other people are glad that they are there
I had the feeling I wasn’t really welcome.
I didn’t feel welcome in the club.
Mary made us very welcome.
We try to make the new students feel welcome.
3 if something is welcome, you enjoy it because you feel that you need it
The weekend was a welcome break from the pressures of work.
Six months in Scotland would make a welcome change from London.
A cup of tea would be very welcome.
4 if something is welcome, you are glad that it has happened
The increase in interest rates is welcome news for investors.
This new funding will come as a welcome boost for the industry.
5 be welcome to something SPOKEN used to say that someone can have something if they want it, because you certainly do not want it
If you want to take the job you’re welcome to it!
6 be welcome to do something SPOKEN used to invite someone to do something if they would like to
You’re welcome to stay for lunch.
Q&A: Q: How might someone respond with "you're welcome"? (SPOKEN)
A: "You're welcome" is a polite way of replying to someone who has just thanked you for something.
Q: In what situations might someone not feel welcome?
A: If someone is not welcome in a place, it means that other people are not glad that they are there.
Q: What is welcome's meaning in "Mary made us very welcome"?
A: If someone is welcome in a place, other people are glad that they are there. So it means Mary made other people are glad thar we are there.
Q: What is welcome's meaning in "The weekend was a welcome break from the pressures of work."?
A: if something is welcome, you enjoy it because you feel that you need it. So it means the break is that I need.
Q: When might someone find something welcome?
A: If something is welcome, it means you enjoy it because you feel that you need it.
Q's the meaning of welcome in "The increase in interest rates is welcome news for investors"?
A: if something is welcome, you are glad that it has happened, so it means the increase in interest rates has happened.
Q: How might someone use "you're welcome" to invite someone to do something?
A: "You're welcome to stay for lunch".
Q: What's the meaning of "be welcome to something"(SPOKEN)?
A: It is used to say that someone can have something if they want it, because you certainly do not want it.
Q: What's the meaning of "be welcome to something" in "If you want to take the job you’re welcome to it!"
A: It means I can take the job because the speaker certainly do not want it.
Q: What's the meaning of "be welcome to do something"(SPOKEN)?
A is used to invite someone to do something if they would like to.
Q: What's the meaning of "be welcome to do something" in "You’re welcome to stay for lunch."
A: It is used to invite the listener to stay for lunch.
我將提供你生成 Q&A 形式的文本。

邏輯學的思想(CoT)#

用 AI 形成問答,還有一個缺陷,它們往往會針對句中單一語法部分提問,但是形成問答題,不應該僅有 “什麼是 xxx 與 xxx 的關係”“yyy 是 xxx 與 xxx 的關係”,具體有歸納,對比,文本的邏輯思路(用流暢,有邏輯的語言有助於知識和語言模板的構建,簡單化的表述有時不大嚴謹,模板可以再拆分,比如數學或是計算機思想不斷細化,然後在記憶複雜的問題不斷學會調動不同原子知識模塊和原子方法步驟)

心得:#

  • 避免是非題:如果一個問答只需要判斷對錯,而沒有給出理由,那麼很容易讓學習者感到困惑和不滿。

  • 背景和引用:為了讓問答更加獨立於文本,我們需要提供清晰的背景和引用,讓學習者知道這是哪個學科領域的知識。例如,函數在數學中是一種映射關係,而在計算機科學中是方法的另一種稱呼。可以使用類似文獻引用的方法來介紹信息源,以便日後查看和修改

  • 問題多樣和冗餘:為了讓學習者對一個細節有更深入的理解,我們需要提出不同角度的問題,激發他們的主動回憶和思考能力。因此,儘量生成多個有質量的問題。這些問題會從不同角度切入主題,考察不同層面上的理解。例如,對於一個概念可以同時詢問其定義、作用、屬性等。

  • prompt 和卡片是需要不斷修改的,在這篇文章我會記錄不同版本的 prompt,效果的。

正如:

Generate flashcards based on text. (Tentative)
Flashcards are a powerful learning tool. They’re also a pain in the butt to make.
Some readers said they were using ChatGPT to generate flashcards for subjects they’re studying. This seems well within the LLM abilities as a “calculator for words.” Thus, with the correct prompts, you could get fairly good results here—provided you’re inputting the material you wish to see transformed into flashcards and not expecting the LLM to get the facts on its own (see below).
However, given the difficulty of making “good” flashcards, I wouldn’t enter any into my Anki without reviewing them first. Nonetheless, making flashcards is tedious, so getting a first draft that I later review might speed up the process considerably. The risks seem relatively limited if you confirm the cards’ correctness before putting them in your deck.——Scott.H.Young

載入中......
此文章數據所有權由區塊鏈加密技術和智能合約保障僅歸創作者所有。