LLM 使用心法與工具協作生態系統

December 20, 2024

LLM 使用心法
- LLM 基本上已經跨越了所有領域的知識，不論在任何場景都可以思考如何運用
- Agents 永動機：了解那個領域的工具與領域內的行話/溝通方式，這將限縮並提升 LLM 精度與細緻度（argumentation)
  - 精準的說即工具間溝通的協定是什麼，這同樣將大程度影響細緻度和精度，以程式碼來說的協定是 syntax tree, function signature 甚至 byte code，程式碼間的版本差異有 udiff format, 程式碼版本意義有 conventional commit, mermaidjs 的格式, marpjs 的格式，有明確格式資訊的產出其效果都極為完整無漏。
  - 盡可能讓工具之間可以互助完成工作甚至回饋回輸入達到飛輪效益，其效率將會倍數成長（如[[2024-11-15]] 的 git, CLI, 各類 IDE, 而 IDE 又富含了各類 extension，如[[2024-12-19]] 的 copilot 派生了操作 aider 的指令而指令產生的程式回到編輯器又成為 copilot 的輸入，人類則扮演 controller 有意識的配置什麼時候該讓哪個工具接手）
- 不知道 know-how 就用問的或是仰賴其他 AI 工具產生（[[2024-12-19]] 透過 copilot 產出指令或問句）
- 再不知道怎麼問出來就用查的，善用任何檢索接過並回饋到第二步（Retrieve）
- 與 LLM 的互動
  - 對話問答式：精準提問想獲得的解答回執行任務，提供足夠的細節，這將仰賴一個人問問題的能力，其中又涉及剖析問題的能力、批判思考的能力、邏輯推理能力、架構性思考能力[[2024-12-12]]
  - 克漏字式：寫好了你預期的框架，然而內容是什麼交由 LLM 來填補，人類再有填補的內容完成更多資訊進而與 LLM 互動
- LLM 並未實質意義上取代或產生任何概念，只是過去任何任務表面的勞力密集導致人類尚未思考表面之下不同領域內的溝通底層邏輯和合作方式，並讓大量的勞力與時間去弭平這些溝通的無效率。然而 LLM 加速了這一切，關注勞力密集的任務處理顯得不再需要投入大量的人力和精力，反之人類依然需要訓練自己的[[察覺力]]、思考能力，和了解底層邏輯的能力、決策能力。
以應用的角度來觀察 AI 的發展，如同我們的求學考試歷程，從最初的機器學習到現在的大型語言模型。二元分類的是非題、多元分類的選擇題，Multi-Lebel 的多選題，Transformer 擅長的克漏字問題， LLM 擅長的簡答題和翻譯題，到現在我們普遍不滿足的是 LLM 解答申論題的能力和解答證明題的能力。
Return value would be overwritten by finally block in Python. For example, the following code:
```
def func():
  try:
      print("In try block")
      return 1
  finally:
      print("In finally block")
      return 2

result = func()
print(result)
```
The answer is In try block, In finally block, 2. The finally block will always be executed, even if there is a return statement in the try block.