D4 模擬題：執行評估、錯誤分析與調校
D4「執行評估、錯誤分析與調校」10 題原創模擬題，附正確答案、解析與常見陷阱。選項順序在互動版會隨機排列。
第 33 題（D4-O1）
團隊要求代理 PR 的評估訊號必須在每個 PR 上自動產生，而且不需要人工判讀就能跨 PR 比較。哪些訊號符合？
複選題，選項：
- 測試與建置的 status check 結果
- code scanning 新增警示的數量
- Copilot code review 留下的評論
- reviewer 在 PR 上核准的人數
看答案與解析
正確答案：測試與建置的 status check 結果；code scanning 新增警示的數量
解析：D4-O1 要求用自動掃描工具產生評估訊號。status check 的通過與否、code scanning 新增的警示數，都會在每個 PR 上自動產生，而且是可以直接比較的結果。Copilot code review 雖然自動產生，但評論是文字建議，仍需要人判讀；reviewer 的核准人數要靠人工審查，不是自動產生。
常見陷阱：題幹有兩個條件：自動產生、不需人工判讀。Copilot code review 只符合前者。
依據：Exam GH-600 Study Guide、About code scanning、About Copilot code review
在互動版作答這題
第 34 題（D4-O2）
代理的 PR 沒有通過 CI，你懷疑代理在 session 中跳過了某個步驟。哪些證據能直接確認代理實際做了什麼？
複選題，選項：
- session log 中的工具呼叫紀錄
- 代理推送的 commit 與 diff
- PR 描述中代理對步驟的說明
- custom agent profile 的指示
看答案與解析
正確答案：session log 中的工具呼叫紀錄；代理推送的 commit 與 diff
解析：D4-O2 要求利用 log、trace、輸出與 artifacts 找出失敗。session log 記錄代理實際呼叫了哪些工具與參數；commit 與 diff 是它實際留下的變更，兩者都是可查證的紀錄。PR 描述是代理自己的陳述，可能與實際不符；profile 的指示說明代理「應該」怎麼做，不能證明它「實際」怎麼做。
常見陷阱：要分清楚「代理說了什麼」與「代理做了什麼」。懷疑跳過步驟時，只有執行紀錄能回答。
依據：Exam GH-600 Study Guide、Troubleshooting GitHub Copilot cloud agent
在互動版作答這題
第 35 題（D4-O3）
評估分數下降後，每次只調整一個因素並用同一組評估重測，比一次調整多個因素更容易確認哪一項改動有效。
是非題：判斷敘述是否正確。
看答案與解析
正確答案：正確
解析：一次調整一個因素，分數的變化才能歸因到那一項改動；一次調整多個因素，即使分數回升，也不知道是哪一項有效，某項改善還可能被另一項抵銷。D4-O3 的調校應搭配同一組評估，前後結果才能比較。
常見陷阱：一次只改一項比較慢，但調校的目的是知道原因。只追求分數回升，下次退步時仍然不知道該改哪裡。
依據：Exam GH-600 Study Guide
在互動版作答這題
第 36 題（D4-O1）
下列哪一項是量化的評估訊號？
單選題，選項：
- 100 個測試中通過 98 個
- reviewer 認為修改方向合理
- 代理的說明文字語氣專業
- PR 描述清楚交代了動機
看答案與解析
正確答案：100 個測試中通過 98 個
解析：量化訊號是可以計數與比較的數值，例如通過率、弱點數量或執行時間。reviewer 的判斷、語氣與說明是否清楚都是質性訊號，同樣有用，但無法直接比較數值。D4-O1 要求能辨識這兩類訊號。
常見陷阱：質性訊號並非不重要，這題只問哪一項屬於量化。
依據：Exam GH-600 Study Guide
在互動版作答這題
第 37 題（D4-O2）
代理呼叫了正確的工具，卻傳入錯誤的參數，導致結果錯誤。根因應歸為哪一類？
單選題，選項：
看答案與解析
正確答案：工具誤用
解析：Study Guide 把根因分成推理錯誤、工具誤用、脈絡或環境問題。選對工具但參數錯誤，是工具使用方式出錯，屬於工具誤用。推理錯誤是計畫或判斷本身錯；環境問題是執行環境缺件或設定錯；脈絡不足是缺少必要資訊。
常見陷阱：參數錯誤也可能源自資訊不足，但要題幹指出缺少資訊才歸為脈絡問題；這題只說參數錯。
依據：Exam GH-600 Study Guide
在互動版作答這題
第 38 題（D4-O2）
cloud agent 建置失敗，log 顯示 runner 上缺少專案需要的 SDK。根因類別與修正方向為何？
單選題，選項：
- 環境問題；在 setup steps 安裝 SDK
- 推理錯誤；改寫代理的指示內容
- 工具誤用；限制代理可用的工具
- 脈絡不足；把 SDK 文件貼進 issue
看答案與解析
正確答案：環境問題；在 setup steps 安裝 SDK
解析：缺少 SDK 是執行環境的問題，和代理的判斷無關。修正方向是在 copilot-setup-steps.yml 預先安裝，讓每次環境一致。改寫指示、限制工具或補文件，都不會讓 runner 多出一個 SDK。
常見陷阱：代理可能在 log 裡試著自己安裝卻失敗，看起來像行為問題，但根因仍在環境。
依據：Configure the development environment、Exam GH-600 Study Guide
在互動版作答這題
第 39 題（D4-O3）
一個只負責修改 docs/ 文件的 custom agent，評估顯示它常讀取大量與任務無關的程式碼檔案。最小的調校是什麼？
單選題，選項：
- 在 profile 的指示中界定只處理 docs/
- 在 profile 的 tools 中移除 execute
- 在 profile 的 model 改用更大的模型
- 在 Copilot Memory 加入 repo 結構說明
看答案與解析
正確答案：在 profile 的指示中界定只處理 docs/
解析：問題在於代理不知道任務範圍，最小的調校是在 custom agent profile 的指示中界定只處理 docs/ 目錄。移除 execute 會禁止執行指令，但讀取檔案走的是 read 與 search，不受影響；換更大的模型只是容納更多無關內容；在記憶中加入整個 repo 的結構，反而提供更多無關脈絡。
常見陷阱：tools 能限制代理「能做什麼」，但這題的問題是代理「讀了什麼」。先確認控制項作用在哪一層。
依據：Exam GH-600 Study Guide、Custom agents configuration
在互動版作答這題
第 40 題（D4-O3）
你修改了代理的指示，想快速確認是否解決了使用者回報的那個失敗案例；完整的回歸評估已排定在今晚自動執行。現在最合適的做法是什麼？
單選題，選項：
- 只重跑使用者回報的那個失敗案例
- 立刻手動執行完整的回歸評估一次
- 請代理自行評估這次修改的效果
- 等一週後比較使用者的抱怨數量
看答案與解析
正確答案：只重跑使用者回報的那個失敗案例
解析：題幹要的是快速確認特定案例，而完整回歸已排定當晚執行，會負責檢查其他案例有沒有變差。現在只要重跑那個失敗案例即可。立刻手動再跑一次完整評估，和今晚的排程重複；代理自評不是獨立證據；等一週的抱怨數太慢，也混入其他變因。
常見陷阱：單一案例不能證明沒有讓其他案例變差，但題幹已經安排了回歸評估。判斷時要把題幹給的條件一起算進去。
依據：Exam GH-600 Study Guide
在互動版作答這題
第 41 題（D4-O1）
代理的任務是讓日期格式化函式支援時區，限制是不得變更公開 API 的簽章。下列哪一項最適合作為成功標準？
單選題，選項：
- 時區測試通過，且公開函式的簽章未變
- 時區測試通過，且內部函式的簽章未變
- 時區測試通過，且公開函式的名稱未變
- 時區測試通過，且公開函式的註解未變
看答案與解析
正確答案：時區測試通過，且公開函式的簽章未變
解析：D4-O1 要求評估標準對齊開發意圖與操作限制。意圖是支援時區，限制是公開 API 的簽章不得變更，成功標準要同時涵蓋兩者。內部函式本來就可以調整；只檢查名稱，參數或回傳型別改了也不會被發現；註解與 API 的相容性無關。
常見陷阱：四個選項前半句都一樣。差別在限制條件檢查的對象：公開或內部、簽章或只有名稱。
依據：Exam GH-600 Study Guide
在互動版作答這題
第 42 題（D4-O1）
代理的 PR 讓 code scanning 出現一個新的高嚴重度警示。在評估上，這個結果屬於什麼？
單選題，選項：
- 自動產生的安全評估訊號
- 代理記憶需要重設的訊號
- 多代理協調失敗的訊號
- 可以直接忽略的誤報訊號
看答案與解析
正確答案：自動產生的安全評估訊號
解析：code scanning 會在 PR 上自動分析並回報弱點，正是 D4-O1 所說「用自動掃描工具產生評估訊號」的例子。它代表這次變更可能引入安全問題，應先查證再決定修正或排除；沒查證就當成誤報，會讓掃描失去意義。它和記憶或多代理協調沒有直接關係。
常見陷阱：掃描警示確實可能是誤報，但判定誤報需要查證並留下理由，不能預設忽略。
依據：About code scanning、Exam GH-600 Study Guide
在互動版作答這題