まず、機械で決まるものに寄せます
同じ入力なら必ず同じ結果になる確認は、いつでも信用できます。型検査、テスト、書式の検査、リンクの存在確認。
判断が要る確認は、そのあとです。機械で決まるものを先に全部通してから、残りを人やAIが見ます。順番を逆にすると、機械が5秒で見つける誤りに人の時間を使うことになります。
機械で決まる確認と、人の判断が要る確認
レベル 1・実践テストで確かめる約75分
先に読む回：判定基準から、テストを起こす
この回でできるようになること
- 機械で白黒つく確認と、判断が要る確認を分けられる
- 判断が要る確認について、基準と例を先に決めておける
おさえておくこと
判断が要る確認は、例で固定します
「読みやすいか」「分かりやすいか」は、そのままでは判定できません。基準と例を先に決めておきます。
- 合格の例を2つ、不合格の例を2つ用意する
- どこを見て判断するのかを、観点として書き出す
- 判断がぶれたら、例を足す
AIに採点させるときの注意
AIに評価させると速いですが、AIの評価は判断であって測定ではありません。
- 同じものを2回評価させると、違う結果が出ることがある
- 自分が書いたものには甘くなることがある
- 基準を渡さないと、一般論で採点する
機械で決まる確認の代わりにはなりません。足すものとして使ってください。
たまに落ちるテストは、直すか消します
実行するたびに結果が変わるテストは、いちばん害があります。落ちても「またか」で済ませるようになり、本当の失敗も見逃します。
原因を直せないなら、いったん外して理由を書き残してください。放置よりましです。
ここまでで分からないところがあれば、この回の本文だけを使って答えてもらえます（任意・自分のAPIキーが必要です）。
この回では扱わないこと
- 評価用フレームワークの導入
- 統計的な有意差の検定
やってみる
自分のリポジトリで約60分
確認を2つの箱に仕分ける
いまやっている確認を全部書き出し、機械で決まるものと判断が要るものに分けます。判断が要るものには、合格・不合格の例を用意します。
やること
- 変更を届ける前にやっている確認を、すべて書き出します。
- それぞれを「機械で決まる」「判断が要る」に仕分けます。
- 機械で決まるものが、自動で走っているか確かめます。走っていなければ、走らせる方法を書きます。
- 判断が要るものを1つ選び、観点を3つまで書き出します。
- その観点について、合格の例を2つ、不合格の例を2つ用意します。
- 同じものを2回判定してみて、結果が変わらないか確かめます。
できあがるもの：仕分けの表と、判断が要る確認1件分の観点・例
できたかどうかの確かめ方
作ったものを点検する自分で採点する
確認が仕分けられているか
作成した仕分けの表を、次の観点で点検してください。
全部が入っているか
- まだ
- いつもやっている確認のうち、書き出されていないものがある。
- できた
- 確認がすべて書き出され、2つに仕分けられている。
- よくできた
- 機械で決まるものが自動で走っているかまで確かめ、走っていないものに対処を書いている。
比べて振り返る自分で採点する
2回判定して、同じ結果になるか
判断が要る確認について、同じ対象を2回判定してください。結果が変わった場合は、基準か例をどう足すかを書きます。
判定の安定
- まだ
- 基準も例もなく、そのつど判断している。
- できた
- 観点と例があり、2回の判定結果が一致している。
- よくできた
- 一致しなかった場合に、例を足して再判定し、そろうことを確かめている。
この回の情報の出どころ
この回の記録
書いた内容はこのブラウザの中だけに残ります。送信はしません。 成果物そのものではなく、どこにあるか（ファイルの場所、ブランチ名など）を書いてください。 鍵やパスワードは書かないでください。
確かめた結果
確認が仕分けられているか
2回判定して、同じ結果になるか
置き場所を書き、すべての確認を「できた」以上にすると、記録つきの完了になります。
AIに見てもらう（任意）
使わなくても、すべての回は完了できます作ったものを、この回の観点表に照らして見てもらえます。返ってくるのは助言であって、 合否ではありません。完了にするかどうかを決めるのは、いつでもあなたです。 自分のAPIキーを使うため、料金はご自身のアカウントに請求されます。
先に、上の「この回の記録」ですべての確認に自分で評価を付けてください。 モデルの評価を先に見ると、自分の判断がそれに引きずられます。
キーはこの実行にのみ使われ、保存もログ出力もしません。ブラウザにも残らないため、ページを離れると再入力が必要です。
APIキーを発行する