11
実務に入れて、初めて分かる
作った直後は「できた」。3回目くらいで、本当の問題が出る。
実際に起きたこと5件
- 書類作成
実務に入れたら、一部が反映されなかった
自分でテストしていたときには、何の問題も出ていませんでした。実際の業務データで初めて使ったときの話です。
ある項目だけが、うまく反映されません。動いてはいるので、エラーも出ません。
きれいな例では出ない問題でした。
- 会議録ツール
録音が、2つのファイルに分かれた
打ち合わせが長引いて、録音が途中で切れ、2つのファイルになりました。
現場では普通に起こることです。ただ、作るときには思いつきませんでした。想定していない形の入力が来ると、処理は止まるか、静かに片方だけ処理します。
- 会議録ツール
AIが決めたルールが、現場に合わなかった
資料とファイル名を見て、対応する会議に紐づけるルールをAIが作りました。
実際の運用では、ファイル名がそこまで揃っていません。「そのルールはやめましょう」と、こちらから撤回しました。
- 書類作成
金額は同じで、文章だけ違う項目があった
書類を突き合わせる処理での話です。金額は変わっていないのに、説明の文章だけ変わっている項目がありました。
人間なら「これは実質同じ」と分かります。機械には区別がつきません。そして、この例外があること自体、指示する時点では思い出せませんでした。
- 書類作成
使い続ける費用が、後から問題になった
動くかどうかだけを見ていました。実際に使い始めると、動かし続けるための費用が効いてきます。
「使った分だけ課金されるものは避けたい」と、あとから条件を足しています。
なぜ気づけないのか
自分で試すときは、きれいな例を使うからです。現場のデータには、例外と、想定していない形と、面倒な事情が入っています。
なぜ起きるのか
何が例外なのかは、その業務を長くやっている人の頭の中にしかないからです。指示する時点では、本人も言語化できていません。
この型を防ぐには
やることは3つです。渡す相手が、それぞれ違います。
① 覚えておくこと
作ったら、一番めんどくさい実例で1回だけ試す。きれいな例では、問題は出ない。
② AIに渡すこと — 作業を頼むときに、これも一緒に貼る
これから、実際の業務データで試します。その前に確認させてください。 1. どういう形のデータが来ると、この処理は失敗しますか 2. 失敗したとき、途中まで進んだ状態になりますか。それとも何も起きませんか 3. 想定していない形のデータが来たら、止まりますか。それとも無視して進みますか 「無視して進む」箇所があれば、止まるように変えてください。静かに飛ばされるより、止まってくれたほうが助かります。
最後の2文が一番大事です。実務のデータは、たいてい想定外の形をしています。そこで静かに飛ばされると、この一覧の「型①静かに間違う」になります。
③ 自分で確かめること — いま動いているものが、この型になっていないか
作ったツールを、手元で一番やっかいな1件に通してみてください。