AI係長AI係長yuuの引き継ぎ書AIでうまくいった話は、ここにはありません。

11

実務に入れて、初めて分かる

作った直後は「できた」。3回目くらいで、本当の問題が出る。

実際に起きたこと5

  • 書類作成

    実務に入れたら、一部が反映されなかった

    自分でテストしていたときには、何の問題も出ていませんでした。実際の業務データで初めて使ったときの話です。

    ある項目だけが、うまく反映されません。動いてはいるので、エラーも出ません。

    きれいな例では出ない問題でした。

  • 会議録ツール

    録音が、2つのファイルに分かれた

    打ち合わせが長引いて、録音が途中で切れ、2つのファイルになりました。

    現場では普通に起こることです。ただ、作るときには思いつきませんでした。想定していない形の入力が来ると、処理は止まるか、静かに片方だけ処理します。

  • 会議録ツール

    AIが決めたルールが、現場に合わなかった

    資料とファイル名を見て、対応する会議に紐づけるルールをAIが作りました。

    実際の運用では、ファイル名がそこまで揃っていません。「そのルールはやめましょう」と、こちらから撤回しました。

  • 書類作成

    金額は同じで、文章だけ違う項目があった

    書類を突き合わせる処理での話です。金額は変わっていないのに、説明の文章だけ変わっている項目がありました。

    人間なら「これは実質同じ」と分かります。機械には区別がつきません。そして、この例外があること自体、指示する時点では思い出せませんでした。

  • 書類作成

    使い続ける費用が、後から問題になった

    動くかどうかだけを見ていました。実際に使い始めると、動かし続けるための費用が効いてきます。

    「使った分だけ課金されるものは避けたい」と、あとから条件を足しています。

なぜ気づけないのか

自分で試すときは、きれいな例を使うからです。現場のデータには、例外と、想定していない形と、面倒な事情が入っています。

なぜ起きるのか

何が例外なのかは、その業務を長くやっている人の頭の中にしかないからです。指示する時点では、本人も言語化できていません。

この型を防ぐには

やることは3つです。渡す相手が、それぞれ違います。

① 覚えておくこと

作ったら、一番めんどくさい実例で1回だけ試す。きれいな例では、問題は出ない。

② AIに渡すこと — 作業を頼むときに、これも一緒に貼る

そのまま貼れるプロンプト
これから、実際の業務データで試します。その前に確認させてください。

1. どういう形のデータが来ると、この処理は失敗しますか
2. 失敗したとき、途中まで進んだ状態になりますか。それとも何も起きませんか
3. 想定していない形のデータが来たら、止まりますか。それとも無視して進みますか

「無視して進む」箇所があれば、止まるように変えてください。静かに飛ばされるより、止まってくれたほうが助かります。

最後の2文が一番大事です。実務のデータは、たいてい想定外の形をしています。そこで静かに飛ばされると、この一覧の「型①静かに間違う」になります。

③ 自分で確かめること — いま動いているものが、この型になっていないか

作ったツールを、手元で一番やっかいな1件に通してみてください。

一覧に戻る