ブラックボックス

実際に起きたこと3件

• 社内ツール

  動いた瞬間に、「本当に合ってるの」と聞かれると分かった

  社内で使うツールを、AIに作ってもらったときの話です。動くものはできました。

  できあがったのを見た瞬間に思ったのが、「これ本当に合ってるの、と上司に必ず聞かれる」でした。できた喜びと、この不安が、ほぼ同時に来ます。

  そして実際に、その質問は来ます。

• 書類作成

  自分で作らせたのに、どういう性質のものか分からなくなった

  書類の集計を自動化するツールを作ったあと、AIに聞き返しています。「これは機械的な処理なのか。融通が利かないものなのか」と。

  例外に対応できるのか、決まった形しか扱えないのか。自分が指示して作ったのに、判断がつきませんでした。

• 社内ツール

  中身を書いたのがAIなので、私にも説明できない

  ここが、昔からある属人化との違いです。

  以前は「その人に聞けば分かった」。今は、作った本人にも全部は分からない。聞く相手がいません。

なぜ起きるのか

中身を書いたのが自分ではないからです。AIに任せた部分は、動くけれど、どういう理屈でそうなっているかを自分の言葉で言えない。

この型を防ぐには

やることは3つです。渡す相手が、それぞれ違います。

この処理について、次の3つを日本語で書いてください。プログラムの用語は使わないでください。

1. どんなデータを、どこから取ってきているか
2. どういう計算や絞り込みをして、その数字になっているか
3. この方法だと正しく出せない場合（前提・限界・例外）

読む相手は、この業務は知っているがプログラムは書けない人です。上司に「これ本当に合ってるの？」と聞かれたときに、そのまま読み上げられる文章にしてください。