抜け漏れ

実際に起きたこと4件

• 比較サイト

  知っている商品が、1つだけ抜けていた

  商品の情報を自動で集めて一覧にする作業での話です。一覧はほぼ埋まっていました。

  ただ、自分が知っている商品が1つ入っていない。9割方うまくいっていたので、指摘されるまで気づきませんでした。

  自分が詳しい分野だったから気づけました。知らない分野だったら、そのまま「完成」として扱っていたはずです。

• 比較サイト

  集めたつもりが、半分も拾えていなかった

  レビューを自動で集めていました。集まった数だけ見ていると、うまくいっているように見えます。

  でも実際には、まだ半分も拾えていませんでした。取れているものだけを眺めていると、取れていないものの存在に気づけません。

• 比較サイト

  「だいたい集まった」と「網羅した」は違う

  「今売られているものは全部載せてほしい」と言われて、初めてこの差に気づきました。

  だいたい集まった状態から、抜けをゼロにするまでの距離は、想像よりずっと長い。そして抜けは、抜けている側からは見えません。

• データ収集

  メニューの文字を本文と間違えて、0件になった

  ページの中から必要な部分だけを取り出す処理で、ページ上部のメニューの文字を、本文の始まりだと誤って判断していました。

  結果、対象が全部0件になりました。これは0件だったので気づけました。もし中途半端に半分だけ取れていたら、気づけなかったと思います。

なぜ起きるのか

集める元のページの作りが、全部同じとは限らないからです。1つでも違う形のページがあると、そこだけ静かに落ちます。

この型を防ぐには

やることは3つです。渡す相手が、それぞれ違います。

集めた結果について、次を報告してください。

1. 集めようとした総数と、実際に取れた数、その差
2. 取れなかったものの一覧と、取れなかった理由の内訳
3. 途中でエラーになったが、処理を続けた箇所があればその一覧

これから私が知っている項目をいくつか挙げるので、それが結果に入っているかを1件ずつ確認してください。