AI導入で成果が出ないのに、なぜやめられないのか

AIを入れたけれど、うまくいかなかった。そういう会社の方と話すと、よく同じ言葉を聞きます。

「もっとよく調べてから始めればよかった」

わかります。私もそう思っていた時期があります。でも今は、そこじゃないと思っています。

事前に調べることは必要です。ただ、調べる量を増やしても、成果が出ていないのに続けてしまう問題は防げません。 ここを分けて考えないと、次も同じところで止まります。

試しに動かして、うまくいった。そこからが問題です

まず、よくある流れを書きます。

新しい仕組みを入れることになって、まず小さく試します。一部の業務で動かしてみて、想定どおりに動くか確かめる。範囲を絞って試すので、ここは通ることが多いです。

「問題なさそうですね」となって、本格導入が決まります。

ここからです。

本番で動かし始めると、たいてい何か出てきます。想定していなかったデータが入ってくる。現場が思っていたのと違う使い方をする。出力は正しいのに、その後の作業が減っていない。

このとき、担当者は何と報告するか。

「今、調整中です」

これが厄介なんです。嘘ではありません。実際に調整はしています。でもこの一言で、その問題は「失敗」ではなく「途中経過」になります。

翌月も調整中です。その次の月も調整中です。費用は毎月引き落とされていきます。誰も嘘をついていないのに、やめる話が一度も出てこない。

「うまくいった」と一度言った人は、後から否定できません

なぜ、やめる話が出ないのか。

試した段階では、誰でも疑問を口にできます。「本当にうちで使えますか」「現場は使いこなせますか」。まだ何も決まっていないので、言っても角が立ちません。

ところが「問題なさそうですね」と一度言った後は、事情が変わります。

同じ疑問を口にすると、「じゃああの時の判断は何だったのか」という話になります。予算を通した人は、いまさら引き返しにくい。進めた担当者は、自分の判断を否定することになります。現場は使いづらいと感じていても、「改善中と聞いていますから」と黙ります。

誰かが口止めしているわけではありません。「一度うまくいったと言った」という事実だけで、こうなります。

だから、事前に調べる量を増やしても、この部分は変わりません。丁寧に調べて、時間をかけて、慎重に「問題なさそうですね」と言う。そのぶん確信が強くなって、余計にやめにくくなることさえあります。

数字を並べるほど、良く見えるものを選んでしまいます

もう一つ、続けてしまう理由があります。

効果を確かめようとして、見る数字を増やすときです。処理件数、作業時間、ミスの数、問い合わせの件数——多く見たほうが正確になる気がします。

でも、増やすと別の問題が起きます。数字が10種類あれば、その中には良く見えるものと、そうでないものが混ざります。そして人は、結果を見てから、良く見えたほうを「重要な指標」として選んでしまう。 意図的にやるわけではありません。

会議で読み上げられるのは、その良い数字です。残りは資料の後ろに回って、誰も開きません。

これは私自身がやりかけたことです。

以前、相場の動きを観測する仕組みを作ろうとしたとき、測る項目の候補が20個を超えていました。多いほど何かが見えてくる気がして、どんどん足していったんです。

途中で手が止まりました。項目が多いほど、後から「効いているように見えるもの」を選べてしまう。それは発見ではなく、選び方の問題だと気づいたからです。

結局6つに絞りました。相場の勢い、価格が取引の中心からどれだけ離れているか、戻る力が生きているか——そういう系統ごとに一つずつ選んで、それ以上は足さないと決めました。

大事だったのは、絞ったこと自体よりも、その6つを動かす前に決めて、後から差し替えないと決めたことでした。

だから私は、順番を変えました

ここまでが、続けてしまう流れです。では何をすればいいのか。

私がやっているのは一つだけで、順番を変えることです。

前は、まず仕組みを作っていました。動かしてみて、それから「さて、何を見て良し悪しを判断しようか」と考える。ごく自然な順番に見えます。

でもこれをやると、動き出した後で判断の基準を決めることになります。そのとき人は、良く見えている数字のほうに引っ張られます。自分では公平に見ているつもりでも、そうなります。

だから逆にしました。測る仕組みを先に作って、続ける基準と、やめる基準を先に決めて、それから本体を作ります。

{"type":"compare","caption":"順番を入れ替えた",
 "before":{"label":"前","items":["本体の仕組みを作る","動かしてみる","何を見て判断するか考える"]},
 "after":{"label":"今","items":["測る仕組みを作る","続ける基準とやめる基準を決める","本体の仕組みを作る"]}}

さきほどの相場のプログラムでも、この順番を守りました。売買のコードは一行も書かずに、まず観測するだけの装置を作る。データを集めて、その装置に本当に先を読む力があるのかを確かめる。力があるとわかってから、初めてお金を賭ける。

同時に、「何が見えなかったらこの話を畳むか」を、始める前に数字で書いておきました。走り出してから自分に甘くならないように、先に自分を縛っておくためです。

何から自動化するかの選び方については、書類・設計の自動化を先に狙うのは、動かすたびに手元に残るものが違うからだに書きました。

どこに線を引くかで、結果が変わります

線の引き方には、コツがあります。ここを間違えると、順番を守っても意味がなくなります。

以前あった相談の話です。

先方が欲しがっていたのは、質問すると答えてくれるAIでした。ところが現場を見せてもらうと、本当に困っているのは別のところでした。事務の方が毎月末、手作業でデータを打ち込んでいる。そこに何時間もかかっていたんです。

さて、ここで「これを下回ったらやめる」という線を、どこに引くか。

「AIがちゃんと答えられるようになったら続ける」で引くと、AIは合格します。事務の方の作業時間が1分も減っていなくても、合格するんです。

「事務の方の月末の作業時間が実際に減ったら続ける」で引くと、見た目がどうであれ、変わったかどうかで判断できます。

{"type":"contrast","caption":"同じ案件でも、線をどこに引くかで結論が変わる",
 "rows":[{"condition":"「AIがちゃんと答えられるようになったら続ける」","result":"作業時間が1分も減っていなくても合格する"},
         {"condition":"「事務の方の月末の作業時間が減ったら続ける」","result":"見た目がどうであれ、変わったかどうかで決まる"}]}

同じ案件でも、線をどこに引くかで結論が変わります。何を測るかを先に決めると、「何のために入れるのか」が自然にそこへ出てきます。 後から決めると、良く見えるものを探す作業になります。

「減ったら続ける」では足りません

ただし、「作業時間が減ったら続ける」だけでは不十分です。月に1分減っただけでも、減ったことになってしまいます。どこまで減れば続けるのか。 そこまで決めないと、線を引いたことになりません。

私は時給に換算して考えます。

時給1500円の人が、1日1時間ぶん手を離せたとします。月20日で、月3万円ぶんです。月1万円のツールなら、計算上は元が取れます。

でも私は、そこを合格の線にはしません。ぎりぎり釣り合っているだけだからです。設定にかけた時間、使い方を教える時間、出力を確認する時間——これらは請求書に出てきませんが、確実に費やしています。

だから、はっきり上回る線を引きます。払う額の3倍を目安にしています。月1万円のツールなら、月3万円ぶん以上浮くこと。それを下回ったら、いくら「改善中」と言われても続けません。

線を引くときに決めていること

私が決めているのは、次の五つです。

今の状態を数字で残す。 何時間かかっているのか、何件処理しているのか。これがないと、後で比べられません。

主に見る数字を、先に一つ決める。 複数見てもかまいませんが、どれを合格の判断に使うかは先に決めます。 後から選べる状態にしておくと、良く見えたほうを選んでしまいます。

悪くしてはいけないものも決める。 作業時間が減っても、ミスが増えていたら意味がありません。減らす対象と、守る対象は別に決めます。

いつ判断するかを決める。 何ヶ月後に、どれだけのデータで判断するか。ここを決めないと「もう少し様子を見よう」が無限に続きます。

下回ったらどうするかを決める。 中止するのか、条件を変えてやり直すのか。そして、それを誰が決めるのか。

この五つを、まだ何も動いていない段階で、関係者が揃った場で決めます。今なら誰も守るものがないので、冷静に話せます。動き出してからでは、この話は切り出しにくくなります。

一度出た結果は、後から合格に変えません

最後に、いちばん難しいところを書きます。

順番を守って、線も引いた。それでも運用が始まると、こういう声が出ます。

「もう少し様子を見ましょう」 「業者が改修すると言っています」 「来月には数字が戻るはずです」

どれも、もっともらしく聞こえます。悪意もありません。でも実際にやっているのは、やめる線を静かに下げることです。

ここははっきり分けています。一度出た結果は、後から合格に変えません。 「この数字を下回った」という事実は、そのまま残します。

そのうえで、前提そのものが変わった場合だけ、線を引き直すことがあります。業務のやり方が変わった、扱う量が倍になった、というような場合です。ただしそのときは、なぜ引き直すのかを記録して、誰が決めたのかを残します。そして新しい期限と、追加で使える上限も決めます。

「今回は特別に」で緩めるのと、記録を残して引き直すのとは、まったく違います。前者は二度目も三度目も同じ理由が付いてきて、いつのまにか線がなくなります。後者は、変えた事実が残るので、後から見返せます。

これも、自分で痛い目を見ました。

作ったシステムに、異常が出たら警告を出す仕組みを付けていました。ところが、警告が出ているのに11時間半のあいだ誰も見ていなかったことがあります。仕組みは正しく動いていました。見る人がいなかっただけです。

あのとき思ったのは、線を引くだけでは足りないということでした。誰がそれに気づいて、誰が止めるのか。 そこまで決めておかないと、線は紙に書いてあるだけになります。

先に線を引いて、記録を残す形にしておくと、一つ良いことがあります。後から変えようとした瞬間に、「最初はこの数字でしたよね」と全員が気づく。変えるなら、理由を説明することになる。

派手な仕組みではありません。でも私は、組織で「やめる」を実行するには、これがいちばん確実だと思っています。

---

成果が出ていないAIを続けてしまうのは、調べ方が足りなかったからではありません。続ける基準とやめる基準を、動き出す前に決めていないからです。

すでに導入したAIを続けるべきか、何を成果として見るべきか。そこから相談したい場合は、Rebuild10でお受けしています。