インストール10未満で施策の効果を測れなかった話

API キーが壁だと思っていた
10未満のまま、数字は動かなかった
効かなかったのではなく、効いたか分からなかった
順番が、逆だった
関連記事

OpenRouter の無料キー導線で AI チャットボットの初回インストールの壁を下げようとしましたが、有効インストールは10未満のまま動きません。効かなかったのではなく、効果を検証できる母数も、どこで離脱したかを知る計測も、私は持っていませんでした。個人開発の計測設計を実体験で書きます。

効かなかったのだ、と私は記事に書きかけました。施策を打って、数字を見て、動いていない。だから失敗だ、と。手が止まったのは、本当にそう言えるのかと引っかかったからです。引っかかりは当たっていました。私は効かなかったのではなく、効いたかどうかが分からなかっただけでした。そしてその二つは、まるで違います。

対象：Rapls AI Chatbot（無料版）1.9.0。WordPress.org 配布のセルフホスト型 AI チャットボットで、OpenAI・Claude・Gemini・OpenRouter に対応し、API キーは利用者が自分で用意します。執筆時点の有効インストール数は「10未満」、レビューは 5 つ星が 2 件です。

API キーが壁だと思っていた

このプラグインは、自分で API キーを用意して使う作りです。OpenAI でも Claude でも、キーを発行して設定画面に貼る。そこからはじめて会話が動きます。この「キーを用意する」が最初の関門だと、私は考えていました。AI をこれから試す人にとっては重い。アカウントを作り、支払い方法を登録し、キーを発行し、コピーして貼る。この四つを越えないと、一度も返事を見られない。インストールして、有効化して、設定画面まで来て、そこで手が止まる。そういう離脱が起きているはずだ、と。問題は、私がそれを見ていなかったことです。自分の経験から、そう推測していただけでした。

だから壁を下げる手を打ちました。OpenRouter の無料キー導線です。クレジットカードの登録なしで取れるキーがある。無料のモデルに限られますが、とにかく一度、返事が返るところまでは、お金の話を抜きにたどり着ける。プラグインにその案内を組み込み、いちばん重そうな「支払い方法の登録」の一段を、初回の体験から外しました。インストールから初めての返事までの距離を、できるだけ短くする。そう見込んで、リリースして、数字が動くのを待ちました。

10未満のまま、数字は動かなかった

効果を確かめる場所として私が見たのは、WordPress.org の有効インストール数でした。プラグインページに出る、あの数字です。離脱が減れば、ここが伸びるはず。けれど表示は「10未満」のまま、導線を入れる前も後も変わりません。10 に届けば「10+」に変わりますが、それすら起きませんでした。ここで私は、効かなかったと書きそうになって、手を止めました。

効かなかったのではなく、効いたか分からなかった

引っかかったのは母数でした。10未満。有効に使ってくれている人が、まだ一桁です。この規模で施策の前後を比べて効果を語ることは、できません。ひとり増えるか減るかが、割合でいえば大きく振れるからです。導線を入れたあとにひとり増えても、それが導線のおかげなのか、たまたまその週に誰かが見つけただけなのか、区別がつかない。効果はノイズより大きいときにはじめて見えます。母数が一桁では、ひとりの動きがそのままノイズの大きさになり、施策の信号はそこに沈みます。比べる土台が、まだないのです。

目盛りそのものも粗いものでした。有効インストール数は細かく動きません。10未満はひとまとめ、次が 10+、その次が 20+ と、大きな段で上がります。一桁のあいだは中で何人になろうと「10未満」で止まったまま。私はこの粗い物差しで、ミリ単位の差を測ろうとしていました。動かないのは当たり前で、動かないことは効かなかったことを意味しません。

母数だけではありませんでした。この数字には、もうひとつできないことがあります。有効インストール数が示すのは、最後に残った人数だけです。その人がどこを通って、どこで離れたのかは、何も教えてくれません。プラグインが使われ始めるまでには段がいくつもあります。存在を知り、インストールし、有効化し、API キーを設定し、最初の返事を受け取る。人はこのどの段でも離れます。映るのはいちばん奥まで来た人の数だけで、手前のどの段で何人こぼれたかは、この数字の外です。

インストールの前で離れたのなら、それは API キーの壁ではなく、知ってもらう段の問題で、無料キーの導線をどれだけ磨いても届きません。設定画面で止まったのなら私の見立ては当たっていたことになりますが、設定画面まで来た人が何人で、うち何人がキーを入れたのか、私はどこにも記録していませんでした。壁が API キーにあるという話は、検証されていない仮説のままです。対策だけが先にあって、それが当たっているかを確かめる目を、用意していませんでした。

順番が、逆だった

ようやく分かりました。先にやるべきだったのは無料キーの導線ではなく、どこで人が離れているかを知る手段を持つことでした。手段がないまま対策を打ったので、効いても効かなくても結果を読めない。自分で自分を、その状態に置いていたわけです。

有効インストール数の外を見るなら、自分で数えるしかありません。設定画面が開かれた回数、キーが保存された回数、最初の返事が表示された回数。プラグインの中のどこを通ったかを、最低限の形で記録する。もちろん、何を集めるかはプライバシーの説明と同意が前提で、過剰に集めない節度も要ります。それでも段ごとの人数が見えれば、どこで人が消えているかが分かります。数だけでなく言葉も手がかりです。サポートの質問やレビューの一言に「キーの取り方が分からない」とあれば壁はキーに、「設定が多すぎる」なら別の段にある。今ついている 2 件のレビューはどちらも 5 つ星で、ありがたいのですが、離脱の傾向を読むにはまだ足りません。声も、母数が要るのです。そして、いちばん地味な手立て。比べられる母数が貯まるまで、効果の判定を急がない。一桁で良し悪しを決めれば、たいてい間違えます。施策は残し、計測を足し、数字が二桁、三桁と育ってから前後を比べる。それが正しい順番でした。

個人開発の施策が効いたかどうかを、どうやって知ればいいか。私の答えはこうなりました。知るには、その前に、どこで人が離れているかを知る手段と、比べられるだけの母数がいる。そのどちらも持たないうちは、数字が動かないことを、効かなかったことと取り違える。私がやったのは、まさにその取り違えでした。有効インストールが10未満であることは、施策の失敗ではありません。まだ何も判定できる段階にない、というだけのことです。直すべきだったのは施策ではなく、測り方と、測る順番のほうでした。

もしあなたも、個人開発で打った施策の数字が動かず気を落としているなら、一度だけ確かめてみてください。その数字は、あなたが知りたいことを映せる数字ですか。そして、効果を語れるだけの母数は、もう手元にありますか。