表示1,000回、登録0件。原因はバナーではなかった【メルマガ自作奮闘記 第4回】

レポート画面を開いて、数字が並んでいるのを見たときは満足していました。バナーが表示された回数が、きちんと積み上がっている。377回、285回、242回。作った機能が動いている証拠です。

こんにちは。AIでDXを加速する専門家、ばんのです。

満足していられたのは、隣の列を見るまででした。そこから登録につながった件数が、全部ゼロだったのです。1つのバナーだけではありません。6つ並んだバナーが、6つとも0件。表示回数のほうは、多いものだと1,000回を超えていました。

第3回までは、安全に作るための話が続きました。第4回は毛色が変わって、作った機能が数字を生まなかったときに、どこから疑うかという話です。

結論を先に言うと、原因はバナーのデザインでも文言でもありませんでした。そして、この結論にたどり着くまでに、危うく的外れな改善を始めるところでした。

まず、バナーを作り直そうとした

登録が0件だと分かったとき、最初に浮かんだのは「バナーが弱い」でした。文言を変えよう、色を変えよう、置く位置を変えよう。実際そのつもりで手をつけようとしていました。

思いとどまったのは、数字の並びに違和感があったからです。6つのバナーは、文言も見た目も置き場所もバラバラでした。それなのに全部きれいに0件です。

出来の悪いバナーがあれば、0件はありえます。ですが6種類が揃って0件というのは、バナーの出来とは別の理由があると考えるほうが自然です。全員が同じ点数を取ったテストは、問題のほうを疑ったほうがいい。

そこで、改善案を出す前に「この0件という数字は、どうやって作られていますか」と聞いてみることにしました。

数字を作っている経路を、順番に追った

返ってきたのは、登録が1件と数えられるまでの流れでした。図にすると4段階です。

この4段階のどこかが切れていれば、登録は起きていても「どのバナー経由か分からない登録」として扱われます。表示は数えられ、登録は数えられない。私が見ていた画面は、まさにその形でした。

切れているとしたらどこか。実際に自分でバナーを押して、1段階ずつ確かめました。

印を預ける処理が、預けるべき場所にいなかった

切れていたのは3段階目でした。

「押した印を預けておく」処理は、たしかに書いてありました。ただしその処理は、バナーを表示したページにしか置かれていなかったのです。

バナーは記事の中にあります。押すと、登録フォームのあるトップページへ移動します。移動した先のトップページには、バナーはありません。バナーがないので、預ける処理も動きません。印を持って着いた読者を、誰も出迎えていなかったわけです。

受付の紙を渡されて別の建物へ行ったのに、その建物には受け取る係が置かれていなかった。紙は手元にあるまま、登録だけが済んでいく。だから登録は成立していて、経由の記録だけが空になっていました。

直し方は、フォームのあるページ側にも同じ処理を置くことでした。表示するページ用と、着地するページ用。役割が違うので、両方に必要です。

この「同じことが2か所に書いてある」状態は、後から見ると無駄に見えます。整理したくなる形です。ですから、なぜ2つ要るのかをコードの中に注記として残しました。半年後の自分が片方を消して、また0件のレポートを眺めるのを防ぐためです。

直った確認は、片方を一時的に止めて印が消えること、戻して印が入ることを見比べてから、実際に自分で登録まで通しました。第2回に書いた「直す前にわざと失敗させる」と同じやり方です。

ついでに見つかった、黙って止まる作りが2つ

同じ経路を洗っている途中で、別の不具合が2つ出てきました。どちらも、エラーも警告も出さずに黙って止まるたぐいのものです。今回のように症状が数字にしか出ない不具合は、たいていこの形をしています。

1つ目は、計測用のコードを読み込むかどうかの判定です。「このページにバナーが置かれているか」を調べる機能を使っていたのですが、この機能は記事の本文しか見ません。サイドバーなどに置いたバナーは、置かれていない扱いになります。サイドバーのバナーだけ、押しても何も記録されない状態でした。

2つ目は文字の変換です。送信先の住所にあたる文字列を安全な形に変換して埋め込んでいたのですが、この変換が住所の一部を別の文字に置き換えてしまい、宛先が成立しない形になっていました。安全のための処理が、機能を壊していたわけです。

2つに共通しているのは、画面上は何事もなく見えることです。バナーは正しく表示され、押せば移動もします。人の目で見て分かる異常はどこにもありません。分かるのは、後からレポートを開いて数字が足りないときだけです。

サイトを見て確認しました、というやり方ではこの種の不具合は残ります。見た目ではなく、記録に残るはずのものが本当に残っているかを見にいく必要があります。

数える場所を1つ増やした

原因は直りましたが、もう一度同じことが起きたときに気づけるとは限りません。表示と登録の2つしか数えていないと、間が切れたときに「押されていないのか、押された後で切れたのか」が区別できないからです。

そこで、押された回数を数える仕組みを足しました。3つあれば、切れた場所の見当がつきます。

今回の私は、この表の2行目にいました。ですが最初に手をつけようとしたのは1行目の対策です。数える場所が足りないと、こういう取り違えが起きます。

数える仕組みを足したら、成績が良くなりすぎた

この追加でも、指摘を1つもらいました。数え方の設計に関するものです。

短時間に同じ人から何度も届く記録は、まとめて1件と扱うようにしていました。連打による水増しを防ぐためです。このとき、同じ人かどうかの判定にネットワーク上の住所だけを使っていました。

問題は、この住所が会社やお店の中の全員で共有されることです。同じ事務所から2人が同時に押すと、同じ人と見なされて片方が消えます。しかも消えるのは押した記録だけで、登録の記録は消えません。

結果どうなるか。押した数より登録した数のほうが多くなり、成績が100パーセントを超えて表示されます。数字が悪くなるのではなく、良くなりすぎるという形で壊れるわけです。良い数字は疑われにくいので、放っておけば長く残る種類の不具合でした。

対処は、判定に使う材料を1つ増やすことでした。住所に加えて、ブラウザの種類も見るようにします。同じ事務所の別の人なら、たいてい違う組み合わせになります。

この指摘も私が気づいたものではありません。ただ、指摘の意味を判断したのは私です。「同じ事務所から複数人」が自分の読者に起こりうるかどうかは、コードを読んでも分かりません。企業の会議室から研修の受講者がまとめてアクセスする場面が思い浮かんだので、直すことにしました。

数字が出ないときに、疑う順番

今回の経験を、次に同じ状況になったとき用に順番として書き出しておきます。

大事なのは4番が最後だということです。中身の改善は楽しい作業なので、つい先にやりたくなります。ですが計測が切れていれば、改善した効果も同じように0件で返ってきます。何をやっても数字が動かないという、いちばん徒労感のある状態になります。

この順番は、自作システムに限った話ではありません。広告でもフォームでも、経路が2つ以上のページにまたがっていれば同じことが起きます。

よくある質問

Q1. 既製のツールを使っていても、こういうことは起きますか

起きます。むしろ気づきにくいかもしれません。中身が見えないぶん、数字が正しいものとして受け取られやすいからです。

確認方法は同じで、自分で1件通してみて、それが管理画面に出るかを見ることです。導入した直後に一度やっておけば、その後の数字を安心して見られます。

Q2. 0件がしばらく続いたのに、気づかなかったのですか

気づいていませんでした。表示回数が伸びていたので、機能としては動いていると思い込んでいたのです。

今にして思えば、機能を作った直後に自分で1件登録して確かめておけば、その日のうちに分かった話でした。作り終えた達成感と、動作を確かめる作業は別物です。

Q3. 原因の特定にどれくらいかかりましたか

聞き方を変えてからは早かったです。「バナーを改善したい」と相談していたときは改善案が並ぶだけでしたが、「この0件はどう作られた数字か」と聞いたら、経路の説明が出てきて、切れている場所まで一度に絞り込めました。

AIは聞かれたことに答えます。改善案を求めれば改善案が返ってくる。前提が間違っていても、そこは指摘されないまま進みます。何を聞くかを決めるのは、こちら側の仕事です。

Q4. 自分のサイトでも同じことを確かめられますか

できます。メールアドレスを1つ用意して、自分で申し込み経路を最後まで通してみてください。そのうえで管理画面を開き、その1件が想定どおりの経由として記録されているかを見ます。

記録が空だったり、経由が違うものになっていたら、今回と同じことが起きています。この確認は10分もかかりません。

ばんのの視点：数字は、事実ではなく作られたもの

レポートに並んだ数字は、事実そのものではありません。誰かが作った経路を通って、記録されたものだけが数字になります。経路が切れていれば、その事実は起きていても数字にはなりません。

今回の0件は、登録が起きていなかったわけではありませんでした。登録は起きていて、それがどこから来たのかを記録できていなかっただけです。同じ0でも、意味はまったく違います。

第3回で、判断材料は誰が用意したものかを先に見る、という話を書きました。今回はその数字版です。中身を読む前に、それがどうやって作られたのかを見る。順序としては、こちらが先になります。

経営の場面でも同じことが起きます。売上が伸びない、問い合わせが来ないと言うとき、本当に来ていないのか、来ているのに記録されていないのか。この2つは対策がまったく違います。前者は施策の話ですが、後者は仕組みの話です。

自分でシステムを作っていると、この区別を毎回突きつけられます。面倒ではありますが、数字の裏側を自分で開けられるというのは、思っていた以上に大きな利点でした。

次回予告

第5回は、登録の途中で消えていく人たちの話です。

メルマガの登録では、フォームを送信した後に確認メールのリンクを押してもらう手順があります。ここを押さないまま止まっている人が、一定数いました。本人は登録したつもりでいて、こちらの名簿には入っていない状態です。

この人たちにもう一度お知らせを送る仕組みを作りました。ただし、催促のメールは一歩間違えると迷惑行為になります。何回まで、何日目に送るのか。その線引きをどう決めたかをお話しします。