この間4波の縦断調査のデータ解析を行っていました。wave を追うごとに、人が減っていきます。調査そのものからの脱落だけではありません。回答の質を確かめる項目に正しく答えられなかった人の除外。wave のあいだに属性が変わって、分析対象の条件から外れてしまう人など、データの欠落は一つの顔をしていませんでした。
さて、どうするか。欠損のある人をまるごと外して、すべてに答えてくれた人だけで分析する、すなわちリストワイズ削除と呼ばれる、いちばん素朴なやり方でよいのだろうか。それとも SEM の仮説モデルを FIML（完全情報最尤法）で推定すべきか。そもそもこの欠損は「ランダムに生じた」と言ってよいものか。判断の根拠を自分が持っていないことに気づいて、手が止まりました。
そのときに読んだのが、Newman (2014) の “Missing Data: Five Practical Guidelines”（Organizational Research Methods）です。統計家が推奨する欠損処理と、研究の現場で慣行として使われ続けている欠損処理のあいだには、溝があると指摘し、この論文はその溝を5つの実践ガイドラインという形で埋めにかかります。
欠損は一枚岩ではない
5つのガイドラインは、二つの整理の上に載っています。
一つは、欠損には水準があるということ。尺度の一部の項目だけ答えていない（項目水準）、ある尺度を丸ごと落としている（構成概念水準）、調査に一切答えていない（人水準）。同じ「欠損」でも、この三つでは打てる手が違います。
もう一つは、欠損の生じ方に三つのメカニズムが区別されるということです。完全にランダムに欠けている MCAR。観測できている他の変数から「欠けやすさ」を予測できる MAR。欠けている値そのものに欠けやすさが依存する MNAR。MAR は missing at random の略なのに、実際には系統的な欠損だという点が紛らわしいです。しかも論文が引くとおり、純粋な MCAR は現実にはまず存在しません。実際の欠損はたいてい、MAR と MNAR のあいだのどこかにあります。「うちのデータの欠損はランダムだから大丈夫」という想定は、それ自体がかなり強い仮定になります。
5つのガイドライン
Newman (2014) では、欠損処理に関して以下の 5 つのガイドラインが解説されています。ざっくりとした概要を記します。
1. 手元にあるデータを全部使う（リストワイズ削除をしない）。 リストワイズ削除は、部分的にでも答えてくれた人のデータを、研究者の側が捨てる操作です。サンプルが減って検定力が落ちるだけでなく、欠損が系統的（MAR や MNAR）なら推定値そのものが偏ります。論文には、「回収された542件のうち378件が使用可能なデータだった」という Method セクションの定型文は本質的に偽である、という指摘があります。答えてくれた人のデータはすべて「使用可能」であって、使えなくしているのは研究者のほうである、ということです。
2. 単一代入をしない。 欠損箇所を平均値や回帰の予測値で一度だけ埋めて、あとは完全データのつもりで分析するやり方です。平均代入も回帰代入も、欠損が完全にランダム（MCAR）であってさえ、分散や相関を歪めます。
3. 構成概念水準の欠損——部分回答者が回答者の10%以上なら、最尤法か多重代入を使う。 回答者のうち、どこかの尺度を丸ごと落とした「部分回答者」の割合を数えます。それが10%を超えるなら、リストワイズ削除やペアワイズ削除ではなく、FIML のような最尤法か、多重代入法（MI）を使う。これらの手法は MCAR だけでなく MAR のもとでも不偏であるためです。逆に10%を下回るなら、どの手法でも実用上は大差ないとされます。
4. 項目水準の欠損——1項目あれば足りる。 多項目尺度のうち半分以上に答えていない人は、その尺度の得点を欠損として扱う、という慣行があるそうなのですが、論文はこれを退けます。答えてくれた項目の平均で、その人の尺度得点を代表させてよい。たとえ1項目しか答えていなくても、その人を捨てるより統計的にましである、と言う主張です。
5. 人水準の欠損——回答率が30%を下回るなら、感度分析を。 調査にまったく答えていない人については、予測に使える情報がそもそもありません。最尤法や多重代入の強みが効かない領域で、論文もここは、よい解決策がまだないと率直に書いています。できるのは、回答率を正直に報告し、回答者と非回答者の差を見積もった感度分析を添えることです。
選ばないという選択肢はない
Guideline 0 として記されていたもう一つの原則が印象に残っています。曰く、abstinence is not an option、欠損処理を「選ばない」ことはできない。ソフトウェアのデフォルトのまま分析を回したなら、それはリストワイズ削除を選んだのであり、選んだ以上は、その選択を擁護する責任が生じる。どの欠損処理も完璧ではありません。だからこそ、悪さの少ないものを、理由とともに選ぶことになります。
欠損の扱いを十分に学ぶ機会がないまま、なんとなくで単一代入やリストワイズ削除をしてしまうことは、そこまで珍しくないと思います。少なくとも私は、この論文を読むまで、自分の選択を擁護できる状態にありませんでした。目の前の欠損が本当に MAR なのかは、原理的には最後まで確かめようがありませんが、それでも、確かめようがないなりに何を選ぶべきかは、ここまで整理されていれば選べます。
同じ場所で手が止まっている人がいたら、と論文の紹介でした。
参考
Newman, D. A. (2014). Missing data: Five practical guidelines. Organizational Research Methods, 17(4), 372–411.