線形回帰計算機

最適近似直線
結果

線形回帰とは、データにおける垂直誤差の二乗の和を最小にする単一の直線 y = mx + b を推定する手法です。ある変数が別の変数に影響を与える可能性があると疑った場合、まず用いるべき分析ツールです(例:広告費と登録数の関係、気温とアイスクリームの販売量の関係、身長と靴サイズの関係など)。(x, y) の値を入力すると、計算機は傾き、切片、R²、およびピアソン相関係数を返します。

回帰線をどのように設定するか

  1. 1

    データを貼り付けてください

    1行につき1組:xとyをカンマ、タブまたはスペースで区切って指定します。ヘッダーは無視されます。

  2. 2

    傾きと切片を読み込む

    傾き m は、xが1単位変化するごとにyが変化する量を示す。切片 b は、x = 0 のときの y の値である。

  3. 3

    R²を確認する

    R² ∈ [0, 1]、xによってyの分散のうち説明される割合である。社会データにおいては、R²が0.7以上であることが一般的に強い相関関係を示す。

  4. 4

    新しい値を予測する

    任意のxをy = m·x + bに代入することで、モデルの予測値を得られます。

フィットの背後にある数式

N個のデータ点 (x_i, y_i) を与える場合、一般最小二乗法による傾きおよび切片は以下の通りである:

m = Σ((x_i − x̄)(y_i − ȳ)) / Σ((x_i − x̄)²)
b = ȳ − m · x̄

R²(決定係数)とは、xによってyの分散のうちどれだけが説明できるかを示す値である。

R² = 1 − SS_res / SS_tot

ここで、SS_resは残差の二乗の和であり、SS_totはyがその平均から与えた偏差の二乗の和である。ピアソン相関係数rは±√R²であり、傾きの符号を保持している。

実際の例

5つのデータポイント:

x y
1 2
2 4
3 5
4 4
5 6

x = 3、y = 4.2。共分散の分子は以下の式で表される:(1 – 3)(2 – 4.2) + (2 – 3)(4 – 4.2) + (3 – 3)(5 – 4.2) + (4 – 3)(4 – 4.2) + (5 – 3)(6 – 4.2) = 4.4 + 0.2 + 0 − 0.2 + 3.6 = 8.0。xの分散の分子は以下の式で表される:4 + 1 + 0 + 1 + 4 = 10

  • 傾き m = 8.0 / 10 = 0.8
  • 切片 b = 4.2 − 0.8 × 3 = 1.8
  • 方程式:y = 0.8x + 1.8
  • R² ≈ 0.727

数値が教えてくれること(と教えてくれないこと)

  • 傾き m は「xが1単位変化するごとにyがどれだけ変化するか」を示します。単位はy/xです。
  • 切片 b は「xが0のときyはいくつか」という問いに答えるものであり、データにおいてx = 0が妥当な値となる場合にのみ意味を持ちます。
  • は適合度を測る指標であり、因果関係を示すものではありません。ノイズのないプロキシデータにおいても、高いR²値が得られた場合でも意味がない可能性があります。
  • ピアソンのr値は線形関係を示します。rが0に近い場合でも、強い曲線的な関係があるからといって「線形適合がない」とは限りません(つまり「関係がない」とは言えません)。

陥りやすい点

  • 外れ値は損失関数が二乗関数であるため、OLS回帰モデルの結果を大きく歪める。単一の外れ値で線が20度も傾く可能性がある。
  • 「非線形性」はR²だけでは検出できないため、常に残差をxに対してプロットしてください。
  • 回帰は対称的ではない:yをxに対してフィッティングすると得られる直線は、xをyに対してフィッティングした場合の直線とは異なる。
  • データ範囲を超えての「外挿」は推測にすぎません。フィッティング結果は実際に観測された範囲のみを反映しています。

よくある質問

yの変動の40%はxとの線形関係によって説明できる。残りの60%はノイズ、他の変数、または非線形性に起因する。物理学の分野ではこれは不十分な説明力だが、社会的・経済データにおいては一般的に許容される範囲内である。

まず線形関数から始めましょう。残差プロットに明確な曲線が見られる場合は、二次関数または対数変換を試してみてください。高次多項式に直接移行すると過剰適合となり、新しいデータへの適用性能が低下します。

数学的には2個が必要ですが、実際には少なくとも20個が必要です。それ以下の場合は、1つの外れ値がモデルの適合度を支配します。公開されている結果については、ご専門分野に応じたサンプルサイズのガイドラインをご確認ください。

いいえ。貼り付ける(x, y)のペアはブラウザ内で処理され、ページから常に離れない状態です。

関連ツール

このツールは他の言語でも利用できます