來源：Deephub Imba

核回歸技術是一組非參數(shù)方法，用于通過一組數(shù)據(jù)點擬合平滑的曲線。Nadaraya-Watson 估計就是這樣一種方法。它通常是在自變量分布的核密度估計以及因變量和自變量聯(lián)合分布的基礎上，通過計算因變量的條件期望得到的。

在本文中，我將介紹推導 Nadaraya-Watson 估計（本篇文章中將其簡稱為“核回歸”）的另一種基本原理。這個基本原理激發(fā)了一個變分原理，這將使我們能夠制定一個可以稱為“正則化核回歸”的修改。

許多回歸技術可以通過最小化關于二次損失函數(shù)的經(jīng)驗風險或關于 N 個數(shù)據(jù)點 (x?, y?) 的殘差平方和 R[f] 推導出來，...：

相對于未知回歸函數(shù) f 最小化問題，該表達式是不適定的，所以需要對 f 進行進一步的假設。在參數(shù)化建模中，我們將 f 限制在某個假設空間中以使問題成為適定的。例如，在線性回歸中，我們將 f 限制在仿射線性函數(shù)的空間，f(x) = m? x + c。確定斜率 m 和截距 c 使得上述殘差平方和最小，將產(chǎn)生最佳擬合曲線?，F(xiàn)在讓我們對上述公式應用一些數(shù)學變換，并逐步解釋這些：

第一個等式就是把平方展開，把y的平方展開作為它們自己的和。對于第二個等式，y的平方和對我們以后要應用的最小化過程沒有幫助因為它不依賴于我們想要最小化的函數(shù)f。因此，我們可以稱它為“const”。我們就不用管它了。

下一步至關重要。我們可以通過狄拉克δ函數(shù)來計算f在一個固定位置的值，就像這樣:

這將允許我們將整體損失 R[f] 寫成一個積分，并且經(jīng)驗風險最小化變得可以通過變分計算的標準工具進行。

δ（delta）的正確定義需要對泛函分析有一定的了解，更準確地說是分布理論或“廣義函數(shù)”的理解。但是根據(jù)我們的最終目標，可以將狄拉克δ函數(shù)想象為以原點為中心的非常窄的峰。我們可以通過新生 delta 函數(shù)的極限來近似狄拉克 δ 函數(shù)（新生成函數(shù)的度量在原點附近變得越來越集中）。

一般情況下這個名字就出現(xiàn)了 - 高斯：

這個函數(shù)族消失在 > 0的極限下，并在適當?shù)囊饬x上收斂于狄拉克函數(shù)。

最后，在用上述近似代替狄拉克函數(shù)之后，我們可以給出積分下的公式的名稱:L代表拉格朗日。(這個特定的拉格朗日函數(shù)實際上并不依賴于f '的導數(shù)，但我們稍后會用到它的通用性)

找到像這樣一個函數(shù)的平穩(wěn)點——即一個用拉格朗日函數(shù)的積分表示的點——在數(shù)學和理論物理中有許多應用。例如，經(jīng)典力學可以被重新表述為基于最小作用量原理的拉格朗日力學。另一個應用是對光線路徑的描述，它遵循費馬原理，也就是最小時間原理。

因此，這個問題有一個眾所周知的通解。但在這里我們感興趣的是最小化以下形式的函數(shù):

函數(shù)f是當且僅當滿足以下歐拉-拉格朗日方程時的平穩(wěn)點:

對于我們到目前為止導出的拉格朗日函數(shù)，通過最小二乘法 R[f] 的“抹去”和，所以右側消失了，因為導數(shù) f ' 沒有依賴關系。

在這種情況下，歐拉-拉格朗日方程可以簡單地用代數(shù)方法求解f(x):

這正是 Nadaraya 和 Watson 提出的核回歸公式。

到目前為止，我們能夠推導出經(jīng)過驗證的回歸技術。現(xiàn)在可以進行更多的研究了，我們對變分原理進行一些修改。例如，可以添加一個使模型正則化的項，并懲罰大導數(shù)：

λ > 0是一個正則化參數(shù)。我們還引入了常數(shù)因子“1 / N”，因此我們實際上是將平均經(jīng)驗風險與正則化項進行比較。計算相應的歐拉-拉格朗日方程是一項簡單的任務:

當然，對于λ = 0，這個公式可以簡化為傳統(tǒng)的核回歸。這是一個二階線性微分方程一旦給出邊界條件或初始條件它就有唯一解。在R中，solve和bvpSolve包可以用于數(shù)值求解常微分方程。

讓我們模擬一些真實的數(shù)據(jù)。下圖顯示了Berkeley Earth (http://berkeleyearth.org/data/):)的1850年至2019年全球平均氣溫的時間序列

虛線是bandwidth  h = 10.0的常規(guī)核回歸，實線是相同bandwidth 和正則化參數(shù)λ = 0.5的正則化核回歸的結果。歐拉-拉格朗日方程是通過施加一個邊界值問題來求解的，該邊界值是由前五年/最近五年的溫度中值給出的最早/最近的溫度。

本文提出的正則化核回歸有一些明顯的缺陷，例如:

邊界條件需要被指定，這看起來像是一個特別的過程，

嘗試應用初始條件似乎并不實際，而且會導致荒謬解決方案，

在λ很小的情況下，數(shù)值可能不穩(wěn)定。

但是該模型似乎也有一些理想的功能。例如，對于不同的bandwidth 選擇，它似乎相當健壯。下圖顯示了h = 1.0時使用相同的數(shù)據(jù)和回歸的函數(shù)，但bandwidth 更小:

傳統(tǒng)的核回歸似乎在很大程度上過度擬合了數(shù)據(jù)，但正則化版本“保持在正確的軌道上”。

該模型的另一個特點是:它可能更擅長處理丟失的數(shù)據(jù)。這里有一個圖表，說明了同樣的回歸技術，但缺失1920年和1970年之間的數(shù)據(jù):

我們可以利用這種健壯性來處理丟失的數(shù)據(jù)，并嘗試推斷出未來場景的時間序列。雖然傳統(tǒng)的核回歸在插值中肯定是有用的，但我們可以預期傳統(tǒng)的技術在這項任務中會失敗。

然而，正則化的核回歸可能會成功，因為增加了“慣性”λ。以下圖表顯示了對未來情景的先驗預測，即2040年全球平均氣溫將分別上升到15.2攝氏度、15.8攝氏度和16.4攝氏度:

對于每個外推，使用相同的模型超參數(shù)h = 10.0， λ = 0.5。盡管在擬合最終模型之前給出了先驗，但 2040 年 15.8 °C 的選擇并不是臨時的：推算到 2040 年的 15.8 °C 實際上是最好的預測，因為有了這個參數(shù)，（傳統(tǒng)的） 殘差平方和被最小化，這可以通過簡單的網(wǎng)格搜索來驗證。

核回歸是一種技術，可以通過最小化與二次損失函數(shù)相關的經(jīng)驗風險的“平滑”或“涂抹”推導出來。這種方法導致可以擴展的變分原理，例如通過添加正則化項。

對結果模型的一些實驗顯示了一些理想的特性，它可能會在預測時間序列中找到有用的應用。