我什么时候停止寻找模特？

我正在寻找能源价格与天气之间的模型。我有在欧洲国家之间购买的MWatt的价格，以及很多天气值（Grib文件）。每5小时（2011-2015）的小时数。

价格/天

这是每天的一年。我有这个5年的每小时。

天气示例

3D散点图，用开尔文表示，一个小时。我每小时每个数据有1000个值，还有klevin，风，地势等200个数据。

我正在尝试预测兆瓦每小时的平均价格。

我的天气数据非常密集，每小时超过10000个值，因此相关性很高。这是一个简短的大数据问题。

我尝试了套索，脊线和SVR方法，将MWatt的平均价格作为结果，而将天气数据作为收入。我将70％作为训练数据，将30％作为测试。如果我的测试数据是非预测性的（在我的训练数据中的某处），则我的预测很好（R²= 0.89）。但是我想对我的数据进行预测。

因此，如果测试数据按时间顺序排在我的训练数据之后，则它什么也不能预测（R²= 0.05）。我认为这很正常，因为它是时间序列。并且存在很多自相关。

我以为我必须使用ARIMA这样的时间序列模型。我计算了方法的顺序（序列是固定的）并进行了测试。但这没用。我的意思是预测的r²为0.05。我对测试数据的预测完全不在我的测试数据上。我尝试将ARIMAX方法用作回归天气。说它不会添加任何信息。

ACF / PCF，测试/训练数据

所以我每天和每周做一次季节性裁员

天

第一周趋势

如果可以预见股价趋势，就可以拥有：

蓝色是我的预测，红色是真正的价值。

我将进行回归分析，将天气的滚动平均值作为收入，将股价趋势的趋势作为结果。但是到目前为止，我还没有找到任何关系。

但是，如果没有互动，我怎么知道什么都没有？也许只是我没有找到它。

您可能对称为“计算力学”的正式科学领域感兴趣。在詹姆斯·克劳奇菲尔德（James Crutchfield）和戴维·费尔德曼（David Feldman）的一篇文章中，据我所知，他们提出了计算力学程序，以解析（1）确定性不确定性与推断确定性关系的信息成本，（2）随机性之间的界限。不确定性和推断概率分布的信息成本，以及（3）熵不确定性和信息贫乏的后果。

要直接回答您的问题（尽管也很广泛，因为您提出了一个广泛的问题），我们如何知道何时从数据中获得“足够”或“我们能做到的”是一个开放的研究领域。前者必然取决于一个人在世界上作为研究者和演员的需求（例如，给定多少时间，多少处理能力，多少内存，多少紧迫性等）。

我没有涉足这一领域，甚至没有深入研究这篇特定文章，但他们是一些很酷的思想家。:)

Crutchfield，JP和Feldman，DP（2003年）。看不见规律，观察到随机性：熵收敛水平。混沌，13（1）：25–54。