什么是存储大量列的好方法？

我在决定如何将这些数据存储在数据库中时遇到问题。关于最佳方法的任何建议吗？我可能对数据库一无所知。

我的数据格式如下，但不是4，列数约为240，因此每个日期都有240个与之关联的唯一值：

Date/Time 200,00 202,50 205,00  
2010.11.12  13:34:00  45,8214 43,8512  41,5369   
2010.11.12  13:35:00  461,9364  454,2612  435,5222 

此外，行与DataSite关联。

我的第一个想法是要有一个像这样的表：DataID（pk），DataSiteID，ParameterID，Date，Value，以及在DataSite，Parameter和Date上的索引。ParameterID引用另一个存储输入列标题的表（200,00 202,50 205,00 ...）。

我的第二个想法只是简单地拥有一个包含所有240多个列的表。我想出了其他几种方法，但是它们也很不令人满意。

我的第一个解决方案有一个问题（不是一个很大的问题，但我不喜欢它），因为该输入行中的所有240个值都将重复使用Date和DataSiteID，所以使用了很多时间多余的空间。

每年大约会有40gb的数据传入（采用上述文本格式），并且将通过DataSite，Parameter和Date搜索数据。传入的数据量很可能在一年左右的时间内翻两番。

有什么好主意吗？谢谢，詹姆斯

编辑：这是时间序列数据，列是在不同波长下的测量值。想要在相对窄的波长范围内分析数据。将来某个时候可能还会添加额外的波长。

编辑：谢谢你们的回答，我真的很感激:)我想我可能可以找到时间用500GB左右的测试数据进行一些实验。我会把任何结论寄回去;）

您可以采用任何一种方式，但如果要使用数据进行分析，并且您经常想同时查看该数据中的多列，请使用宽表。确保您知道数据库的列数和行大小限制。确保正确获得数据类型。如果许多列为空，则SQL Server允许您为此优化表。您也可以考虑使用NOSQL（不仅SQL）解决方案来分析此类数据。

如果要减少分析的数据量，您可能需要按照问题中的说明对其进行归一化。

我遇到的情况与您的情况非常相似，每年有257个字段，每年输入30-50gb。最后我只是保持简单，SQL Server中有一个长大的男孩表。我的数据受到了相当多的查询，但主要是在日期上，并且运行良好。

我可以将数据分解成较小的逻辑卡盘（每组50个左右），但是在这种情况下，它实际上并没有太大优势，因此我省去了麻烦。

如果我现在觉得很花哨，我可能会考虑使用NoSQL选项，该选项在理论上更合适，但是关键任务数据尝试新事物并不总是让人感到神经紧张。

因此，为了晚点回答我自己的问题（该项目最终没有进行到最后），当我设法获得一些业余时间时，我用500gb的数据填满了一个测试表，该表的排列方式如下：

我的第一个想法是要有一个像这样的表：DataID（pk），DataSiteID，ParameterID，Date，Value，以及在DataSite，Parameter和Date上的索引。ParameterID引用另一个存储输入列标题的表（200,00 202,50 205,00 ...）。

数据库设置是在3GB RAM的旧双核计算机上安装的标准PostgreSQL。我运行了大约十二种不同的查询，仅通过DataSite Date和ParameterID选择数据，在1小时时间段，1天时间段内对数据进行平均，然后插入新的数据块。从内存中，所有查询只需不到一秒钟的时间即可执行。它肯定比我预期的要快得多，并且很有用。我没有想到的一件事是，使用这种方式对表建立索引后，索引文件也几乎达到了500gb，因此拥有240列宽的表当然可以节省大量磁盘空间。

在Postgres中，我会用Oracle中的数组类型或varray优雅地解决此问题。

我不知道它是否对您的问题有用，但是对于列，我不需要直接请求（我从未在WHERE条件下输入的列），并且仅在我需要有关某个列的所有信息时才有用特定的行，我将它们合并为JSON格式的博客字段。

我可能会根据所查询的parameter_ids的分布情况来做出设计的最终决定。也就是说，如果几乎只查询了几个parameter_id，我会将它们的值放到一个热表中，将剩余的值放到另一个冷表中。

Otoh，如果他们的查询分布或多或少均匀，我会将价值几天的样本集加载到一个表中，其中一个记录保留所有值，以查看记录/数据库块之间的比率是多少（或者甚至存在行链接问题，这很可能）。因此，我将做出进一步的设计决策。

好了，阅读完之后，我可能会同时采用两种方法进行决策。

我正在重新阅读这个问题-如果我有正确的答案，那么在您输入的每条记录中，都会跟踪不同的值（基于ParameterID）：

ParameterID引用另一个存储输入列标题的表（200,00 202,50 205,00 ...）。

...我对您如何与数据进行交互的了解不多，但是我倾向于使用另一个选项-每个参数ID都有一个单独的表，然后在必要时使用一个视图按日期和位置将各种不同的参数连接到更宽的表（240列）中；如果保持数据ID在视图中的访问很重要，则可以使用UNION而不是JOIN，但是这些列将被稀疏地填充。