可以保留一个在表中更新的值吗?


31

我们正在开发一个用于预付卡的平台,该平台基本上保存有关卡及其余额,付款等的数据。

到目前为止,我们有一个Card实体,该实体具有一个Account实体集合,并且每个Account都有一个Amount,该数量在每次存款/提款中都会更新。

团队中现在有一场辩论;有人告诉我们,这违反了Codd的12条规则,并且在每次付款时更新其值都是很麻烦的。

这真的有问题吗?

如果是,我们该如何解决?


3
关于此主题,在DBA.SE上进行了广泛的技术讨论:编写简单的银行架构
Nick Chammas

1
您的团队在此引用了科德的哪些规则?规则是他尝试定义关系系统的尝试,没有明确提及标准化。Codd确实在他的书《数据库管理的关系模型》中讨论了规范化。
Iain Samuel McLean年长者,

Answers:


30

是的,这是非标准化的,但出于性能原因,有时非标准化的设计会胜出。

但是,出于安全原因,我可能会略有不同。(免责声明:我目前不在,也从未在金融部门工作过。我只是把它扔在那里。)

在卡上有一张表,用于过帐余额。这将为每个帐户插入一行,指示每个期间(天,周,月或其他适当时间)结束时的过帐余额。通过帐号和日期对该表编制索引。

使用另一个表来暂挂插入中的未决事务。在每个期间的结束时,运行一个例程,将未过帐的交易添加到帐户的最后一个期末余额中以计算新的余额。将未完成的交易标记为已发布,或者查看日期以确定仍在进行的交易。

这样,您就可以按需计算卡余额,而不必汇总所有帐户历史记录,并且通过将余额重新计算放在专用的过账例程中,可以确保这种重新计算的交易安全性限于一个位置(并且还限制了余额表的安全性,因此只有过帐例程才能向其写入数据)。

然后只需保留审计,客户服务和性能要求所需的尽可能多的历史数据。


1
只需两个快速笔记。首先,这是对我上面建议的日志聚合快照方法的很好描述,也许比我更清楚。(赞您)。其次,我怀疑您在这里使用“过帐”一词有点奇怪,意思是“期末余额的一部分”。在财务方面,过帐通常表示“显示在当前分类帐余额中”,因此似乎值得解释,因此不会引起混乱。
克里斯·特拉弗斯

是的,我可能会错过很多微妙之处。我仅指的是在营业时间结束时,交易似乎被“过账”到我的支票帐户中,并且余额也相应地更新了。但是我不是会计师。我只是和其中几个一起工作。
db2 2013年

将来这可能是对SOX或类似产品的要求,我不确切知道您必须记录哪种微交易要求,但是我会问一些知道以后的报告要求的人。
jcolebrand

我倾向于保留永久数据,例如在每年年初保留余额,以使“总计”快照永远不会被覆盖-列表只是添加到附件中(即使系统对于每个帐户都保持足够长的使用时间)每年累积1000总数[ 非常乐观],这几乎是无法控制的)。保持许多年度总计将使审核代码可以确认最近几年之间的交易对总计产生了适当的影响[个人交易可能会在5年后清除,但届时将经过仔细审查]。
2013年

17

另一方面,我们在会计软件中经常遇到一个问题。释义:

真的需要汇总十年的数据来找出支票帐户中有多少钱吗?

答案当然是不,你不会。这里有几种方法。一种是存储计算出的值。我不推荐这种方法,因为导致错误值的软件错误很难跟踪,因此我会避免这种方法。

更好的方法是我所说的log-snapshot-aggregate方法。在这种方法中,我们的付款和使用是插入内容,我们从不更新这些值。我们会定期汇总一段时间内的数据,并插入计算得出的快照记录,该记录代表快照有效时(通常为一段时间)的数据存在之前)。

现在,这不会违反Codd的规则,因为随着时间的推移,快照可能不太完全取决于所插入的付款/使用数据。如果有工作快照,我们可以决定清除10年之久的数据,而不会影响我们按需计算当前余额的能力。


2
我可以存储计算得出的运行总计,并且非常安全-受信任的约束确保我的数字始终正确:sqlblog.com/blogs/alexander_kuznetsov/archive/2009/01/23/…–
AK

1
我的解决方案中没有极端情况-受信任的约束不会让您忘记任何事情。我看不到在现实生活中需要知道运行总计的NULL数量的任何实际需求-这些东西彼此矛盾。如果您确实有实际需要,请分享您的sceanrio。
AK 2013年

1
好的,但是这样就不能像允许多个NULL而不破坏唯一性的数据库那样工作了,对吗?如果清除过去的数据,您的保证也会变坏,对吗?
克里斯·特拉弗斯

1
例如,如果我在PostgreSQL中对(a,b)有一个唯一约束,则我可以为(a,b)具有多个(1,null)值,因为每个null都被视为潜在唯一,我认为对于未知的语义正确值.....
克里斯·特拉弗斯

1
关于“我在PostgreSQL中对(a,b)有一个唯一约束,我可以有多个(1,null)值”-在PostgreSql中,我们需要在(a)上使用唯一的局部索引,其中b为null。
AK

7

出于性能原因,在大多数情况下,我们必须存储当前余额-否则,动态计算最终可能会变得异常缓慢。

我们确实将预先​​计算的运行总计存储在我们的系统中。为了保证数字始终正确,我们使用约束。以下解决方案已从我的博客复制而来。它描述了一个库存,本质上是相同的问题:

众所周知,无论是使用游标还是使用三角形联接,都要计算运行总计很慢。进行非规范化,将运行总计存储在列中非常诱人,特别是如果您经常选择它。但是,像往常一样,在进行非规格化时,需要保证非规格化数据的完整性。幸运的是,您可以保证有约束条件的运行总计的完整性–只要所有约束都受信任,您的所有运行总计都是正确的。同样,通过这种方法,您可以轻松地确保当前余额(运行总计)永远不会为负-通过其他方法强制执行也可能非常缓慢。以下脚本演示了该技术。

CREATE TABLE Data.Inventory(InventoryID INT NOT NULL IDENTITY,
  ItemID INT NOT NULL,
  ChangeDate DATETIME NOT NULL,
  ChangeQty INT NOT NULL,
  TotalQty INT NOT NULL,
  PreviousChangeDate DATETIME NULL,
  PreviousTotalQty INT NULL,
  CONSTRAINT PK_Inventory PRIMARY KEY(ItemID, ChangeDate),
  CONSTRAINT UNQ_Inventory UNIQUE(ItemID, ChangeDate, TotalQty),
  CONSTRAINT UNQ_Inventory_Previous_Columns UNIQUE(ItemID, PreviousChangeDate, PreviousTotalQty),
  CONSTRAINT FK_Inventory_Self FOREIGN KEY(ItemID, PreviousChangeDate, PreviousTotalQty)
    REFERENCES Data.Inventory(ItemID, ChangeDate, TotalQty),
  CONSTRAINT CHK_Inventory_Valid_TotalQty CHECK(TotalQty >= 0 AND (TotalQty = COALESCE(PreviousTotalQty, 0) + ChangeQty)),
  CONSTRAINT CHK_Inventory_Valid_Dates_Sequence CHECK(PreviousChangeDate < ChangeDate),
  CONSTRAINT CHK_Inventory_Valid_Previous_Columns CHECK((PreviousChangeDate IS NULL AND PreviousTotalQty IS NULL)
            OR (PreviousChangeDate IS NOT NULL AND PreviousTotalQty IS NOT NULL))
);
GO
-- beginning of inventory for item 1
INSERT INTO Data.Inventory(ItemID,
  ChangeDate,
  ChangeQty,
  TotalQty,
  PreviousChangeDate,
  PreviousTotalQty)
VALUES(1, '20090101', 10, 10, NULL, NULL);
-- cannot begin the inventory for the second time for the same item 1
INSERT INTO Data.Inventory(ItemID,
  ChangeDate,
  ChangeQty,
  TotalQty,
  PreviousChangeDate,
  PreviousTotalQty)
VALUES(1, '20090102', 10, 10, NULL, NULL);

Msg 2627, Level 14, State 1, Line 10
Violation of UNIQUE KEY constraint 'UNQ_Inventory_Previous_Columns'. Cannot insert duplicate key in object 'Data.Inventory'.
The statement has been terminated.

-- add more
DECLARE @ChangeQty INT;
SET @ChangeQty = 5;
INSERT INTO Data.Inventory(ItemID,
  ChangeDate,
  ChangeQty,
  TotalQty,
  PreviousChangeDate,
  PreviousTotalQty)
SELECT TOP 1 ItemID, '20090103', @ChangeQty, TotalQty + @ChangeQty, ChangeDate, TotalQty
  FROM Data.Inventory
  WHERE ItemID = 1
  ORDER BY ChangeDate DESC;

SET @ChangeQty = 3;
INSERT INTO Data.Inventory(ItemID,
  ChangeDate,
  ChangeQty,
  TotalQty,
  PreviousChangeDate,
  PreviousTotalQty)
SELECT TOP 1 ItemID, '20090104', @ChangeQty, TotalQty + @ChangeQty, ChangeDate, TotalQty
  FROM Data.Inventory
  WHERE ItemID = 1
  ORDER BY ChangeDate DESC;

SET @ChangeQty = -4;
INSERT INTO Data.Inventory(ItemID,
  ChangeDate,
  ChangeQty,
  TotalQty,
  PreviousChangeDate,
  PreviousTotalQty)
SELECT TOP 1 ItemID, '20090105', @ChangeQty, TotalQty + @ChangeQty, ChangeDate, TotalQty
  FROM Data.Inventory
  WHERE ItemID = 1
  ORDER BY ChangeDate DESC;

-- try to violate chronological order

SET @ChangeQty = 5;
INSERT INTO Data.Inventory(ItemID,
  ChangeDate,
  ChangeQty,
  TotalQty,
  PreviousChangeDate,
  PreviousTotalQty)
SELECT TOP 1 ItemID, '20081231', @ChangeQty, TotalQty + @ChangeQty, ChangeDate, TotalQty
  FROM Data.Inventory
  WHERE ItemID = 1
  ORDER BY ChangeDate DESC;

Msg 547, Level 16, State 0, Line 4
The INSERT statement conflicted with the CHECK constraint "CHK_Inventory_Valid_Dates_Sequence". The conflict occurred in database "Test", table "Data.Inventory".
The statement has been terminated.


SELECT ChangeDate,
  ChangeQty,
  TotalQty,
  PreviousChangeDate,
  PreviousTotalQty
FROM Data.Inventory ORDER BY ChangeDate;

ChangeDate              ChangeQty   TotalQty    PreviousChangeDate      PreviousTotalQty
----------------------- ----------- ----------- ----------------------- -----
2009-01-01 00:00:00.000 10          10          NULL                    NULL
2009-01-03 00:00:00.000 5           15          2009-01-01 00:00:00.000 10
2009-01-04 00:00:00.000 3           18          2009-01-03 00:00:00.000 15
2009-01-05 00:00:00.000 -4          14          2009-01-04 00:00:00.000 18


-- try to change a single row, all updates must fail
UPDATE Data.Inventory SET ChangeQty = ChangeQty + 2 WHERE InventoryID = 3;
UPDATE Data.Inventory SET TotalQty = TotalQty + 2 WHERE InventoryID = 3;
-- try to delete not the last row, all deletes must fail
DELETE FROM Data.Inventory WHERE InventoryID = 1;
DELETE FROM Data.Inventory WHERE InventoryID = 3;

-- the right way to update

DECLARE @IncreaseQty INT;
SET @IncreaseQty = 2;
UPDATE Data.Inventory SET ChangeQty = ChangeQty + CASE WHEN ItemID = 1 AND ChangeDate = '20090103' THEN @IncreaseQty ELSE 0 END,
  TotalQty = TotalQty + @IncreaseQty,
  PreviousTotalQty = PreviousTotalQty + CASE WHEN ItemID = 1 AND ChangeDate = '20090103' THEN 0 ELSE @IncreaseQty END
WHERE ItemID = 1 AND ChangeDate >= '20090103';

SELECT ChangeDate,
  ChangeQty,
  TotalQty,
  PreviousChangeDate,
  PreviousTotalQty
FROM Data.Inventory ORDER BY ChangeDate;

ChangeDate              ChangeQty   TotalQty    PreviousChangeDate      PreviousTotalQty
----------------------- ----------- ----------- ----------------------- ----------------
2009-01-01 00:00:00.000 10          10          NULL                    NULL
2009-01-03 00:00:00.000 7           17          2009-01-01 00:00:00.000 10
2009-01-04 00:00:00.000 3           20          2009-01-03 00:00:00.000 17
2009-01-05 00:00:00.000 -4          16          2009-01-04 00:00:00.000 20

在我看来,这种方法的最大局限之一是,要计算特定历史日期的帐户余额仍需要汇总,除非您还假设所有交易都按日期顺序输入(通常是不好的做法)。假设)。
克里斯·特拉弗斯

@ChrisTravers对于所有历史日期,所有运行总计始终是最新的。约束保证了这一点。因此,任何历史日期都不需要汇总。如果我们必须更新一些历史行或插入一些过时的行,则我们将更新以后所有行的运行总计。我认为这在postgreSql中要容易得多,因为它具有延迟的约束。
AK

6

这个问题问得好。

假设您有一个存储每个借方/贷方的交易表,那么您的设计就没有问题。实际上,我曾经使用过以这种方式工作的预付费电信系统。

您需要做的主要事情是确保您在SELECT ... FOR UPDATE保持平衡的同时INSERT在借记/贷记时。如果出现问题,这将保证正确的余额(因为整个事务将被回滚)。

正如其他人指出的那样,您将需要特定时间段的余额快照,以验证给定时间段内的所有交易总和以及期间开始/结束余额是否正确。编写一个批处理作业,该作业在期末(月/周/日)的午夜运行,以执行此操作。


4

余额是根据某些业务规则计算得出的金额,因此,是的,您不想保留余额,而是根据卡上的交易以及帐户进行计算。

您想跟踪卡上用于审计和对帐单报告的所有交易,甚至以后还要记录来自不同系统的数据。

底线-计算何时需要计算的任何值


即使可能有数千笔交易?所以我需要每次重新计算?会不会有点辛苦?您能否补充一下为什么会出现这样的问题?
Mithir

2
@Mithir因为它违反了大多数会计规则,因此使问题无法跟踪。如果仅更新运行总计,您如何知道已应用了哪些调整?发票被记入一次或两次吗?我们已经扣除了付款金额吗?如果您跟踪交易,您知道答案,但如果跟踪总数,您就不知道答案。
JNK 2013年

4
对Codd规则的引用是它打破了常规形式。假设您以某种方式跟踪交易(我认为这是必须的),并且您有单独的运行总计,如果它们不同意,这是正确的吗?您需要一个单一版本的事实。在/除非它确实存在,否则请先解决性能问题。
JNK 2013年

@JNK就是现在的样子-我们会保留交易和总计,因此可以根据需要完美跟踪您提到的所有内容,余额总计只是为了防止我们重新计算每个操作的金额。
Mithir 2013年

2
现在,如果旧数据只能保留例如5年,这不会违反Codd的规则,对吗?那时的余额不仅是现有记录的总和,而且是清除后的先前存在的记录,还是我错过了什么?在我看来,如果我们假设无限的数据保留,那只会违反Codd的规则,这是不可能的。出于我下面要说的原因说,我认为存储一个不断更新的值会带来麻烦。
克里斯·特拉弗斯
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.