关于数据库：drupal 中每天更新 10,000 个 cck 字段


Updating 10,000 cck fields daily in drupal

我们的一个站点有大约 10,000 个节点。在每个节点中，都有一个简单的 cck 文本/整数字段。这个整数每天都在变化，所以它们需要每天更新。整数范围为 1 到 20000000。cck 字段跨越所有内容类型，因此在数据库中有自己的表。我们不使用修订。我选择让它读取一个 csv 文件，因为这个表非常简单，有 3 个字段。所有整数。我不需要进行 php 数组类型导入的所有灵活性。

我创建了一个 cron 作业来每天执行一个 php 脚本，其中包含类似于：

1
2
3
4
5
6
LOAD DATA LOCAL  INFILE 'file.csv'
REPLACE INTO TABLE content_field_mycckfield
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\
'
(vid, nid, field_mycckfield_value);

在脚本结束时，它会统计导入了多少条记录，报告成功和错误。
该文件低于公开，所有爵士乐。

我还缺少其他步骤吗？有什么我应该注意或小心的吗？

我应该让它在每次运行后优化或整理这张表吗？还是每 (x) 次运行？

我是否应该先将其导入 temp_ 表以规范化数据，然后将其复制/移动到 TABLE content_field_mycckfield 中？

10,000 条记录很大，但在 MySQL 方面并不庞大，而且该表足够简单，我认为您不需要任何优化。如果表中的数据是可靠的，并且您的 .csv 格式始终正确，则不会有太多问题。

另一个问题是您的导入过程是否引发错误。如果 .csv 甚至有可能包含不正确的列引用、丢失的逗号等，那么您在临时表中测试所有内容的想法肯定是一个好主意。

我唯一能想到的其他事情是(按照神经质的顺序)

  • 在夜间或您的站点未使用时执行此操作
  • 让 PHP 脚本捕获错误并将每次运行的结果通过电子邮件发送给您
  • 让脚本备份表，运行 .csv，检查错误，如果有错误，则通过电子邮件发送给您并同时恢复备份

希望对您有所帮助！

相关讨论