300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 批量插入数据表数据时 主键冲突的解决

批量插入数据表数据时 主键冲突的解决

时间:2024-07-22 03:32:10

相关推荐

批量插入数据表数据时 主键冲突的解决

2、使用普通的insert into on conflict合并写入,存在写入放大思路:

大量数据,批量插入到数据表中时,很容易造成主键冲突,重复数据有唯一约束插入不进去表中,报错的问题出现。

排查错误,去找某条数据,在大量的数据,大量的批处理或者单条执行的sql语句中找数据也是不现实的。

所以思路就是在插入的过程中,不仅单单插入,同时判断是否主键或唯一冲突。若冲突,则将插入操作改成对重复数据的更新操作。

PostgreSQL , 合并写 , insert on conflict , 不必要更新

例子:

1,如下面的一张表,往下面的一张表中插入数据

create table tbl( c1 int, c2 int, c3 int, c4 int, c5 timestamp, unique (c1,c2) );

2、使用普通的insert into on conflict合并写入,存在写入放大

insert into tbl select id,id,1,random(),now() from generate_series(1,1000000) t(id) on conflict(c1,c2) do update set c3=excluded.c3,c4=excluded.c4,c5=excluded.c5;

每一次操作都会更新所有记录

3、优化方法,加入更新条件,避免未变化的记录被更新

例如当c3,c4没有变化时,不更新。

where tbl.c3 is distinct from excluded.c3 or tbl.c4 is distinct from excluded.c4;

完整SQL如下:

insert into tbl select id,id,1,random(),now() from generate_series(1,1000000) t(id) on conflict(c1,c2) do update set c3=excluded.c3,c4=excluded.c4,c5=excluded.c5 where tbl.c3 is distinct from excluded.c3 or tbl.c4 is distinct from excluded.c4;

此时每次更新的就是那些真正发生了变化的记录

[ WITH [ RECURSIVE ] with_query [, ...] ] INSERT INTO table_name [ AS alias ] [ ( column_name [, ...] ) ] [ OVERRIDING { SYSTEM | USER} VALUE ] { DEFAULT VALUES | VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query } [ ON CONFLICT [ conflict_target ] conflict_action ] [ RETURNING * | output_expression [ [ AS ] output_name ] [, ...] ] where conflict_target can be one of: ( { index_column_name | ( index_expression ) } [ COLLATE collation ] [ opclass ] [, ...] ) [ WHERE index_predicate ] ON CONSTRAINT constraint_name and conflict_action is one of: DO NOTHING DO UPDATE SET { column_name = { expression | DEFAULT } | ( column_name [, ...] ) = [ ROW ] ( { expression | DEFAULT } [, ...] ) | ( column_name [, ...] ) = ( sub-SELECT ) } [, ...] [ WHERE condition ]

is distinct from是一种不等于的用法,其中包括NULL值的处理(认为null is not distinct from null is TRUE)。两个NULL值返回FALSE,一个NULL值返回TRUE。

null is distinct from null 返回false

null is distinct from nonnull 返回true

nonnull is distinct from nonnull 根据实际的VALUE来判断是否相等,相等返回false,不相等返回true。

当要判断NULL时,这个比=操作符好用,使用=等操作符时,通常底层函数是strict的,所以当操作数包含NULL值时,操作符的结果也返回NULL而不是我们想要的true或false。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。