Hướng dẫn bulk insert from one table to another in mysql - chèn hàng loạt từ bảng này sang bảng khác trong mysql

Giao dịch bạn không thực sự đó là lý do tại sao tôi đã xóa nó, phần còn lại được kiểm soát bởi giới hạn và bù mà bạn cần thực hiện các bản cập nhật một phần như vậy

CREATE TABLE test_arc (id int,check_time datetime, updated datetime)

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

INSERT INTO test_data VALUES (1,NOW() - INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY),(2,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY)
,(3,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY),(4,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY)
,(5,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY),
(6,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY),(7,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY)
,(8,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY)
,(9,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY),(10,NOW()- INTERVAL 1 DAY,NOW()- INTERVAL 1 DAY)

SELECT * FROM test_data 

id | check_time          | updated            
-: | :------------------ | :------------------
 1 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
 2 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
 3 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
 4 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
 5 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
 6 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
 7 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
 8 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
 9 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12
10 | 2022-02-12 18:27:12 | 2022-02-12 18:27:12

CREATE PROCEDURE `insert_data` ()
BEGIN
DECLARE i BIGINT DEFAULT 0;
DECLARE limitSize INT DEFAULT 5;
DECLARE maxnumber BIGINT;

SET maxnumber = (SELECT COUNT(*) FROM test_data) + 1;

WHILE i <= maxnumber DO
     INSERT INTO test_arc
         SELECT id ,check_time, NOW() FROM test_data 
         WHERE check_time>='2022-02-05'
         ORDER BY updated ASC
         LIMIT i, limitSize
     ON DUPLICATE KEY UPDATE id =VALUES(id), check_time=VALUES(check_time),updated  = Values(updated );   SET i = i + limitSize;
END WHILE;
END

✓

CALL insert_data();

SELECT * FROM test_arc

id | check_time          | updated            
-: | :------------------ | :------------------
 1 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
 2 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
 3 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
 4 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
 5 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
 6 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
 7 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
 8 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
 9 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12
10 | 2022-02-12 18:27:12 | 2022-02-13 18:27:12

DBFiddle ở đây

Các bảng Innodb, không giống như Myisam*, không thể "chỉ được sao chép", như một phần của từ điển dữ liệu của nó (và có khả năng các cấu trúc khác mà bảng tùy thuộc vào, như bộ đệm hợp nhất) được đặt trong bộ nhớ (nếu máy chủ đang chạy) và trong Không gian bảng chung/chính, a.k.a. Tệp lớn có tên là

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

Nếu bạn đang sử dụng Percona Server> = 5.1 hoặc MySQL> = 5.6, có hỗ trợ cho các không gian bảng có thể vận chuyển, cho phép bạn xuất và nhập bảng trực tiếp từ hệ thống tập tin. Đây là phương pháp cho MySQL và Percona. Trong cả hai trường hợp, bạn đã yêu cầu bạn đã tạo bảng với tùy chọn

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

Phương thức này sẽ, nói chung, nhanh như sao chép tệp bằng các lệnh FileSystem (CP, RSYNC). using the filesystem commands (cp, rsync).

Mặc dù có thể có một số trường hợp điều này có thể hoạt động trong MySQL <5.6 (theo cách hacky) để khôi phục, nó sẽ không hoạt động cho một bản sao bảng. Trong những trường hợp đó, một cách để làm điều đó là bằng cách sử dụng SQL:one way to do it is by using SQL:

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

Điều này sẽ nhanh như Innodb có thể thực thi

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

Đề xuất thực tế của tôi, trong trường hợp thứ hai này, sẽ là sử dụng một cái gì đó như pt-archiver, vì nó sẽ thực hiện một hoạt động tương tự như tôi vừa đề cập, nhưng nó sẽ được thực hiện trong "khối", tránh chi phí giao dịch (nó có thể Không nhanh hơn, nhưng trong trường hợp thất bại, nó sẽ không cố gắng cuộn lại toàn bộ bảng, mất mãi mãi). Đối với các kích thước dữ liệu mà bạn đề cập, đây có lẽ là cách tốt nhất để đi.to use something like pt-archiver, as it will perform an operation similar to the one I just mentioned, but it will be done in "chunks", avoiding the transactional overhead (it may not be faster, but in the case of a failure, it won't try to rollback the whole table, taking forever). For the data sizes that you mention, this is probably the best way to go.

Tùy chọn cuối cùng sẽ là xuất và nhập bằng định dạng CSV (hoặc TSV), với sự kết hợp của chọn vào Dữ liệu Outfile/MySQLDump và tải Dữ liệu/MySQLimport. Đây là một lựa chọn rất phổ biến nếu bạn cần đồng thời trong một số phiên bản cũ của MySQL, vì sử dụng SQL đã tạo ra các khóa lớn hơn (không còn đúng nữa nếu được thực hiện chính xác). Vì mysqldump/nhập chỉ hoạt động theo cách tuần tự hóa, tôi khuyên bạn nên nghiên cứu các tùy chọn để song song hóa nó, rất hữu ích cho các bảng lớn., with a combination of SELECT INTO OUTFILE/mysqldump and LOAD DATA/mysqlimport. This was a very common option if you needed concurrency in certain old versions of mysql, as using sql created larger locks (not true anymore if done correctly). As mysqldump/import only works in a serialized way, I would recommend you to research options to parallelize it, very useful for large tables.

Trong mọi trường hợp, hãy cố gắng tránh nhiều câu SQL, vì đó sẽ là nút cổ chai quan trọng nhất của bạn nếu bạn thực hiện nhiều truy vấn khác nhau (phải được thực thi, phân tích cú pháp và tối ưu hóa riêng lẻ).

*Các cấu trúc Myisam không thể được sao chép theo cách nóng, nhưng rất dễ dàng để đồng bộ hóa chúng tạm thời với đĩa với

CREATE TABLE test_data (id int,check_time datetime, updated Datetime)

Làm thế nào tôi có thể chèn tất cả các bản ghi từ bảng này sang bảng khác trong MySQL?

Làm thế nào tôi có thể chèn nhiều hàng từ bảng này sang bảng khác trong MySQL?

MySQL có chèn số lượng lớn không?

Làm thế nào tôi có thể thêm các giá trị số lượng lớn vào bảng trong MySQL?