barikulislam014 发表于 2023-11-13 12:50:09

复制和导入是一种手动复制方法

这意味着它不是连续的。但是,COPY 对于一次性或不频繁复制到 Redshift 非常有用。 COPY 方法相对于其他复制工具(如pg_dump)的好处是 COPY 仅导入对数据库的更改,而 pg_dump 每次都会导入整个数据库。 使用 COPY 和 Import 将 Postgres 复制到 Redshift 有四个步骤: 1.将数据从Postgres复制到本地驱动器 第一步是将数据从 Postgres 导出到本地驱动器。为此,请在psql终端中使用COPY命令。将要复制的数据复制到 CSV 文件并将其导出到本地驱动器。 Psql 有两个不同的 COPY 命令:/copy 和 COPY。 /copy 是一个元命令,允许您复制到客户端服务器。另一方面,COPY用于在服务器端复制文件。

您需要使用 COPY 将 CSV 导出到本地驱动器。 该命令如下所示: COPY public.customers TO '/home/john/customers.csv' FORMAT CSV HEADER true; 复制数据时,请务必在命令末尾指定 CSV。 这是有关 沙特阿拉伯电报号码数据 使用 COPY 将 Postgres 数据导出为 CSV 文件的简短介绍视频。 2. 将数据拆分为多个文件 接下来,在 *nix 类系统上使用split 程序将单个 CSV 文件拆分为多个文件。此步骤是准备数据以上传到 S3,然后上传到 Redshift。Amazon强烈建议将数据拆分为多个文件,以利用 AWS 的并行处理能力。确保将 CSV 文件拆分为与 Redshift 集群的切片数量相同的文件。 例如,每个ra3.4xlarge计算节点有4个分片,每个ra3.16xlarge计算节点有16个分片。

http://zh-cn.bulklead.me/wp-content/uploads/2023/11/沙特阿拉伯电报号码数据.png

如果您的集群包含两个 ra3.4xlarge 计算笔记,您需要将 CSV 文件拆分为八个单独的文件。 另外,请确保每个文件的大小大致相同 - 压缩后在 1 MB 到 1 GB 之间。 3.上传文件到S3 接下来,将 CSV 文件加载到 S3 中。 以下是AWS的说明副本: 在 Amazon S3 中创建存储桶。 登录 AWS 管理控制台并通过以下网址打开 Amazon S3 控制台。 单击创建存储桶。 在“创建存储桶”对话框的“存储桶名称”框中,输入存储桶名称。您选择的存储桶名称在 Amazon S3 中的所有现有存储桶名称中必须是唯一的。帮助确保唯一性的一种方法是在存储桶名称前添加组织名称作为前缀。存储桶名称必须符合一定的规则。

页: [1]
查看完整版本: 复制和导入是一种手动复制方法