A. 数仓备份经验分享丨详解roach备份原理及问题处理套路
在数据仓库的世界中,备份是至关重要的守护者。本文将深入探讨GaussDB(DWS)的备份机制,特别是Roach备份的原理,以及常见问题的诊断与解决方案。让我们一起踏上这场数据安全的探索之旅。
备份原理剖析
Roach备份策略涉及物理全量、增量备份,其中关键环节包括行存、barrier点、Xlog和列存备份。全量备份记录所有数据,增量备份则基于全量,分为累计和差分,依赖于cbm文件追踪数据变更。备份过程中,FPW和延迟DDL的启用能确保DDL操作的顺畅处理,但可能会增加系统IO压力,占用磁盘空间,甚至可能导致临时集群只读。
问题定位与解决方案
问题:/连接失败,如"Failed to connect to gauss"。
原因:/可能是遗留文件导致,解决方法是彻底清理相关文件。
问题:/随机备份失败,因并发大导致NBU负载过大。
规避:/适当调整filesplit-size和parallel-process参数以缓解压力。
问题:/master/agent连接问题,如端口未开放。
规避:/确认并开放必要的网络端口或调整命令端口设置。
问题:/细粒度备份错误,不支持DDL操作。
排查:/深入检查agent日志以了解详细情况。
准备工作与注意事项
在备份前,务必生成MAP文件,但需避开DDL操作,以防止备份失败。为确保平稳进行,可以调整备份表的数量,错开备份时间与DDL操作。遇到内存不足的问题,检查是否由于CPU核心过多,适时调整参数。在大型集群中,gs_roach的频繁读取可能引发不稳定,升级至821及以上版本可缓解这种情况。
以上内容只是备份策略的一部分,详细的故障排除和优化技巧可在官方文档中找到,持续关注华为云,获取最前沿的技术动态,让数据备份和管理更加得心应手。
B. cbm666老师 能进来一下吗
ASSOC 显示或修改文件扩展名关联。
AT 计划在计算机上运行的命令和程序。
ATTRIB 显示或更改文件属性。
BREAK 设置或清除扩展式 CTRL+C 检查。
CACLS 显示或修改文件的访问控制列表(ACLs)。
CALL 从另一个批处理程序调用这一个。
CD 显示当前目录的名称或将其更改。
CHCP 显示或设置活动代码页数。
CHDIR 显示当前目录的名称或将其更改。
CHKDSK 检查磁盘并显示状态报告。
CHKNTFS 显示或修改启动时间磁盘检查。
CLS 清除屏幕。
CMD 打开另一个 Windows 命令解释程序窗口。
COLOR 设置默认控制台前景和背景颜色。
COMP 比较两个或两套文件的内容。
COMPACT 显示或更改 NTFS 分区上文件的压缩。
CONVERT 将 FAT 卷转换成 NTFS。您不能转换
当前驱动器。
COPY 将至少一个文件复制到另一个位置。
DATE 显示或设置日期。
DEL 删除至少一个文件。
DIR 显示一个目录中的文件和子目录。
DISKCOMP 比较两个软盘的内容。
DISKCOPY 将一个软盘的内容复制到另一个软盘。
DOSKEY 编辑命令行、调用 Windows 命令并创建宏。
ECHO 显示消息,或将命令回显打开或关上。
ENDLOCAL 结束批文件中环境更改的本地化。
ERASE 删除至少一个文件。
EXIT 退出 CMD.EXE 程序(命令解释程序)。
FC 比较两个或两套文件,并显示
不同处。
FIND 在文件中搜索文字字符串。
FINDSTR 在文件中搜索字符串。
FOR 为一套文件中的每个文件运行一个指定的命令。
FORMAT 格式化磁盘,以便跟 Windows 使用。
FTYPE 显示或修改用于文件扩展名关联的文件类型。
GOTO 将 Windows 命令解释程序指向批处理程序
中某个标明的行。
GRAFTABL 启用 Windows 来以图像模式显示
扩展字符集。
HELP 提供 Windows 命令的帮助信息。
IF 执行批处理程序中的条件性处理。
LABEL 创建、更改或删除磁盘的卷标。
MD 创建目录。
MKDIR 创建目录。
MODE 配置系统设备。
MORE 一次显示一个结果屏幕。
MOVE 将文件从一个目录移到另一个目录。
PATH 显示或设置可执行文件的搜索路径。
PAUSE 暂停批文件的处理并显示消息。
POPD 还原 PUSHD 保存的当前目录的上一个值。
PRINT 打印文本文件。
PROMPT 更改 Windows 命令提示符。
PUSHD 保存当前目录,然后对其进行更改。
RD 删除目录。
RECOVER 从有问题的磁盘恢复可读信息。
REM 记录批文件或 CONFIG.SYS 中的注释。
REN 重命名文件。
RENAME 重命名文件。
REPLACE 替换文件。
RMDIR 删除目录。
SET 显示、设置或删除 Windows 环境变量。
SETLOCAL 开始批文件中环境更改的本地化。
SHIFT 更换批文件中可替换参数的位置。
SORT 对输入进行分类。
START 启动另一个窗口来运行指定的程序或命令。
SUBST 将路径跟一个驱动器号关联。
TIME 显示或设置系统时间。
TITLE 设置 CMD.EXE 会话的窗口标题。
TREE 以图形模式显示驱动器或路径的目录结构。
TYPE 显示文本文件的内容。
VER 显示 Windows 版本。
VERIFY 告诉 Windows 是否验证文件是否已正确
写入磁盘。
VOL 显示磁盘卷标和序列号。
XCOPY 复制文件和目录树。