Linux Spool文件格式转换方法

Linux 环境下 Spool 文件格式转换实用指南

一、先识别你的 Spool 类型

• SQL*Plus 查询结果 spool：由 Oracle 的 SQL*Plus SPOOL 命令生成，常见扩展名有 .lst、.txt、.csv，内容多为分隔文本或 HTML。
• 邮件队列 spool：位于 /var/spool/mail/，每个用户一个文件，保存 mbox 格式邮件。
• 打印队列 spool：位于 /var/spool/cups/，任务文件多为 .ps/.pdf（CUPS）。
• 计划任务 spool：位于 /var/spool/cron/，每个用户一个文件，内容是 crontab 条目。
  以上路径与用途可帮助你选择正确的解析与转换方式。

二、SQL*Plus SPOOL 查询结果转换

• 直接导出为 CSV（推荐）
  • 关键设置：关闭页眉/回显、设定分隔符、足够大的行宽、去空白、开启 SPOOL。
  • 示例脚本（export_csv.sql）：

    set echo off
    set feedback off
    set heading off
    set pagesize 0
    set linesize 32767
    set trimspool on
    set trimout on
    set colsep ','
    spool /tmp/data.csv
    select col1||','||col2||','||col3 from your_table;
    spool off
    

  • 执行：sqlplus -s user/pass@db @export_csv.sql
  • 如需 Excel 友好显示，可在 SQL 中对字段加引号：'"'||col||'"'。
• 导出为 HTML 便于在浏览器/Excel 中查看
  • 示例：

    set markup html on entmap off
    spool /tmp/data.html
    select * from your_table;
    spool off
    

  • 生成的 .html 可用浏览器打开，或用 Excel 直接打开以获得规整表格。
• 字符集转换（GB2312 → UTF-8）
  • 若数据库/客户端为 GB2312，生成文件后可转码：

    iconv -f GB2312 -t UTF-8 /tmp/data.csv > /tmp/data_utf8.csv
    

  • 建议在 SQL*Plus 环境也设置客户端字符集（如 NLS_LANG=AMERICAN_AMERICA.AL32UTF8）以避免源头乱码。
• 常见问题与参数要点
  • 行被拆成多行或多余空行：增大 linesize，并开启 trimspool/trimout；必要时设 pagesize 0。
  • 包含 CLOB/长文本换行：设置 set long 9000、set wrap on，并使用 dbms_metadata.get_ddl 等获取对象定义时配合 PRETTY 与 SQLTERMINATOR 参数，减少不必要换行。

三、邮件与打印队列 Spool 的转换

• 邮件队列（/var/spool/mail/）
  • 查看：cat /var/spool/mail/username 或 less /var/spool/mail/username
  • 转换：将 mbox 转为 Maildir 或 eml，可用 formail（来自 procmail 包）或 mb2md：

    # mbox -> Maildir
    mb2md -s /var/spool/mail/username -d /home/username/Maildir
    
    # 单封导出为 eml（示例，按实际分隔符处理）
    formail -s formail -c -X '' < /var/spool/mail/username > msg.eml
    

• 打印队列（/var/spool/cups/）
  • 查看任务文件：ls -l /var/spool/cups/pdf/，任务常以 .pdf 或 .ps 存在。
  • 转换：使用 ps2pdf 或 pdf2ps 在 PostScript 与 PDF 间互转：

    ps2pdf /var/spool/cups/pdf/123.pdf 123_converted.pdf
    pdf2ps 123.pdf 123.ps
    

  • 注意权限与隐私，必要时使用 sudo 访问系统 spool 目录。

四、计划任务 Spool 的转换与迁移

• 查看与备份
  • 文件位置：/var/spool/cron/username，每行一条 crontab 任务。
  • 备份：sudo cp /var/spool/cron/username /backup/username.cron
• 转换为可编辑/可版本管理的清单
  • 直接以文本形式保存或做差异对比；如需导入到某台机器，使用 crontab username 命令：

    # 将备份内容写回
    crontab /backup/username.cron
    

• 注意
  • 任务中命令应使用绝对路径；cron 环境与登录环境不同，必要时在脚本内显式设置 PATH 与所需环境变量。

五、通用清洗与转换工具链

• 分隔符与编码
  • 分隔符替换：sed 's/|/,/g' data.txt > data.csv
  • 去引号/加引号：sed 's/"//g' file.csv 或 awk -F',' -v OFS=',' '{$1="\""$1"\""; $2="\""$2"\""; print}' file.csv
  • 编码转换：iconv -f GBK -t UTF-8 file.txt -o file_utf8.txt
• 行尾与空白
  • 统一行尾：dos2unix file.txt 或 sed 's/\r$//' file.txt
  • 去除行首尾空白：sed 's/^[[:space:]]*//;s/[[:space:]]*$//' file.txt
• 大文件处理
  • 按批处理：split -l 1000000 big.csv chunk_
  • 压缩传输：gzip data.csv；解压：gunzip data.csv.gz
• 校验与预览
  • 行列计数：wc -l data.csv、head -n 5 data.csv、csvlook data.csv（csvkit）