Steganalysis/PDF/PDF格式.md

20 KiB
Raw Blame History

PDF格式学习

PDF简介

  • PDF是Portable Document Format 的缩写可翻译为“便携文件格式”由Adobe System Incorporated 公司在1992年发明。

  • PDF文件是一种编程形式的文档格式它所有显示的内容都是通过相应的操作符进行绘制的。

  • PDF基本显示单元包括文字图片矢量图图片

  • PDF扩展单元包括水印电子署名注释表单多媒体3D

  • PDF动作单元书签超链接拥有动作的单元有很多个包括电子署名多媒体等等

PDF的优点

  • 一致性: 在所有可以打开PDF的机器上展示的效果是完全一致不会出现段落错乱、文字乱码这些排版问题。尤其是文档中本身可以嵌入字体避免了客户端没有对应字体而导致文字显示不一致的问题。所以在印刷行业绝大多数用的都是PDF格式。
  • 不易修改: 用过PDF文件的人都会知道对已经保存之后的PDF文件想要进行重新排版基本上就不可能的这就保证了从资料源发往外界的资料不容易被篡改。
  • 安全性: PDF文档可以进行加密包括以下几种加密形式文档打开密码文档权限密码文档证书密码加密的方法包括RC4AES通过加密这种形式可以达到资料防扩散等目的。
  • 不失真: PDF文件中使用了矢量图在文件浏览时无论放大多少倍都不会导致使用矢量图绘制的文字图案的失真。
  • 支持多种压缩方式: 为了减少PDF文件的sizePDF格式支持各种压缩方式 asciihexascii85lzwrunlengthccittjbig2jpeg(DCT)jpeg2000(jpx)
  • 支持多种印刷标准: 支持PDF-APDF-X

PDF格式

根据PDF官方指南理解PDF格式可以从四个方面下手——Objects(对象)、File structure(物理文件结构)、Document structure(逻辑文件结构)、Content streams(内容流)。

对象

物理文件结构

  • 整体上分为文件头Header、对象集合Body、交叉引用表Xref table、文件尾Trailer四个部分结构如图。修改过的PDF结构会有部分变化。
  • 未经修改 未经修改
  • 经修改 在这里插入图片描述

文件头

  • 文件头是PDF文件的第一行,格式如下:
%PDF-1.7
  • 这是个固定格式表示这个PDF文件遵循的PDF规范版本解析PDF的时候尽量支持高版本的规范以保证支持大多数工具生成的PDF文件。1.7版本支持1.0-1.7之间的所有版本。

对象集合

  • 这是一个PDF文件最重要的部分文件中用到的所有对象,包括文本、图象、音乐、视频、字体、超连接、加密信息、文档结构信息等等,都在这里定义。格式如下:
2 0 obj
        ...
end obj
  • 一个对象的定义包含4个部分前面的2是对象序号其用来唯一标记一个对象0是生成号按照PDF规范如果一个PDF文件被修改那这个数字是累加的它和对象序号一起标记是原始对象还是修改后的对象但是实际开发中很少有用这种方式修改PDF的都是重新编排对象号obj和endobj是对象的定义范围可以抽象的理解为这就是一个左括号和右括号省略号部分是PDF规定的任意合法对象。
  • 可以通过R关键字来引用任何一个对象比如要引用上面的对象可以使用2 0 R需要主意的是R关键字不仅可以引用一个已经定义的对象还可以引用一个并不存在的对象,而且效果就和引用了一个空对象一样。
  • 对象主要有下面几种
    • booleam 用关键字true或false表示可以是array对象的一个元素,或dictionary对象的一个条目。也可以用在PostScript计算函数里面做为if或if esle的一个条件。
    • numeric 包括整形和实型,不支持非十进制数字,不支持指数形式的数字。 例: 1)整数 123 4567 +111 -2 范围:正2的31次方-1到负的2的31次方 2)实数 12.3 0.8 +6.3 -4.01 -3. +.03 范围:±3.403 ×10的38次方 ±1.175 × 10的-38次方
      • 注意:如果整数超过表示范围将转化成实数,如果实数超过范围就会出错
    • string 由一系列0-255之间的字节组成一个string总长度不能超过65535.string有以下两种方式
      • 十六进制字串 由<>包含起来的一个16进制串两位表示一个字符,不足两位用0补齐。 例: <Aabb> 表示AA和BB两个字符 <AAB> 表示AA和B0两个字符
      • 直接字串 由()包含起来的一个字串,中间可以使用转义符"/"。 例: (abc) 表示abc
        (a//) 表示a/
        转义符的定义如下:
转义字符 含义
/n 换行
/r 回车
/t 水平制表符
/b 退格
/f 换页Form feed (FF)
/( 左括号
/) 右括号
// 反斜杠
/ddd 八进制形式的字符
  • 对象类别(续)

    • name 由一个前导/和后面一系列字符组成最大长度为127。和string不同的是name是不可分割的并且是唯一不可分割就是说一个name对象就是一个原子比如/name不能说n就是这个name的一个元素唯一就是指两个相同的name一定代表同一个对象。从pdf1.2开始除了ascii的0别的都可以用一个#加两个十六进制的数字表示。 例:
      /name 表示name
      /name#20is 表示name is
      /name#200 表示name 0
    • array 用[]包含的一组对象可以是任何pdf对象(包括array)。虽然pdf只支持一维array但可以通过array的嵌套实现任意维数的array(但是一个array的元素不能超过8191)。 例:[549 3.14 false (Ralph) /SomeName]
    • Dictionary 用"<<"和">>"包含的若干组条目每组条目都由key和value组成其中key必须是name对象并且一个dictionary内的key是唯一的value可以是任何pdf的合法对象(包括dictionary对象)。 例:
      <<  /IntegerItem   12
          /StringItem   (a   string)
          /Subdictionary
          <<  /Item1   0.4
              /Item2   true
              /LastItem   (not!)
              /VeryLastItem   (OK)
          >>
      >>
      
    • stream 由一个字典和紧跟其后面的一组关键字stream和endstream以及这组关键字中间包含一系列字节组成。内容和string很相似但有区别stream可以分几次读取分开使用不同的部分string必须作为一个整体一次全部读取使用string有长度限制但stream却没有这个限制。一般较大的数据都用stream表示。需要注意的是stream必须是间接对象并且stream的字典必须是直接对象。从1.2规范以后stream可以以外部文件形式存在这种情况下解析PDF的时候stream和endstream之间的内容就被忽略掉。 例:
      dictionary
      stream
      …data…
      endstream
      
      stream字典中常用的字段如下
      字段名 类型
      Length 整形 必须关键字stream和endstream之间的数据长度endstream之前可能会有一个多余的EOL标记这个不计算在数据的长度中。
      Filter 名字 或 数组 可选Stream的编码算法名称列表。如果有多个则数组中的编码算法列表顺序就是数据被编码的顺序。
      DecodeParms 字典 或 数组 (可选)一个参数字典或由参数字典组成的一个数组供Filter使用。如果仅有一个Filter并且这个Filter需要参数除非这个Filter的所有参数都已经给了默认值否则的话 DecodeParms必须设置给Filter。如果有多个Filter并且任意一个Filter使用了非默认的参数 DecodeParms 必须是个数组每个元素对应一个Filter的参数列表如果某个Filter无需参数或所有参数都有了默认值就用空对象代替。 如果没有Filter需要参数或者所有Filter的参数都有默认值DecodeParms 就被忽略了。
      F 文件标识 (可选)保存stream数据的文件。如果有这个字段 stream和endstream就被忽略FFilter将会代替Filter, FDecodeParms将代替DecodeParms。Length字段还是表示stream和endstream之间数据的长度但是通常此刻已经没有数据了长度是0.
      FFilter 名字 或 字典 (可选)和filter类似针对外部文件。
      FDecodeParms 字典 或 数组 (可选)和DecodeParams类似针对外部文件。

Stream的编码算法名称列表。如果有多个则数组中的编码算法列表顺序就是数据被编码的顺序。且需要被编码。编码算法主要如下 在这里插入图片描述 编码可视化主要显示为乱码,所以提供了隐藏信息的机会,如下图的steam内容为乱码。 在这里插入图片描述
* NULL 用null表示代表空。如果一个key的值为null则这个key可以被忽略如果引用一个不存在的object则等价于引用一个空对象。

交叉引用表

  • 交叉引用表是PDf文件内部一种特殊的文件组织方式可以很方便的根据对象号随机访问一个对象。其格式如下:
    xref
  	0 1
  	0000000000   65535   f
  	4 1
    0000000009   00000   n
  	8 3
    0000000074   00000   n
  	0000000120   00000   n
  	0000000179   00000   n
  • 其中,xref是开始标志,表示以下为一个交叉引用表的内容;每个交叉引用表又可以分为若干个子段每个子段的第一行是两个数字第一个是对象起始号后面是连续的对象个数接着每行是这个子段的每个对象的具体信息——每行的前10个数字代表这个这个对象相对文件头的偏移地址,后面的5位数字是生成号用于标记PDF的更新信息和对象的生成号作用类似最后一位f或n表示对象是否被使用(n表示使用,f表示被删除或没有用)。上面这个交叉引用表一共有3个子段分别有1个1个3个对象第一个子段的对象不可用其余子段对象可用。

文件尾

  • 通过trailer可以快速的找到交叉引用表的位置进而可以精确定位每一个对象还可以通过它本身的字典还可以获取文件的一些全局信息作者关键字标题等加密信息等等。具体形式如下:
  	trailer
  	<<
    	key1   value1
    	key2   value2
    	key3   value3
        …
  	>>
  	startxref
  	553
  	%%EOF
  • trailer后面紧跟一个字典包含若干键-值对。具体含义如下:
值类型 值说明
Size 整形数字 所有间接对象的个数。一个PDF文件如果被更新过则会有多个对象集合、交叉引用表、trailer最后一个trailer的这个字段记录了之前所有对象的个数。这个值必须是直接对象。
Prev 整形数字 当文件有多个对象集合、交叉引用表和trailer时才会有这个键它表示前一个相对于文件头的偏移位置。这个值必须是直接对象。
Root 字典 Catalog字典文件的逻辑入口点的对象号。必须是间接对象。
Encrypt 字典 文档被保护时,会有这个字段,加密字典的对象号。
Info 字典 存放文档信息的字典,必须是间接对象。
ID 数组 文件的ID
  • 上面代码中的startxref后面的数字表示最后一个交叉引用表相对于文件起始位置的偏移量
  • %%EOF文件结束符

逻辑文件结构

在这里插入图片描述

catalog根节点

  • catalog是整个PDF逻辑结构的根节点这个可以通过trailer的Root字段定位虽然简单但是相当重要因为这里是PDF文件物理结构和逻辑结构的连接点。Catalog字典包含的信息非常多这里仅就最主要的几个字段做个说明。

    • Pages字段 这是个必须字段是PDF里面所有页面的描述集合。Pages字段本身是个字典它里面又包含了一下几个主要字段
    字段 类型
    Type name (必须)只能为Pages 。
    Parent dictionary (如果不是catalog里面指定的跟节点则必须有并且必须是间接对象) 当前节点的直接父节点。
    Kids array (必须)一个间接对象组成的数组节点可能是page或page tree。
    Count integer (必须) page tree里面所包含叶子节点page 对象)的个数。

    从以上字段可以看出Pages最主要的功能就是组织所有的page对象。Page对象描述了一个PDF页面的属性、资源等信息。Page对象是一个字典它主要包含一下几个重要的属性

字段 类型
Type name (必须)必须是Page。
Parent dictionary (必须;并且只能是间接对象)当前page节点的直接父节点page tree 。
LastModified date (如果存在PieceInfo字段就必须有否则可选)记录当前页面被最后一次修改的日期和时间。
Resources dictionary (必须; 可继承)记录了当前page用到的所有资源。如果当前页不用任何资源则这是个空字典。忽略所有字段则表示继承父节点的资源。
MediaBox rectangle (必须; 可继承)定义了要显示或打印页面的物理媒介的区域default user space units
CropBox rectangle (可选; 可继承)定义了一个可视区域,当前页被显示或打印的时候,它的内容会被这个区域裁剪。默认值就是 MediaBox。
BleedBox rectangle (可选) 定义了一个区域,当输出设备是个生产环境( production environment的时候页面显示的内容会被裁剪。默认值是 CropBox.
Contents stream or array (可选) 描述页面内容的流。如果这个字段缺省则页面上什么也不会显示。这个值可以是一个流也可以是由几个流组成的一个数组。如果是数组实际效果相当于所有的流是按顺序连在一起的一个流这就允许PDF生成的时候可以随时插入图片或其他资源。流之间的分割只是词汇上的一个分割并不是逻辑上或者组织形式的切割。
Rotate integer (可选; 可继承) 顺时钟旋转的角度数这个必须是90的整数倍默认是0。
Thumb stream (可选)定义当前页的缩略图。
Annots array (可选) 和当前页面关联的注释。
Metadata stream (可选) 当前页包含的元数据。
一个简单例子:
3 0 obj
       << /Type /Page
           /Parent 4 0 R
           /MediaBox [ 0 0 612 792 ]
           /Resources <</Font<<
                        /F3 7 0 R /F5 9 0 R /F7 11 0 R
                             >>
                        /ProcSet [ /PDF ]
                       >>
           /Contents 12 0 R
           /Thumb 14 0 R
           /Annots [ 23 0 R 24 0 R]
         >> 
endobj
  • Outlines字段 Outline是PDF里面为了方便用户从PDF的一部分跳转到另外一部分而设计的有时候也叫书签Bookmark它是一个树状结构可以直观的把PDF文件结构展现给用户。用户可以通过鼠标点击来打开或者关闭某个outline项来实现交互当打开一个outline时用户可以看到它的所有子节点关闭一个outline的时候这个outline的所有子节点会自动隐藏。并且在点击的时候阅读器会自动跳转到outline对应的页面位置。Outlines包含以下几个字段
字段 类型
Type name (可选)如果这个字段有值则必须是Outlines。
First dictionary (必须;必须是间接对象) 第一个顶层Outline item。
Last dictionary (必须;必须是间接对象)最后一个顶层outline item。
Count integer (必须)outline的所有层次的item的总数。

Outline是一个管理outline item的顶层对象我们看到的其实是outline item这个里面才包含了文字、行为、目标区域等等。一个outline item主要有一下几个字段

字段 类型
Title text string (必须)当前item要显示的标题。
Parent dictionary (必须;必须是间接对象) outline层级中当前item的父对象。如果item本身是顶级item则父对象就是它本身。
Prev dictionary (除了每层的第一个item外其他item必须有这个字段;必须是间接对象)当前层级中此item的前一个item。
Next dictionary (除了每层的最后一个item外其他item必须有这个字段;必须是间接对象)当前层级中此item的后一个item。
First dictionary (如果当前item有任何子节点则这个字段是必须的;必须是间接对象) 当前item的第一个直接子节点。
Last dictionary (如果当前item有任何子节点则这个字段是必须的;必须是间接对象) 当前item的最后一个直接子节点。
Dest name,byte string, or array (可选; 如果A字段存在则这个不能被会略)当前的outline item被激活的时候要显示的区域。
A dictionary (可选; 如果Dest 字段存在,则这个不能被忽略)当前的outline item被激活的时候要执行的动作。
  • URI字段 URIuniform resource identifier),定义了文档级别的统一资源标识符和相关链接信息。目录和文档中的链接就是通过这个字段来处理的.
  • Metadata字段 文档的一些附带信息用xml表示符合adobe的xmp规范。这个可以方便程序不用解析整个文件就能获得文件的大致信息。
  • 其他 Catalog字典中常用的字段一般有以下一些
字段 类型
Type name (必须)必须为Catalog。
Version name (可选)PDF文件所遵循的版本号如果比文件头指定的版本号高的话。如果这个字段缺省或者文件头指定的版本比这里的高那就以文件头为准。一个PDF生成程序可以通过更新这个字段的值来修改PDF文件版本号。
Pages dictionary (必须并且必须为间接对象)当前文档的页面集合入口。
PageLabels number tree (可选) number tree定义了页面和页面label对应关系。
Names dictionary (可选)文档的name字典。
Dests dictionary (可选;必须是间接对象)name和相应目标对应关系字典。
ViewerPreferences dictionary (可选)阅读参数配置字典,定义了文档被打开时候的行为。如果缺省,则使用阅读器自己的配置。
PageLayout name (可选) 指定文档被打开的时候页面的布局方式。SinglePageDisplay 单页OneColumnDisplay 单列TwoColumnLeftDisplay 双列奇数页在左TwoColumnRightDisplay 双列奇数页在右TwoPageLeft 双页奇数页在左TwoPageRight 双页,奇数页在右缺省值: SinglePage.
PageMode name (可选) 当文档被打开时指定文档怎么显示UseNone 目录和缩略图都不显示UseOutlines 显示目录UseThumbs 显示缩略图FullScreen 全屏模式没有菜单任何其他窗口UseOC 显示Optional content group 面板UseAttachments显示附件面板缺省值: UseNone.
Outlines dictionary (可选;必须为间接对象)文档的目录字典
Threads array (可选;必须为间接对象)文章线索字典组成的数组。
OpenAction array or dictionary (可选) 指定一个区域或一个action在文档打开的时候显示区域或者执行action。如果缺省则会用默认缩放率显示第一页的顶部。
AA dictionary (可选)一个附加的动作字典在全局范围内定义了响应各种事件的action。
URI dictionary (可选)一个URI字典包含了文档级别的URI action信息。
AcroForm dictionary (可选)文档的交互式form (AcroForm)字典。
Metadata stream (可选;必须是间接对象)文档包含的元数据流。