海量影像数据集入库策略.docx

海量影像数据入库策略（oracle为例）
栅格数据量越来越大，尤其是影像数据量激增。虽然随着影像数 据量的激增，不建议影像数据本身存储到空间数据库（ArcSDE）中, 但仍有用户为了解决多用户并发、数据平安性、便于备份与恢复等问 题，要将海量的影像或栅格数据存储到空间数据库中。
那么，如何更快、更高效的把海量的影像数据入到空间数据库中 呢？需要考虑哪些因素？提前做哪些准备工作？海量影像数据入库 主要做好以下三步工作。
第一步：数据库和ArcSDE准备配置DBMS参数
配置ArcSDE参数估算DBMS存储空间大小
分配DBMS存储空间第二步：数据入库
准备原始数据创立栅格数据存储对象
创立DBMS统计值第三步：数据查看
下面分别对上述内容进行详细介绍。
2
JPEG 75
0. 15
3
JPEG 50
0. 1
4
JPEG 2000 80/100
0. 36
5
JPEG 2000 60/100
0. 15
6
JPEG 2000 55/100
0. 11
7
JPEG 2000 50/100
0. 07
8
JPEG 2000 45/100
0. 06
例如，采用JPEG 50压缩方式，压缩后的数据量大小为：15. 162MB* 0. 1=1. 5162MB7.计算数据库存储空间：增加10%左右用于DBMS空间数据管理。故 推算所需的存储空间为:1.5162MB*1. 1=1. 66782MBO
分配DBMS存储空间为了提高栅格数据库存储和访问的性能，建议栅格块及索引和其他的 栅格表及索引分开存储到不同的表空间中。
创立非栅格块表空间(SDE_AUX_#, SDE_BND_#,SDE_RAS_#)：
createtablespace earthdatafile ，d:\oradata\earth. dbfJ size 500Mextent management local uniform size IM;创立栅格块表空间

创立栅格块表空间
(SDE_BLK_)
createtablespaceearth blocksdatafile ' e:\oradata\earth_blocks. dbf' size 50000Mextent management local
segment space management manualuniform size 100M;配置 DBTUNE 关键字(SDE.DBTUNE)
SDE. DBTUNE存储ArcSDE使用的用于创立表和索引的参数。SDE. DBTUNE参数修改方式：
1）找到 dbtune. sde 文件,位于 ArcSDE 安装目录 SDEHOME/etc/dbtu ne. sde 下。
2）修改 dbtune. sde 参数。
3）利用sdedbtune命令行,导入更新SDE. DBTUNE表。
sdedbtune -o import -f c:\GISfiles\ArcSDE\dbtune3. sde -u sd e-p sde具体配置的DBTUNE关键字如下（例如如下列图）:

1）业务表:
B.STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EARTff]
B_INDEX.ROWID "PCTFREE 0 INITRANS 4 TABLESPACE EARTH "2)栅格表(SDE.RAS. )
RAS-STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EARTff'RAS-INDEX.ID "PCTFREE 0 INITRANS 4 TABLESPACE EARTH'
3)波段表(SDE_BND. )BND_STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EART^
BND_INDEX-COMPOSITE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH "BND_INDEX_ID "PCTFREE 0 INITRANS 4 TABLESPACE EARTH''
4)辅助表(SDE.AUX.)AUX_STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EAR TIT
AUX_INDEX_COMPOSITE "PCTFREE 0 INITRANS 4 TABLESPACE EARTff'5)块存储表(SDE_BLK_ )
BLK.STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH-BLOCKS STORAGE
(INITIAL 500M MINEXTENTS 10) LOB ( BLOCK.DATA) STORE AS
(ENABLE STORAGEIN ROW CHUNK 8K RETENTION CACHE)"
BLK_INDEX_COMPOSITE "PCTFREE 0 INITRANS 4 TABLESPACEEARTH-BLOCKS
例如：Oracle DBTUNE配置例如用EARTH」5M
RAS_STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH”RAS_INDEX_ID “PCTFREE 0 INITRANS 4 TABLESPACE EARTH”
BND_STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH”BND_INDEX_COMPOSITE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH"
BND_INDEX_ID "PCTFREE 0 INITRANS 4 TABLESPACE EARTH”AUX_STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH"
AUX_INDEX_COMPOSITE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH"BLK_STORAGE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH_BLOCKS STORAGE
(INITIAL 500M MINEXTENTS 10) LOB( BLOCK_DATA) STORE AS (ENABLESTORAGE IN ROW CHUNK 8K RETENTION CACHE)"
BLK_INDEX_COMPOSITE "PCTFREE 0 INITRANS 4 TABLESPACE EARTH_BLOCKS〃END
第二步：数据入库准备原始数据
1) CD或DVD数据从CD或DVD中读取数据比从硬盘上读取要慢很多，因此不建议从CD
或DVD上直接读取。
如有存储于CD或DVD上的数据，建议拷贝到硬盘上进行入库。
2)磁带库 tape silo磁带库中的数据入库，需将数据迁移到在线缓存中。
3)原始数据组织为了入库更加方便，影像文件需要分组组织到独立的文件夹中。
创立栅格数据存储对象选择合适的栅格数据存储模型，包括Raster dataset, Raster catalog 和Mosaic Dataset( ArcGISlO ).如何选择合适的栅格数据存储模型， 将在后续的博文中进行详细解释，敬请关注。
右I Feature Dataset...
i一I Feature Class...
圜 Table...
喏 Relationship Class...
铸 Raster Catalog...
畿 Raster Dataset...
瑜 Mosaic Dataset...
® Schematic Dataset
® Toolbox
® Address Locator...
令 Composite Address Locator...
设置栅格属性，主要包括四个重要属性：金字塔pyramid,统计值
raster statistics, 压缩方式 compression,和分块大小 tile sizeo1 Environment Settings

1 Environment Settings
为了提高入库效率，可在入库时，不进行金字塔和统计值创立。入库
完成后，统一构建金字塔和统计值。相应的GP工具如下所示。
CatalogQ X全▼令仓60 |北▼ | Zi |均二
Location: \ Build Pyramids▼ffl Raster Dataset
i±i & Raster Processing
3r^<<<<.<<<<<
-Raster Properties Add Colormap Batch Build Pyramids Batch Calculate Statistics Build PyramidsBuild Pyramids And Statistics Build Raster Attribute Table Calculate Statistics Delete Colormap
Delete Raster Attribute Table Export Raster World File Get Cell Value、Get Raster Properties
® Relationship Classes i王 £? Subtypes 田立 Table i±i £? Topology
fZl 公."一-：cn-rn
Name:Build Pyramids
Type:Toolbox Tool
Build Pyramids!
创立统计值基于RDBMS和栅格创立统计值，提升栅格显示性能和显示效果。
基于ArcCatalog创立DBMS统计值的方法：
1）在栅格对象上右键，单击Analyze。
® Copy
X DeleteRename
C Refresh
7 Create Layer...
Analyze...
Privileges...
Create Referenced Mosaic DatasetLoad
ExportUpdate Footprints...
圄 Item Description...
凹 Properties...
2）弹出 Analyze component 窗口）选中 Raster tableoAnalyze Components

3）单击0K.
基于ArcSDE命令行更新统计值sdetableOracle 格式：
sdetable -o update-dbms.stats -t <table> [-K <keyword>][-n < {ALL | <index.name>}>] [-i <service> I <port#> I <direct connec tion>] [-s <server_name>] -u <DB_user_name> [-p <DB_user_password>] [-N] [-q]
例如：c： \>sdetable -o update-dbms.stats -t earth -u mark -p mark第三步：数据查看
利用 ArcMap, ArcCatalog, ArcGlobe,或者 ArcScene 查看栅格数据。

金字塔和统计值可有效提高栅格/影像数据显示的效率。
Raster Dataset Properties确定

确定
取消
应用(A)
General
Property
Value

▲

Format Source Type Pixel Type Pixel Depth NoData Value Colormap
TIFF continuous unsigned integer 8 Bit
256 absent

11

Pyramids
level: 7r resampling: Nearest Neighbor
Build...

S
□
Compression Extent
Top Left Right Bottom
Spatial Reference
Linear Unit
Angular Unit felse_easting felse-northing • • • ••
JPEG
5479555.305
4488761.95
4489727.05
5478609.805
Deutsches-HauptdreiecksnetzJTransverse.
Meter (1.000000)

4500000
0
•一
Edit...
J
▼

第一步：数据库和ArcSDE准备配置DBMS参数
1）设置checkpoint间隔：通过DBA设置初始化参数 L0G_CHECKP0INT_INTERVAL 和 LOG_CHECKPOINT_TIMEOUT 为 0, 实现在线redo日志组切换时，强制出现checkpoint。
2）增加redo日志文件单个文件大小至少为1GBO3）增加数据块缓冲区大小DB_BUFFER.CACHEO
4）创立数据块大小为8KB的Oracle数据库。8KB是存储blob 数据最正确的块大小设置，已经成为ArcGIS二进制数据存储的 默认存储类型。16KB或者32KB可能会导致blob存储空间的 浪费。
配置ArcSDE参数
在ArcSDE客户端和服务器之间，ArcSDE使用“传输缓冲区”进 行数据传输。在向空间数据库中写入数据时，当ArcSDE客户端数据 缓冲区到达阈值,数据将被提交到ArcSDE服务器。当ArcSDE服务器 处理数据时，客户端再将更多数据写入到缓冲区，到达阈值时，提交 到ArcSDE服务器。依次循环往复。
对于栅格数据，“传输缓冲区”的大小是被ArcSDE服务器参数 RASTERBUFSIZE控制的。默认情况下，该参数大小为200KB。对于大 多数栅格数据入库而言是足够的。在默认参数设置情况下，ArcSDE
Raster Dataset PropertiesGeneral
Property
Value
Edit... |
▲

Linear Unit
Meter (1.000000)

Angular Unit

folse_easting
4500000

felse_northing
0

central_meridian
12

scale_factor
1

latitude_of_origin
0

Datum
D_Deutsches_Hauptdreiecksnetz

H
Statistics

Options ▼

臼
Band」

—

Build Parameters
skipped columns: lz rows: 1, ignored value(s):

9 Min
0

Max
255

Mean
143.87233400736

Std dev.
55,305064130211

Classes
0

S
Band_2

S
Band_3

▼
确定—।取消 应用㈤
J 二关于海量影像入库方法，请关注后续博文。
会为客户端和服务器端分配RASTERBUFSIZE两倍大小的内存，即如果 默认参数设置为200KB,那么ArcSDE客户端将会被分配400KB大小 的内存，服务器端同样会分配400KB大小的内存。
除该参数外，ArcSDE在服务器端还提供了三个缓存区参数，用 于从DBMS中读写数据。通过这三个参数，可将服务器端的内存分配 增加到1000KBo
如果使用直连direct connection方式（如下列图所示），ArcSDE 客户端和服务器端的操作都在客户机上执行，因此通过直连方式分配 的内存是RASTERBUFSIZE参数指定大小的7倍。直连方式下，如果 RASTERBUFSIZE参数指定的大小无法满足未压缩栅格块的大小，仅需 修改RASTERBUFSIZE参数默认值的大小，与其他三个缓冲区参数无关。
Spatial Database Connection. @esri~don
Service：sde： oraclel 1 gD at ab as e ：
(If supported by your DBMS)Account
3 D at ab as e authent i c at i onUsername：sde
Password:•・••••・•••格式：sde @oradbJ Save username and password
© Operating syst em authenti c at i onConnection details
The following transactional version will be used：
|sde. DEFAULTChange...
V)Save the transactional version name with the connection file.
Test ConnectionOKCancel
未压缩块大小计算方式：块高X块高X像素深度因子(pixel depth )o1)例如：128*128块，像素深度为32位，那么未压缩块大 小=128*128*4 (像素深度因子)=65536byte<200KBo
2)再如：256*256分块，像素深度为32位，那么未压缩块大小=256*256小=262144byte>200KB0
像素深度与像素深度因子对照表:
序号
像素深度
像素深度因子
1
lbi t
0. 125
2
4bit
0. 25
3
8bit
1
4
16bit
2
5
32bit
4
6
64bit
8
RASTERBUFSIZE参数大小设置：如果未压缩块大小大于默认RASTERBUFSIZE参数，那么必须要对RASTERBUFSIZE参数值进行修改, 否那么将会导致错误-SE_RASTER_BUFFER_TOO_SMALL (-294 )o
RASTERBUFSIZE参数修改方法：使用sdeconfig管理工具进行修改，修改后的结果写入SDE. SERVER.CONFIG表，具体命令参数如下
Sdeconfig-o alter -v RASTERBUFSIZE=10240000 -u sde-p sdeo国B 管理员：C:\Windows\system32\cmd.exe、0 j 回[・^3^
hicrosoft Windows [心本钱 6・1・7600]牌权所有<c>2009 Microsoft Corporation o保存所有权利。
C： MJsers\DONGP>Sdeconfig -。alter -u RASTERBUFSIZE=10240000 -u sde - p sde或 PL/SQL Developer - system@ORCL32 - (SQL Window - Edit data of table $de.SERVER_CONFIG<8>ORCL32]
Ale Project Edit Session Qebug Tools Macro Documents Reports Window Help立自▼ 0 昌昌X曲迪 M七起▼ 囱求东旧归华
▼登，| 曲
SQL Output I Suti$bc$城"芟依 畲 至&制幽，

城"芟依 畲 至&制幽，
select 匕・・,t.rowid from sde.SERVER CONFIG t■m U 1Rnum prop value. number(38), optional

PROP-NAME

ROWID
L1
CONNECTIONS
—; …
48
AAARWEAAGAAAAyuAAA
►1
RASTERBUFSIZE

|204800
AAARWEAAGAAAAyuAAB
3
MINBUFSIZE

16384
AAARWEAAGAAAAyuAAC
zn
MAXBUFSIZE

65536
AAARWEAAGAAAAyuAAD
Lil
MINBUFOBJECTS

512
AAARWEAAGAAAAyuAAE
LU
MAXTIMEDIFF

-1
AAARWEAAGAAAAyuAAF
lz
TEMP
,• C:\Users\DONGP\AppData\Local\Temp t1,
0
AAARWEAAGAAAAyuAAG
8
MAXBLOBSIZE

-1
AAARWEAAGAAAAyuAAH
Is
BLOBMEM

1000000
AAARWEAAGAAAAyuAAl
10
AUTOCOMMIT
—! …
1000
AAARWEAAGAAAAyuAAJ
11
MAXINITIALFEATS

10000
AAARWEAAGAAAAyuAAK
12
MAXDISTINCT
… …
512
AAARWEAAGAAAAyuAAL
*

Objects FL:
提醒：如块的大小未超出默认RASTERBUFSIZE参数大小，请尽量 不要修改RASTERBUFSIZE参数值。因为RASTERBUFSIZE参数值过大将
会影响整个系统的栅格数据流。
估算DBMS存储空间大小
为了在海量栅格入库之前，科学的分配和组织存储空间，优化 ArcSDE DBTUNE参数（参见分配DBMS存储空间）,需提前对栅格入库 后的数据量进行评估。栅格数据主要存储在以下四个表： SDE_Aux_#/SDE_BLK-#/SDE_BND_#/SDE_RAS-#o 其中 SDE_BLK_#主要 用于存储栅格数据，其数据量大小是其他表的近150倍。因此其他表 忽略不计。
估算DBMS存储空间大小主要有两种方法。
1）方法一：加载小局部例如数据入库，基于例如数据推算整个 数据入库后所占存储空间的大小。
2）方法二：基于公式计算所需空间的大小。
两种方法比拟，方法一比方法二更加精确。但当数据尚未准备好, 需要提前预估存储空间时，方法二更为适用。
为了更准确的预估DBMS存储空间的大小，还需要考虑一下属性 对存储空间的影响：压缩方式/金字塔/波段数目/像素位深。
基于例如数据推算所需存储空间基于例如数据推算所需存储空间步骤如下：
1.查询 sde. raster-columns 表, 获取 rastercolumn_id 的值。
SQL语句如下：
select rastercolumn-id from sde.raster-columns where table_name=, (Raster dataset/catalog 名称)';
例如：select rastercolumn-id from sde. raster-columns where table_name= TESTRC ;
国 PL/SQL Devebper - system(g>ORCL32 - [SQL Window - select rastercolumn.id from sde.raster.columns where Wble一name='TESTRC';]
■ file Project fdit Session Debug Tools Macro Documents Reports 亚ndow Help- dT x
在¥ ▼ IH 唐昌X舱也的，由隼律旧£l4 堂覆圈
a x
SQL OutpiJ 一引
• Window E
Objects | Files |
。。o X ♦ £
[test▼
Al objects
select rastercolumn id from sde.raster columns where table name*,TESTRC
Ent& starch text...
» LJ Drectones 一 口 Tables
固 TEST BLOCKS 圈 TEST PARK-BOUNDARY
▻ £ TEST S6JDXS ▻ £ TEST S7JDXS
I
TEST.SDE_BLK_1 TEST.SDE_BND_1 TEST SDE_RAS_1 > £ TEST TESTRC > LJ Wexes > 口 Constrarts > □ Views 口 Matenabzed views 口 Sequences
2.获取 SDE_BLK_ (ratercolumn_id)表的大小。SQL 语句如下:
select sum (length (rasterband-id))+sum (length (rrd-facto r)) +sum (length (row.nbr)) +sum (length (col.nbr)) +sum (length (bl ock.data)) ntotal size" from sde.blk. (rastercolumn.id);
例如：select sum (length (rasterband-id)) +sum (length (rrd.fact or)) +sum (length (row.nbr)) +sum (length (col.nbr)) +sum (length (b lock-data)) ntotal size" from sde.blk.l;
返回结果为：683689656byte=652M,如下列图所示。

3 .推算总数据量所需存储空间。
假设总数据量为3TB,例如数据量为120MBo那么3TB所需的存储空
间大小推算： 原始数据大小为:3TB*1024*1024=3145728MB所需的 DBMS 存储空间为:3145728MB/120MB=26214. 4
26214. 4*652MB=16. 3TBO基于公式计算所需存储空间
基于公式计算所需存储空间准确度比上述方法要低，如果数据条件允 许，建议采用方法一进行栅格数据量计算。
1 .获取数据范围，利用影像的分辨率，计算覆盖该区域的像素总数。
2 .计算影像的像素范围：(Extent of raster in pixel units) / (p ixel resolution) = Number of pixels例如：450平方公里，15m分辨率影像，像素范围约为：
(km2 to m2 conversion factor) / (the pixel resolution in m2) = pixels (450 km2 * 1, 000, 000) / (15 x 15) = 2, 000, 000 pixels.考虑影像的波段数目，计算像素总数。
例如：15m分辨率影像的波段数目为3,那么总像素数等于：2,000,000 pixels*3Bands=6, 000, 000 pixels
3 .基于像素深度因子计算像素所占的字节数。
像素深度与像素深度因子对照表：
序号
像素深度
像素深度因子
1
lbit
0. 125
2
4bit
0. 25
3
8bit
1
4
16bit
2
5
32bit
4
6
64bit
8
例如：16bit 数据所占的字节为：6, 000, 000 pixels*2=12, 000, 000
Bytes / 10242 = 11. 4 MB.考虑影像金字塔。金字塔的数据量约为原始影像数据量的1/3。
例如：考虑影像金字塔构建，总数据量为：11. 4*1.33=15. 162MB.考虑影像/栅格压缩。压缩类型与压缩因子对照表。
序号
压缩类型
压缩因子
1
LZ77
0. 5