A8-SG186数据清理与迁移方案
已浏览:次
下载地址:http://www.hxcoltd.com/plus/view.php?aid=432
1、前言
SG186工程自2008年3月开始在四川启动,分三阶段逐步完成实施工作。第一阶段完成全省直属局营销主体业务上线,第二阶段完成全省农电营销业务上线,第三阶段进行全省60多家控股公司营销业务上线,到目前为止接近尾声。在实施过程中,各单位都存在老系统与SG186的数据迁移问题,四川鸿讯数据有限责任公司在这个过程中,针对自身系统及个别其他系统进行了数据迁移。
蓬溪电力公司在业务上分农电和营销,在前期已经完成一次数据迁移,将营销部分的数据迁移到了SG186,并实现并行运行。为配合全面实施SG186工程,目前需要进行再次数据迁移。
1.1现状
- “营销部分”状况:
- “农电部分”状况
在原来的两个板块的A8数据中,存在同一变压器两边都存在的情况,在合并后,数据进行了合并。
-
本次数据迁移的难点
- 原来已经迁移的营销部分数据在并行中存在数据不一致的情况。
- 原来的农电部分没有进入SG186,只迁移农电部分数据将在代码重复上难以处理。
- 营销和农电数据合并,在电网资产数据重复的数据进行了合并,本次如果仅仅迁移农电部分数据将难以进行资产对照。
1.2目的及工作要点
- 农电营销业务数据梳理:
- A8 3.0中完善:这类数据是由于A8 3.0业务数据的不完善造成的,系统提供了相应的功能和数据位,但实际业务中没有对该类数据进行填写,需要再A8 3.0中补充;也有部分数据是A8 3.0控制不严,虽然不影响A8运行,但造成无法转换到SG186中,这部分数据需要修改。该类数据鸿讯公司通过大量分析、大数据量搜索,已经形成明细清单提交给各供电局。
- A8 3.0批量处理:这类数据时无法转换的A8数据,鸿讯公司通过建立临时表、临时字段,批量修改或添加完成。依据是原始数据和通用的业务规则。
- 数据转换批量处理:在进行数据转换过程中,由东软公司和鸿讯公司合作完成的数据转换系统将对部分A8缺失而SG186中必须的数据进行填充,填充的依据同样是标准的业务规则。
- SG186中完善:SG186在业务规范度、数据完善程度上比A8系统更高,数据转换到SG186后,仍然有大量的数据需要再SG186系统中逐步完善。该部分内容由东软公司提供。
- A83.转SG186数据准备:
- A8与 SG186数据核对:
- A8系统与SG186差异化咨询:
- SG186上线过程配合:
2技术方案
2.1A8 3.0迁移分析
2.1.1A8 3.0营销重要数据字典
<略>参加《A8 3.0营销重要数据字典》2.1.2数据迁移问题分析
序号 | 问题分类 | 问题名称 | 详细描述 |
1 | 档案 | 计量点 |
1.如果isnull(virtual_rate,0) >0 and isnull(parentid,0)>0 ,则为虚表。其他情况电费抄表卡的垃圾数据需清理,如电费类型=需量表的。 2.需表和需量表无法区分。很多vire_rate不为0,但是无父表。需要清理。 3.老系统选择需量表,但是又在计费(选择居民电价),暂时未处理 |
2 | 档案 | 计量点 | 无计量点接线方式,计量装置类型(一类,二类。。无类)。需要默认,并且需要和客户沟通 |
3 | 档案 | 计量点 |
1.变损分摊,变损计费标志如何取得(计量方式,4计算不摊)。线损,农电比较少,先默认。 2.变压器上 1公式计算 算损耗,要分摊,如果用户上的变损算法不是按台区,则不计算。 3.用户档案中的变损算法(0不算1按台区2按用户),如果按台区,分摊变损的时候,分摊台区下用户。变损计算,线损待确认。 |
4 | 档案 | 计量点 | 无计量点容量,需确认计量点容量如何迁移? |
5 | 档案 | 计量点 |
1.无抄表方式,默认手工抄表。 2.计量点所属侧,默认,电网侧。 |
6 | 档案 | 计量点 | 用户没有选变压器的数据需清理 |
7 | 档案 | 用户档案无行业分类 |
客户上无行业代码,只在抄表卡上有,需要和客户确认,客户上的行业如何取。或者A8找一个字段清理。 目前迁移程序全部默认为乡村居民,再更新抄表卡上有其他行业的用户。 |
8 | 档案 | 档案无用户分类 | 无用户分类,高压,低压居民,低压非居民,迁移程序需要根据电压更新高压,根据用电分类更新居民,剩下的为低压非居民。需要客户确认更新规则 |
9 | 档案 | 档案用电分类不准确 | 客户上的用电分类根据抄表卡比对,提取用电分类不合理用户,进行清理。 |
10 | 档案 | 变电站 | 变电站等级无,迁移需要默认为35KV |
11 | 档案 | 线路 |
1.电压等级按照老系统bm_xlda电压等级名称dydjmc转换,并需要老系统进行清理,保证不出现垃圾编码。 2.线路所属部门如何确定? |
12 | 档案 | 变压器 | 变压器类别需清理 |
13 | 档案 | 变压器 | 变压器等级 按照老系统bm_xlda电压等级名称dydjmc转换,并需要老系统进行清理,保证不出现垃圾编码 |
14 | 档案 | 电表 | 表计电压使用用电类别的电压,目前按照抄表卡上的计费电压进行转换(bm_dydj),需要A8按照用电类别进行清理.如果不能清理的,需要提取清单,客户修改。 |
15 | 计量 | 电表 |
1.表计安装日期,无。 2.表位数无,默认5.2。 3.bar_code默认主键,老系统好多都是空,老系统多数为垃圾数据,默认meter_id |
16 | 计量 | 电表 | 表号,老系统有重复,需要清理 |
17 | 档案 | 运行容量,合同容量 | 老系统无合同容量和运行容量 |
18 | 档案 | 用户 | 无立户日期,客户编码不规则 |
19 | 档案 | 老系统抄表卡行业 | 需要清理不在码表的行业,或者不是子节点的行业 |
20 | 档案 | 电压等级,容量 | 客户电压等级不正确,容量不正确(也要符合大一逻辑) |
21 | 档案 | 抄表 | 台区单双月抄表(在hx_cbzq中bz='1'的数据是转数据需要的抄表周期,0每月,1,单月,2双月) |
22 | ct,pt不准确 | ||
23 | 档案 | 客户号 |
客户号截取后重复,迁移规则前两位代表电业局,接下来两位代表供电所,截取原客户编号后6位组合为新用户编号,需要清理原用户编号后6为重复数据 select substring(yhdm,1,6) as user_id,b.code,b.mc,count(1) from df_yhda a,bm_zzjg b where a.gds_id=b.id and substring(yhdm,1,6)<> b.code group by substring(yhdm,1,6),b.code,b.mc; |
24 | 档案 | 客户号 |
客户编号非数字,新系统要求户号只能是数字 select TRANSLATE(cons_no, '0123456789', '1111111111'),cons_no from c_cons where TRANSLATE(cons_no, '0123456789', '1111111111')<>'1111111111'; |
25 | 档案 | 抄表周期 | 对于同一个变压器下有多中抄表方式,迁移方案是把原系统一个变压器转为一个抄表本,新系统不允许同一个抄表本下有不同的抄表周期。 |
26 | 档案 | 转供关系 | 转供关系不明确 |
27 | 档案 | 表计类型 | 虚表和需量表无法判断 |
28 | 档案 | 档案清洗 | 在df_cbk中存在的运行表,在df_cbk_dl中没有抄表的数据是费数据还是需要迁移的? |
29 | 档案 | 档案清洗 | 抄表数据和示数类型是否按df_cbk_dl中的上次抄表数据生成? |
30 | 档案 | 档案清洗 | hx_xb是如何清洗的? |
31 | 档案 | 档案清洗 | hx_xlb如何清洗? |
32 | 档案 | 档案清洗 | hx_yhdj如何处理? |
33 | 档案 | 档案清洗 | 客户代码前6位与组织结构不一致(hx_yhdm)已清洗到源表?但仍然有含‘-’的yhdm |
2.1.3数据清理内容分析
- 变压器关口表有卡无变压器:这些数据是A83.0系统中删除变压器数据后,没有关联删除抄表卡造成的,需要志标记为“注销”,否则会在SG186中产生大量垃圾数据。
- 基础档案-用户代码重复:在A8 3.0系统中用户代码不允许重复,但A8系统为方便客户自定义用户代码,在用户代码编码规则上采用了前缀+序列号和手工录入的两种方式。在SG186进行数据转换时,用户代码将重新编号,为方便客户查询,用户代码后6位采用原来A8系统的编号,故A8 3.0中不允许存在同一供电所内后6位代码重复的情况,对这些数据需要重新编号。
- 表卡的[电表档案]在计量库中不存在:出现这种情况有两种原因,一是临时的表卡,没有参与抄表,可能是错误数据,因为没有参与计费,操作人员没有将其注销,二是虚表。为避免这些数据在转移到SG186中丢失,按照数据完整性最大化得原则,自动创建计量库档案。
- 表卡的[电表编号]为空白:这部分数据是垃圾数据,清理中需要注销掉。
- 用户表卡有卡无用户档案:这类数据是删除用户数据时没有同步删除抄表卡数据造成的,为避免数据错误删除,在清理中不进行删除,而作注销标记。
- 电表档案的[表计类别]未设置,或设置编码不存在:这类数据应该是没有抄表计费的表计。
- 表卡的套表[父卡ID]编号不存在:这类数据曾经是套表,后父表删除后,没有重新设置造成。
- 表卡的套表[父卡ID]编号与自身ID重复:这类数据是套表设置错误,A8有容错机制,故档案未显示错误。
- 表卡的[变压器]未设置,或设置编码不存在:这类数据是错误数据或者变压器档案已经删除。
- 电表档案的[生产厂家]未设置,或设置编码不存在:A8系统未对这类数据做限制。
- 电表档案的[电表型号]未设置,或设置编码不存在:A8系统未对这类数据做限制。
- 表卡[电表编号]被重复使用:多个抄表卡选择了同一个电表,A8在此控制不严密。
- 表卡的[行业]未设置,或设置编码不存在:业务数据不完整。
- 用户档案有户无表卡:档案不完整,可能是垃圾数据。
- 用户档案[用电性质]未设置,或设置编码不存在:档案数据不完整,可以按照表卡电价性质确定。
- 用户档案【供电所】与该用户【所属台区的供电所】不一致:以台区供电所为准
- 用户档案的[用电性质]不在表卡的[电价性质]范围内:用电性质设置错误,可以按照表卡最大电价性质设置。
- 用户档案[用户名称]为空:应该是垃圾数据。
2.2数据梳理及配合
数据梳理是在数据迁移前的重要工作内容,为确保数据迁移后的数据更准确,由供电所人员在A8系统中进行数据完善。其中梳理内容如下。
类别 | 数量 |
用户数量 | |
供电所数量 | |
表号重复数据 | |
汉字电表表号 | |
用户代码长度错误 | |
用户代码中有汉字 | |
客户代码前缀不是单位编码 | |
用户档案挂靠变压器错误 | |
普通表设置虚表比例错误 | |
抄表卡没有设置电价错误 | |
需量表检查清单 | |
有卡无表数据 | |
虚表跨户的错误数据 | |
线路电压待验证数量 | |
变压器类别错误数量 | |
表计型号、类型编码错误 | |
抄表卡挂靠变压器错误 | |
同一变压器抄表周期有多个 | |
有抄表卡无用户档案数据 | |
有电费但用户删除的错误数据 | |
用户名称未设置 | |
表计资产核查(表号、型号、电流、电压、厂家、CT/PT) | |
表计型号、类型错误 | |
长期无电费数据用户疑似错 | |
抄表卡行业分类设置错误 | |
行业代码不是最终节点 | |
合计 |
2.3A8数据清理
数据清理完毕后,鸿讯公司和东软公司对数据进行1-3次的试迁移,试迁移次数根据试迁移后,电费误差情况确定。在试迁移前,鸿讯公司再次进行数据的核对,并对数据进行清理,纠正还没有梳理到的数据,以免影响数据迁移。主要内容如下。- 表号重复:批量清理,并记录处理的清单,以便备查
- 变压器错乱:批量处理抄表卡变压器与用户变压器不一致、找不到变压器的情况,并记录处理清单。
- 虚表比例错:批量处理有虚表比例但没有设置父表的数据,设置为非虚表,记录处理清单。
- 用户号长度错:批量处理+手工调整,将用户号不等于缺省长度的全部重新生成,并记录清单。
- 抄表卡计费电压:根据电价电压批量修改。记录没有设置电价的清单。
- 错误需量表:批量处理虚表的电表类型;记录系统中需量表清单。
- 变压器类别错:批量修改变压器类别错误.3改成2,检查是否还有其他情况。
- 线路电压等级:将未设置电压的线路进行批量修改为10KV,并记录清单。
- 乱字符客户号:对乱字符客户号进行批量+手工修改,并记录清单。
- 抄表周期抄表段:根据单双月情况对抄表器周期、抄表段数据进行梳理,并记录在hx_cbzq临时表中。
- 清理垃圾数据:清理A8系统中的垃圾数据,包括抄表卡、用户
- 行业数据清理:对错误行业数据进行批量处理,并给出可能错误的客户清单。
- 互感器数据清理:由于SG186中,必须要互感器信息,故只有在A8中先行虚拟,转入SG186后再修改。
- 节余数据清理:在SG186预先不进行节余,A8中节余的数据需要转为预存。清理所有客户合计节余金额。
- 其他:目前数据迁移程序还没有完成,还会有其他数据需要清理。
- 表号重复:SG186上线后制定计划逐步清理
- 户号问题:将鸿讯公司对户号长度和非法字符户号的清单在SG186中一一核对,并通告客户。
- 需量表清理:根据鸿讯公司提供的需量表清单,一一核查是否是需量表,并在A8中修改。
- 线路电压等级:根据鸿讯公司提供的线路电压等级清单,一一核对,并在A8中修改。
- 抄表周期清理:根据鸿讯公司提供的多抄表周期台区数据,在A8中进行一一核对,修正可能的错误。
- 行业数据清理:根据鸿讯公司提供的清单,在A8中一一核对行业数据可能错误的客户档案,并修改。
- 垃圾数据清理:根据鸿讯公司提供的清单,在A8中一一核对,确认是否垃圾数据。
- 错误电价清理:根据鸿讯公司提供的清单,在A8中一一核对,确认电价是否错误或是垃圾数据。
- 重复变压器代码:根据鸿讯公司提供的清单,在A8中意义核对,将重复的变压器代码修改成唯一的。
- 互感器信息清理:对倍率>1的客户信息,在SG186中对互感器信息进行修正。
鸿讯公司对数据清理的项目将汇总提交给给电力公司,表格如下:
项目 | 批量清理内容 | 数量 |
1 | 方便数据转换虚拟表计 | |
2 | 方便数据迁移批量修改null值用户注销标记=0 | |
3 | 方便数据迁移批量修改null值抄表周期 | |
4 | 方便数据迁移批量修改null值供电电压=220v | |
5 | 方便数据迁移批量修改null值抄表卡运行状态=1 | |
6 | 对重复表号虚拟唯一表号 | |
7 | 对汉字表号重新虚拟新表号 | |
8 | 对户号长度错和有汉字户号进行批量处理 | |
9 | 批量修改抄表卡挂靠变压器错误 | |
10 | 批量修改挂靠变压器错误用户为注销 | |
11 | 虚表比例>0但没有父表的批量设置虚表比例=0 | |
12 | 批量设置抄表卡计费电压为电价电压 | |
13 | 批量设置未设置电价电表为注销 | |
14 | 批量修改虚表错误选择了需量表的数据 | |
15 | 批量修改不算基本电费的需量表为普通表 | |
16 | 对有卡无表的数据进行模拟表计信息 | |
17 | 批量设置线路电业等级null=10KV | |
18 | 批量修改变压器类别错误 | |
19 | 批量修改表计型号设置错误 | |
20 | 批量修改表计类型设置错误 | |
21 | 为数据迁移准备每个用户的抄表段数据 | |
22 | 删除无法对应用户、变压器、线路的表卡 | |
23 | 批量设置行业分类错和null=9920 | |
24 | 批量设置虚表无功电表类型=普通表 | |
25 | 为数据迁移准备用户余额数据 | |
26 | 虚拟互感器档案 | |
27 | 为数据迁移设置表计所属单位 | |
28 | 批量修改历史电费中用户代码不一致的数据 |
3实施方案
3.1工作进度
3.2A8 3.0工作进度表
下表时间按照省公司及电力公司具体的安排为准,表中数据假设工作是连续顺利开展。下表中,主要需要完成4、5、6、7项。
3.3工作流程
四川鸿讯.供电营销服务中心
联系人:付强 岳天龙 联系电话:联系电话:028-85122018
联系人:付强 岳天龙 联系电话:联系电话:028-85122018