1、招标条件
******有限责任公司数据中台咨询服务及数据工程管理工具采购项目(以下简称本项目),招标人为******有限责任公司,资金来源为企业自筹。本项目已具备招标条件,现对本项目进行公开招标。
2、项目概况
2.1项目编号:JT-XM-GKYQZB-FW-202507-0056
2.2项目名称:******有限责任公司数据中台咨询服务及数据工程管理工具采购项目
2.3资金落实情况:已落实
2.4项目概况及标段划分:本次招标共划分为1个标段,即A1标段。
************集团一站式数据全生命周期******集团数据资产完成数据快速集成、数据统一管理、数据清洗加工、数据分析计算、统一算力分配、任务统一调配等业务操作。
************集团数据治理效率,最终用数据赋能业务创新形成核心壁垒,解决数据******集团数据集中管理、高效利用和价值最大化。
2.5招标内容:本次采购咨询服务和数据工程管理工具两部分。要求投标人******集团的实际业务、数据和预算等实际情况进行综合评估,并指导数据中台的建设和实施,具体标准及要求详见附件。
2.6最高限价:174万元人民币。
2.7服务期限:签订合同后3个月完成项目并交付(具体时间以签订合同为准)。
2.8质量要求:符合国家、地方相关行业标准及招标人项目管理的要求。
2.9服务地点:黑龙江省哈尔滨市松北区创新三路899号阳光国际大厦b座。
3、对投标人资格要求
3.1本次招标要求投标人是中华人民共和国境内注册的独立法人,具备有效的营业执照,并在人员、设备、资金、技术等方面具有履行合同所必须的能力。
3.2信誉要求:
①近三年(2022年7月1日~递交投标文件截止日)投标人或其法定代表人有行贿犯罪记录的,不得参加本项目投标。无行贿犯罪行为的认定以投标人提供的在中国裁判文书(https://wenshu.court.gov.cn/)网站上无行贿犯罪查询记录的网页截图为准(查询日期应在招标公告发布后至投标文件递交截止日期之间)。
②投标人在“信用中国”网站(******)中,未被列入失信被执行人名单;
③投标人在国家企业信用信息公示系统(******/)中未被列入严重违法失信企业名单。
3.3投标人不得存在下列情形之一:
(1)与招标人存在利害关系可能影响采购公正性的法人、非法人组织、自然人。
(2)与本项目其他投标人的单位负责人为同一人。
(3)与本项目其他投标人存在直接控股关系。
(4)与本项目其他投标人存在管理关系。
(5)与本项目其他投标人高级管理人员之间存在交叉任职。
(6)近三年(2022年7月1日~递交响应文件截止日)内在经营活动中存在以下严重不良情形:
①被本项目所在地省级以上行业主管部门依法暂停、取消投标或禁止参加采购活动的。
②处于被责令停产停业、暂扣或者吊销执照、暂扣或者吊销许可证、吊销资质证书状态。
③进入清算程序,或被宣告破产,或其他丧失履约能力情形的。
******有限公司供应商管理办法》管理要求,被禁止参与采购活动且处于有效期内的。
⑤违反法律法规或招标采购文件规定的其他情形。
3.4本次招标项目不接受联合体参加。
4、招标文件的获取
4.1招标文件获取时间:2025年7月3日0时00分至2025年7月8日0时00分。
4.2招标文件获取方式:登录本项目指定的“黑龙江政企招采数字服务平台”(以下简称“电子交易平台”)(******/)进行操作;投标人仅限于为本单位缴纳CA数******集团及权属企业实施的采购活动。
凡有意参与本项目的投标人,须在本平台完成投标人注册,并办理CA数字证书后方可下载招标文件。数字证书可选择线上或线下办理方式,投标人应合理考虑邮寄时间(1-2个工作日),CA办理咨询电话:******(李女士);
4.3本项目采用网上申请方式,投标人登录系统后,按要求提交资料上传至电子交易平台。
4.4 交纳招标文件工本费
(1)招标文件售价500元人民币(售后不退)。
(2)投标人仅限于为本单位支付平台使用费及招标文件费用。若存在任一投标人为多家投标单位代缴上述费用的行为,根据《中华人民共和国招标投标法实施条例》第四十条“(二)************有限公司供应商管理办法》中关于供应******集团及权属企业实施的采购活动。
5、投标保证金:本项目无需缴纳。
6、投标文件的递交
投标文件递交的截止时间(投标截止时间,下同)为2025年7月14日9时00分;投标人应使用电子交易平台提供的“投标文件制作工具”编制电子投标文件,并按招标文件要求进行加密、递交。投标人应在投标文件规定的开标截止时间前,通过互联网使用CA数字证书登录电子交易平台,将加密的投标文件上传,并保存上传成功后系统自动生成的电子签收凭证,递交时间即为电子签收凭证时间。投标人应充分考虑上传文件时的不可预见因素,未在递交截止时间前完成上传的,视为逾期送达,将不予受理。
7、投标文件开标时间及地点
7.1投标文件开标时间:投标文件递交截止时间。
7.2投标文件开标地点:登录“黑龙江政企招采数字服务平台”,进入“开标大厅”选择所投标段进行签到,并在投标文件开标时间实时在线关注招标人的文件开标情况。
8、其他说明
8.1本次招标评标采用综合评估法,对投标人的资格审查采用资格后审形式。
8.2本项目采用全流程电子招采,通过黑龙江政企招采数字服务平台(******/)开展招投标活动,注册及操作等相关内容,请先查阅门户网站→帮助中心→操作指南内的操作手册,参与投标过程中遇到的平台问题可拨打技术支持电话。
9、发布公告的媒介
本项目招标公告在黑龙江政企招采数字服务平台(https://zc.hljsjtjt.com/)及中国招标投标公共服务平台(******)、黑龙江省公共资源交易网(******)、黑龙江阳光采购服务平台(******/)上同时发布,其它网址转载无效。
10、受理异议联系方式
采 购 人:******有限责任公司
地 ???址:******街道创新三路899号阳光国际大厦B座
联 系 人:黄先生
电 ???话:******
?
******有限公司
地 ???址:黑龙江省哈尔滨市松北区松北大道245号
联 系 人:王女士
电 ???话:0451-******
电子邮箱:******
11、监督部门联系方式
监督机构名称******有限责任公司监督检查室
联?系??电?话:0451-******
附件:
一、咨询服务内容:
(1)数据战略
******集团对数据中台的需求,明确数据中台建设的目标和方向。
②制定实现路径根据数据战略需求评估结果,制定数据中台建设的实现路径,明确各阶段的工作任务、目标、责任。
(2)数据治理
①建立数据治理组织,明确各组织的职责和权限。根据数据治理的需要,明确数据所有人、管理人等相关角色,以及数据的归口的具体管理人员,并进行确认。
②指导数据治理实施工作,明确治理的指标、方法和流程,对数据治理工作的成效进行评估,并进行评审。
(3)数据架构
******集团的业务需求和数据现状,设计数据中台的技术架构和存储架构,包括数据采集层、数据存储层、数据处理层、数据服务层和数据应用层等,确保数据中台的架构具有先进性、可扩展性和安全性。
②制定数据模型规范,进行数据模型开发制定数据模型规范,明确数据模型的设计原则和规范,进行数据模型开发,确保数据模型的规范性和一致性。
(4)数据应用
******集团的业务流程进行全面梳理,挖掘数据应用场景,并进行优先级排序和评审。重点梳理职能类、物流贸易类数据应用场景,为后期其他业务域的拓展规划奠定基础。
******集团数据应用产品服务规划,并进行优先级排序和评审。
(5)数据安全
******集团的数据安全现状进行全面调研和分析,识别数据安全风险,为数据安全管理提供依据。
②根据数据安全风险评估报告,建立统一的数据安全标准和管理流程,包括数据分类分级、数据访问控制、数据加密脱敏、数据备份与恢复等,并进行评审。
(6)数据质量
******集团的业务需求和数据现状,定义数据质量管理目标,明确数据质量管理范围,并建立数据质量规则库。
②设计数据质量提升策略,根据数据质量评估的结果,设计数据质量提升策略,提高数据质量。
(7)数据标准
******集团现有的数据标准现状进行全面梳理和分析,找出数据标准中存在的问题和不足,撰写数据标准现状梳理报告。
②根据数据标准梳理报告,撰写数据标准规范文档,并进行评审。
(8)数据生命周期管理
①撰写数据生命周期流程梳理报告
******集团的数据生命周期流程现状进行全面梳理和分析,找出数据生命周期管理中存在的问题和不足,撰写数据生命周期流程梳理报告,并进行评审。
②撰写数据生命周期管理策略文档
根据数据生命周期流程梳理报告,撰写数据生命周期管理策略文档,明确数据的创建、存储、使用、归档和销毁等环节的管理要求,并进行评审。
(9)数据资产管理
①设计数据资产目录,对数据资产进行分类、编码和描述,实现数据资产的可视化管理。
②定义数据资产所有者,明确其职责和权限,设计数据资产管理制度,包括数据资产的登记、使用、共享等方面。
(10)其他
******集团数据模型定义、数据编码与命名规范、数据安全规范等标准,数据生命周期管理、数据共享与开放交换等管理制度。
二、数据工程管理工具内容
具体包括以下工具:数据治理工具、任务调度工具、运维监控工具、共享交换工具以及数据融合展示工具。
①?数据治理工具
******集团数据接入、处理效率,本工具需满足是基于精通交通行业业务,打通数据治理各个环节,智能高效的完成对数据的集成、积累、沉淀和共享,快速建立企业数据资产地图,发挥数据效能。
产品功能需包括但不限于:元数据管理、数据标准、数据质量、数据分类分级、数据服务、数据集成、数仓建模、数据开发、数据探查、数据订阅等内容。
产品需满足以下重点业务要求:
??满足Kafka,HTTP等多种接口的集成能力,具备日志记录能力;
??满足接入包括Oracle、MySQL、PostgreSQL、达梦数据库、人大金仓数据库、翰高数据库、Doris、StarRocks、Hive、Impala、TiDB等多种异构数据源信息;
??满足对Oracle、MySQL、PostgreSQL、达梦数据库、人大金仓数据库、翰高数据库、Doris、StarRocks、Hive、HDFS、Kudu等数据源创建元数据采集任务;
??满足实施人员针对数据表结构进行同步配置,实现异构源数据库与目标数据库一键式数据同步,满足单表同步和多表批量同步,支持的数据源类型包括Oracle、MySQL、Doris、StarRocks、Hive等;
??数据血缘信息精确到字段级别,支持根据SQL自动生成,动态解析对象血缘关系,同时支持实施人员手动拖拽编辑数据血缘关系,实现快速追溯上下游表关联便于影响分析;
??要求提供可视化数据地图,基于元数据应用,以数据搜索为核心,提升找到数据的效率,读懂数据,理清数据脉络;
??要求通过向导式方式创建发布管理API接口,完成API参数配置、在线测试,对API进行分组,可查看API发布状态、使用应用数、调用总次数、以及API接口的情况测试;
??支持创建应用,可配置接入的API、日调用次数限制,系统自动生成APPKEY和秘钥信息,支持接口调用限流功能;
??******集团数据资源目录,且支持目录编辑;
??工具需根据数据治理团队配置的方案规则,支持输出数据质量报告,供数据治理团队监控数据质量;
??满足对不同数据源中的内容按照类别和安全等级进行数据分类分级管理,数据分类包括基础数据、统计数据和动态数据,数据分级需包括公开数据、秘密数据、机密数据和绝密数据等。
??满足数据治理团队实现快速数据建模,展示数仓内已存在的数据表所有数据,支持对数据表进行增删改查操作,支持自定义创建字段,或引用标准数据元创建字段,配置数仓内数据表结构的标准设计;
??满足数据治理团队实现数据表探查,可查看Oracle、MySQL、PostgreSQL、达梦数据库、人大金仓数据库、翰高数据库、Doris、StarRocks、Hive等多种数据源内的数据表数据情况,支持探查结果的下载。
??也支持可通过sql语句对Oracle、MySQL、PostgreSQL、达梦数据库、人大金仓数据库、翰高数据库、Doris、StarRocks、Hive等多种数据源内的数据表进行数据的自由探查;
②?调度计算工具
为解决数据处理流程中错综复杂的依赖关系,保证数据计算及时性,采购调度计算工具,要求支持调度系统在数据流程中开箱即用,支持流批一体混合计算模式,实现对多源异构数据的离线处理、实时分析和流式计算处理,实时可视化监控任务的运行状态。
产品功能需包括但不限于:总览、离线项目管理、实时项目管理、资源中心、数据源中心、监控中心、配置中心等内容。
产品需满足以下重点业务要求:
??支持离线任类型包括Shell、SQL语句、数据库存储过程、条件任务、嵌套子任务、Python、Spark、Flink、MR、HTTP、DataX、Sqoop等,支持拖拉拽任务绘制DAG工作流任务;
??离线任务工作流定义运行后,支持查看每个工作流的运行情况,以甘特图形式查看各个状态的运行节点时间轴;
??支持离线任务查看每条任务的运行信息、运行时长、重试次数等任务详情信息,展示运行日志;
??支持执行类SQL任务的方式进行实时数据处理,提供数据聚合、分析、计算、JSON处理以及数组处理相关SQL算子,此外还支持以自定义算子的形式实现实时业务处理逻辑;
??支持导入脚本模版,格式化代码,语法提示,SQL预校验等可帮助快捷准确录入;
??支持多个数据源采集流式数据,如API接口、数据库、消息队列等;
??支持多种不同协议和传输方式收集数据,如TCP、UDP、HTTP等,支持由多个数据源并行收集数据;
??提供包括filter、keyby、distinct、flatMap、map等算子,支持数据过滤数据分组、数据去重、数据扁平化、数据格式转换以及数据类型转换等数据预处理功能;
??支持实时任务查看及检索各个Flink实时任务的运行日志信息,包括各版本运行日志情况、任务状态,日志存放位置,日志详情等信息;
??支持从数据治理工具进行数据源信息同步,支持对Oracle、MySQL、PostgreSQL、Clickhouse、Doris、StarRocks、Hive、Impala、TiDB等数据源的创建、测试、增删改查管理;
③??运维监控工具
为提升数据工程管理工具相关产品的运维效率,本工具需实现对大数据集群的自动化部署、运维、监控、巡检、告警等一站式管理,支持管理网络设备、服务器、数据库、中间件、服务、安全设备、虚拟机集群、存储运维管理、机房动环等,并提供7*24不间断监测服务,支持故障快速定位,帮忙实施团队掌握全局网络运行状态,保障整个数据工程管理工具的平稳运行。
产品功能需包括但不限于:监控管理、运维管理、巡检管理、告警管理、日志管理、配置管理等内容。
产品需满足以下重点业务要求:
??提供拓扑图,展示主机和服务资源的结构分布、链路关系、性能指标和运行状态,需包含主机拓扑图和服务集群拓扑,主机拓扑支持查看各主机设备健康状态及连接状况,查阅告警信息,定位告警问题;服务集群拓扑支持查看各大数据服务组件、类型、实例、角色链路关系及异常情况,高亮闪动提示,支持在拓扑图上直接操作启动、重启、停止服务运维事件。
??提供服务器监控、服务监控、网络监控等功能,监控各服务器、服务集群、接口端口的网络状态、当前运行的性能参数指标,每个服务指标的变化可视化统计及异常告警统计信息;
??服务器监控需提供以服务器维度查看各个服务器状态,性能参数需包括:服务器组、服务器、状态、CPU、5分钟负载、内存、本地存储、磁盘读写、网络上传/下载信息,并可清晰查看每个服务器下的服务监控状态及日志检索;
??服务监控需提供各服务集群的状态监控,针对不同的组件支持不同的监控内容(包括hdfs、yarn、kafka等服务类型),服务监控支持级联查看服务集群、服务类型、服务角色、服务实例,监控数据包含角色指标和jvm指标,如:JVM堆内存、GC、CPU使用率、线程数、TPS、吞吐量等;
??网络监控需提供针对接口和端口的监控,接口实时在线监控需包括:接口名称、源主机、监控地址、请求方式、返回码、响应时间、监控状态;端口实时在线监控需包括:源主机、IP、端口、监控状态以及响应时长对比;
??支持线上服务运维,可以进行启动、重启、停止操作事件,便于发现异常后直接通过工具便捷操作,查看运行状态及操作日志。
??支持线上巡检,支持通过自定义设置巡检对象,检查指标、周期策略等进行即时性、周期性等巡检工作的自动化执行,并生成标准可视化报告;
④ 数据共享交换工具
为解决跨行业、跨部门间的数据资源共享,实现数据资源有序可控的统筹管理与得当利用,本工具需要结合行业标准或技术规范******集团信息资源目录,完成各类数据资源进行归集汇总,通过文件或接口等共享方式提供给第三方平台或系统。
产品功能需包括但不限于:数据资源、数据统计、共享管理、审核管理等内容。
产品需满足以下重点业务要求:
??支持结合行业标准或技术规范(集团职能管理和物流贸易等)等梳理形成信息资源目录,按行业、业务、主题、数据提供单位进行资源的分类展示,数据使用方可根据应用场景选择合适的数据进行数据接口申请或数据文件下载;
??数据资源目录是以信息资源核心元数据为基础,对信息资源进行分级分类和格式标准化,形成有序组织,不同的业务展示不同的资源目录。
??支持数据资源详情展示,包括资源目录的基本信息:资源名称、资源简介、共享条件、数据来源、更新频率、更新方式、数据使用情况以及数据项信息、挂接的接口信息或数据文件。
??支持数据实施团队进行接口配置,通过接口服务申请,审核通过后生效,申请内容包括资源名称、申请用途、申请要求、申请人、申请单位、共享方式等内容。
??支持实施团队进行数据配置共享,包括:是否允许共享、共享条件、共享方式、提供数据下载和接口服务,该模块的数据资源(资源目录管理、接口创建)来源于“数据治理工具”,治理工具梳理资源后同步到共享工具进行资源共享关联、共享配置管理。
⑤ 数据融合展示工具
数据融合展示工具要求连接数据库、大数据平台、API接口等作为数据源,将复杂数据直观映射,实现全局数据融合展示,支持通过拖拉拽方式快速制作图表或大屏页面进行分享展示。
产品功能需包括但不限于:数据处理、仪表板、数据大屏、系统配置等内容。
产品需满足以下重点业务要求:
??支持管理Oracle、MySQL、PostgreSQL、Clickhouse、Doris、StarRocks、Hive各类数据连接信息,是数据分析操作中数据的来源,支持关系型数据库、数据仓库、API等多种数据源类型;
??支持为数据分析或报表制作等操作进行相关的数据准备、加工,支持计算字段可在当前数据集字段的基础上通过公式或函数生成新的字段。
三、数据工程管理工具技术要求
??需具备高效的数据存储和处理能力,能够处理TB级别(超过1000GB)海量的结构化和非结构化数据,包括数据的输入、清洗、存储、查询和计算等。
??采用分布式计算和并行处理技术,通过横向扩展提高计算能力和处理效率,同时支持并行访问和处理大规模数据。横向扩展后可以支持创建超过2000个计算任务,使用Pipeline架构执行引擎,支持同时超过100个任务的并行执行。
??底层采用MPP(Massively Parallel Processing)架构设计,支持PB级别(超过1000TB)的数据存储能力,支持对TB级别(超过1000GB)的单表数据进行秒级读取和计算操作。
??大数据集群上的结构化数据和非结构化数据,均采用多副本(默认为3份)的方式进行分布式存储,同时实现了对数据的并发访问支持和安全备份能力。
??大数据集群,支持服务的横向伸缩。当集群访问增加时,可以通过集群的横向扩展(节点成倍扩展,例如从3节点扩展到6节点),来满足数据的存储和计算需求,确保系统的稳定性和高可用性。
??签订合同后,一周内完成产品交付,对数据治理团队进行产品培训,且有专业工程师7*24技术支持。
??提供一年免费运维,包括使用过程中的技术答疑、支持、培训、版本升级等内容。
??要求投标单位协助编写著作权文档,且著作权归甲方所有。
??要求工具界面风格、工具界面名称、工具******集团要求进行调整。
?