国家人口与健康科学数据 共享平台资源综合评价指标构建研究

-回复 -浏览
楼主 2018-11-07 14:12:55
举报 只看此人 收藏本贴 楼主
点击上方中国数字医学可以订阅哦!


导读:为适应国家人口与健康科学数据共享平台特色资源建设与深化资源管理需要。以层次分析法为指导,采用文献调查与专家咨询相结合的方法。研究并构建了针对人口健康平台资源的综合评价指标体系。该指标体系从资源主题、资源质量、数据规模、服务能力、服务成效和来源版权等维度对资源进行综合评价,有助于推动平台新增资源遴选和优质资源识别。 


国家人口与健康科学数据共享平台(简称NCMI)是科技部国家科技基础条件平台科学数据共享工程支持建设的首批国家级科学数据中心,承担国家科技重大专项、科技计划、重大公益专项等人口与健康领域科学数据汇交、加工、存储、挖掘和共享服务任务。在“统一标准规范、统一资源规划和统一技术架构”顶层设计与架构下,NCMI实行“逻辑上高度统一,开放共享;物理上合理分布,分工合作”的运行服务机制。经过10余年的发展,目前已集成医药卫生行业具资源优势的20余家单位近800个数据集,为科技创新、政府决策、医疗事业发展及人才培养和健康产业发展等提供了大量数据支撑,社会效益良好。


NCMI始终重视资源建设管理,制定并积极推行《科学数据中心绩效考核》标准,从资源建设、系统建设、运行管理等方面对分中心进行评价。为进一步深化平台资源管理,在现有评估体系基础上,研究构建针对数据集资源的综合评价指标体系,以及时发现资源建设与服务中存在的问题,推动资源优化改造。


相关研究进展


针对科学数据资源评价的研究,目前多侧重于共享平台、服务绩效、资源利用、数据开放度评估等方面,“资源”多是作为评价内容的一方面被讨论。


科学数据共享平台或项目评价研究 如赵伟基于“可见-可得-可用”模型构建科学数据共享网站评估体系,其中半数为资源指标(数据规模、公开情况、元数据质量、数据更新等);国家地震科学数据中心评价其子项目时,给予资源内容与质量及共享所产生的社会经济影响各30%及15%的权重;李海燕认为,资源建设质量及标准符合性也是科学数据中心建设评价的重点。


科学数据共享服务绩效考核研究 如科技部发布科学数据共享平台认定和运行服务绩效考核指标,前者重点考核平台资源整合、运行管理机制、服务成效和长效发展能力,后者突出平台服务数量、服务成效、运行保障、资源质量与更新维护;司莉从运行管理、数据资源、平台功能和服务效能四个维度,构建包含数据集数量、数据整合、被引次数、服务统计、科研效能等指标的科学数据共享平台绩效评估体系;董诚将数据资源连同服务能力、共享效能、机构保障四个因素纳入科学数据机构共享绩效评估体系;王宏起从资源整合、网站运行管理和服务成效三方面衡量区域科技资源共享平台服务绩效。


科学数据资源评价研究 姜晓虹提出包含数据资源、数据组织、平台功能、运行维护和应用成效5大类21个指标的科学数据库综合评价指标;朱艳华调研了中国科学院科技数据共享资源建设和应用服务情况,提出包含数据资源、在线系统、组织管理和服务成效4个维度14个二级指标的科技数据应用服务效果评价体系;王剑指出可从政策环境、体制机制、规划配置、资源质量、服务方式与模式5方面评估科学数据利用效率;丁楠选取数据发布量、引用量、平均被引频次及h指数几个指标,从引用角度分析科学数据应用影响力;政府开放数据网站佼佼者Data.gov.uk,采用基于开放数据五星模型[16]的开放度指标,综合资源格式、许可协议、链接等因素对资源开放度给予评分。


综合分析相关研究可以发现,当前尚未形成针对科学数据资源集的综合评价指标体系。本研究围绕NCMI资源建设需求和规划重点,从规范资源管理和促进共享服务角度出发,构建了一套科学数据资源综合评价体系,以期推动人口健康平台资源质量管理工作。


评价指标构建研究


研究方法 本研究以层次分析法为指导,采用文献调查与专家咨询相结合的方法,构建了NCMI资源综合评价指标体系的多级结构,并根据指标重要程度确定权重。


指标制定基本原则 本研究所要构建的NCMI科学数据资源评价指标体系,以加强资源全链条质控与管理、促进平台健康可持续发展为出发点,并遵循如下几个原则。


指标的客观公认性 影响资源评价的因素和要素众多,科学客观的选择参评指标是指标体系构建的难点和重点。对国内外相关评价体系进行细致分析,结合多方专家意见确定资源评价关键问题与核心要素,并根据资源特点和管理需求,对指标层次、类型、数量等进行深入研究与探讨。


量化为主,注重易用 在不影响评估效果的前提下,尽可能地简化指标数量与操作程序,提高指标可操作性,减小因指标和流程复杂而可能造成的系统误差。为此,指标选取时应保证定量指标的易于测度或定性指标的易于理解。


与科技部发布的评估体系相融 作为国家科技基础条件平台支持建设的项目,NCMI需接受科技部考核。因此,构建的资源评价指标需与科技部评估内容保持一定的一致性,并立足当前、面向未来。


评价指标体系


本研究构建的NCMI科学数据资源综合评价体系包括资源内容与质量、服务能力、服务成效及版权归属4个关键要素。具体指标及指标重要程度(权重)见表1。


表1 NCMI资源综合评价指标和评估内容

注:“现有资源”指NCMI已有资源,“新增资源”指申请纳入NCMI的资源。


资源内容与质量评价指标 数据资源是开展共享活动的基础,同时也是资源综合评价最重要因素。资源主题、资源质量和数据规模是影响共享服务能否顺利有效进行的关键因素及核心指标。


“内容主题”指标重点关注资源的行业影响力和权威性,评估资源内容所表达的主题在行业领域内的代表性、现有影响及潜在影响力,以及权威可靠性;“资源质量”指标包括资源内容质量和数据加工质量两个二级指标,突出对资源建设的标准化程度、结构化水平、数据内容完整性、数据集制作质量、粒度合理性5方面质量的评估;“数据规模”指标关注资源集成化和规模化程度,设置数据量、数据容量两个量化指标,以此反映出领域覆盖度及所能支撑服务力度的能力。


资源服务评价指标 服务是连接资源和用户的纽带。资源能为用户所利用的方式、方法、便捷性以及应对用户不同服务需求的满足程度,是平台衡量资源服务能力的主要考虑。具体设置开放层次、开放范围、服务方式及服务稳定性4个三级指标。


共享效果评价指标 共享服务效果是衡量现有资源产生共享价值的最直接指标,主要考察资源利用情况、服务质量与取得的效果,包括服务量、科研支撑效果两个二级指标。服务量是客观反映共享效果的基础指标,包括资源被访问次数、被下载次数及离线数据传递次数3个三级指标;科研支撑效果从资源被国内外公开发表文献引用情况及对国家科研项目贡献情况角度对资源支撑科研创新的贡献予以评价,设置了科研支撑产出数、被引频次两个三级指标。


资源来源与版权管控指标 版权归属是决定与影响资源可利用程度的基本因素,也是平台新增资源遴选的重要考虑因素,主要评估数据来源途径、原始数据可获取情况。


资源评价工作是科技资源共享评估体系中至关重要的组成部分,能为人口健康平台已有评估与考核体系提供有益补充。下阶段将以本研究构建的资源综合评价指标体系为基础,细化指标评分依据、评分细则,建立一套切实可操作的资源测评方案,邀请人口健康科学数据领域相关专家,开展已服务资源评优和新增资源遴选等相关工作,既验证评价指标体系应用效果,更为完善平台资源布局提供支持。


文章来源:《中国数字医学》杂志2018年第03期,作者及单位:李赞梅 胡志民 孙海霞 李军莲,中国医学科学院医学信息研究所/图书馆。


传播数字医学领域发展最新动态,关注医疗卫生信息化相关资讯。

长按扫码关注我们

我要推荐
转发到

友情链接