[标准]NIST大数据互操作性框架：第三卷：大数据参考架构
1 介绍
1.1 背景
大数据在激发创新、刺激商业、推动社会进步方面的巨大潜能已得到商业界、学术界和政府部门的共同认可。大数据是用来描述网络化、数字化、传感器化、信息化社会数据泛滥的常用术语。很多以前无法解答的问题，如今通过对大数据资源的有效利用，已经可能解答，这些问题主要包括：
? 如何及早发现流行性疾病并做好预防？
? 如何在高性能新材料合成以前，就通过数据分析来发掘它们？
? 如何扭转网络攻击优于防守的趋势，防范网络安全威胁？
但同时，各方对于大数据相对传统方法究竟有多大优势，也有清醒认识——数据本身的容量、速度和复杂性的增长率，已超出现有科技在数据分析、数据管理、数据传输以及用户领域的发展进度。
如上，对于大数据的内在潜力和目前局限，各方都达成越来越广泛的共识，但对一些重要的、根本的问题缺乏定论，也持续困扰着大数据的潜在用户并阻碍进步。这些问题主要包括以下：
? 大数据解决方案属于什么性质？
? 大数据与传统的数据环境和相关应用有何不同？
? 大数据环境的本质特征是什么？
? 大数据环境如何与既有架构集成？
? 哪些关键科技和标准化方面的挑战亟需解决，从而加速大数据解决方案的部署实施？
在此背景下，2012年3月29日，白宫宣布启动大数据研究和开发，该计划的目标包括加快科学和工程领域探索，巩固国家安全，并且通过提高从大量繁琐数据资源中分离提取精华的能力，来改革教学模式。
6个联邦部门和它们的分支机构承诺至少出资2亿美元扶持至少80个项目，力图通过显著改善设备和技术，从海量数据中获取、整理并得出结论。同时，该计划鼓励产业界、研究型大学和非盈利组织一起联手联邦政府，最大限度地利用大数据带来的机遇。
受政府和民众双重意愿的推动，美国国家标准与技术研究院（NIST）接受挑战，联合各行业专业人士，确保大数据计划安全有效实施。2013年1月15至17日，NIST召开了“云和大数据论坛”，受大会启发，NIST决定创建一个公共工作组，开发大数据互操作性框架。论坛与会者指出，该框架应当定义并区分大数据技术需要满足的需求，包括互操作性、可移植性、可重用性、可扩展性、数据使用、分析及技术架构。通过这些工作，该框架将促成最为安全有效的大数据方法和技术。
2013年6月19日，NIST大数据公共工作组（NBD-PWG）成立，全国各地工业界、学术界和各级政府纷纷加入。这个公共工作组将致力于打造工业、学术和政府利益共同体，旨在对大数据的定义、分类、安全参考架构、安全隐私需求和技术路线图形成共识，最终形成一个中立于供应商并在技术和基础设施方面独立的框架。基于此框架，大数据利益相关者能够运用最好的分析
工具，选择其最适合的计算平台和集群，处理问题或者解决可视化需求，大数据服务商也可从中挖掘增值机会。
《NIST大数据互操作性框架草案》主要包括7卷内容：
? 第1卷：定义
? 第2卷：分类
? 第3卷：案例和总体需求
? 第4卷：安全和隐私
? 第5卷：架构白皮书调查
? 第6卷：参考架构
? 第7卷：标准路线图
1.2 定义与分类分组的范围和目标
本卷是由NBD-PWG定义与分类分组完成的，主要关注数据科学、参考架构和模式领域建立大数据的概念和定义相关的术语。
本卷的目的是为大数据相关的对象提供一个通用词库。对于管理者来说，本卷的术语可以帮助他们分清在大数据这一快速发展的领域需要理解的各种概念；对于采购人员来说，本文将提供用于讨论组织需求的框架，并帮助他们分清各种可行的方案的不同；对于市场人员来说，本文将提供推销解决方案和创新点的方法；对于技术社区来说，本卷将提供一种通用语言，以更好的区分不同的需求。
1.3 报告制作
大数据和数据科学已经成为包含很多概念的流行用语。为了更好地定义这些术语，NBD-PWG定义与分类分组首先对这一混乱领域需要的各种概念进行梳理。然后对这两个最重要的术语（“大数据”和“数据科学”）以及他们包含的概念进行了澄清。
为了保持数据主题和数据系统的可管理性，分组尝试着将讨论限制在由于大数据的存在而带来的差异上，而那些扩展的主题，如数据类型或分类分析以及元数据，仅仅在出现了对大数据产生影响，或者带来问题的时候才进行讨论。当然，分组也确实引入了其他的需要用来理解新大数据方法论的主题。
术语的开发不依赖任何特定的工具或者执行方法以避免强调特定的执行方法，并且在本领域不可避免的发展的情况下保持术语的足够的通用性。
分组也注意到，一些领域，如法律领域，可能会使用与这里提供的定义不同的特定的语言。当前版本仅仅反映了本分组成员的知识范围。在评论期我们期望更多的参与者来支出在本文中提出的术语与各领域实际使用的不同。
1.4 报告结构
本卷期望能够澄清两个广泛应用的术语（大数据和数据科学）的意义，第2节中对这两个术语进行了讨论；第3节中对能够提供进一步信息的更多的基础概念和数据进行了深入的讨论；第
4节则涉及到了几个更加详细的概念。《NIST大数据互操作性框架：第1卷 定义》的第一版对在进行框架选择的时候能够确定分类或者功能性能力的一些基础的概念进行了描述。
与本文紧密相关的一些信息可以在《NIST大数据互操作性框架》的其他卷中找到：《第2卷
分类》中提供了NIST大数据参考架构（NBDRA）的更详细的组件的描述；NIST大数据参考架构（NBDRA）在《第6卷
参考架构》中描述；安全和隐私相关的概念在《第4卷
安全和隐私》中进行更详细的描述；为了理解这些系统是如何被组织起来满足用户的需求，读者可以参考《第3卷 案例和总体需求》；《第7卷
标准路线图》对第1卷到第6卷建立的框架进行了综述，并对NBDRA相关的标准工作进行了讨论。将本卷中的相关节进行比较，可以获得本卷与NBD-PWG的一致性的更深入的理解。
1.5 本卷后续工作
本卷仅仅体现了NBD-PWG起始阶段在为了制定规则和理清这一新兴的快速发展领域的工作成果。大数据包含了大范围的数据类型、研究领域、科技和技术，通过从不同的视角进行研究可以凝练出一个统一的、基础的定义集，然而，通过不同的视角的讨论，还可以得出对大数据的更广泛意义的理解。随着本领域的成熟，本文将需要引入本领域的更多创新的观点。为了确保本文的观点是正确的，未来NBD-PWG的任务还包括下面这些：
? 定义大数据源的不同通信模式，以更好的理清可采用的不同方式；
? 对第1卷进行更新，以包含其他工作组织，如国际标准化组织（ISO）第一联合技术委员会（JTC1）和事务处理执行委员会的工作成果；
? 改进对数据治理和拥有问题的讨论；
? 开发管理节；
? 开发安全和隐私节；
? 增加对数据价值的讨论。
