自考13420大数据概论考试大纲
Ⅰ 课程性质与课程目标
Ⅱ 考核目标 Ⅲ 课程内容与考核要求附录题型举例 Ⅰ 课程性质与课程目标
一、课程性质和特点
本课程面内容主要包括大数据概述，大数据与其他新兴技术的关系、大数据基础知识、 大数据应用、数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化、大数据分析综合案例等。
本课程要求学生熟悉大数据各个环节的相关技术，为后续深入学习相关大数据技术奠定基础。主要培养学生的数据素养相关的知识，包括大数据安全、大数据思维、大数据伦理、 数据共享、数据开放、大数据交易和大数据治理等。
二、课程目标
本课程设置的目标是使得考生能够：
1. 了解大数据概念，熟悉大数据应用；
2. 培养大数据思维，养成数据安全意识；
3. 了解大数据知识体系，形成对大数据技术的整体认知；
4. 掌握大数据各个环节的相关技术，熟悉大数据技术是新时代对人才的新要求；
5. 为进一步学习大数据的相关知识及技能打下基础。
三、与相关课程的联系与区别大数据知识体系涵盖了计算机、数学、统计学等多个学科领域，结合了诸多领域中的理论和技术，包括应用数学、统计学、模式识别、机器学习、人工智能、深度学习、数据可视化、 数据挖掘、数据仓库、分布式计算、云计算、系统架构设计等。如此复杂的知识体系，很容易让学生的学习“迷失方向”，造成学习上的困惑。《大数据概论》作为导论课就是一门为学生 “统揽全局、指明方向”的重要课程。通过这门课程的学习，学生可以对自己所学习的大数据知识体系建立一个全局的认知，为进一步学习大数据的相关知识及技能打下基础。
四、课程的重点和难点
本课程的重点在于全面培养学生的数据素养，包括：数据意识、数据思维、数据能力和数据伦理。本课程的难点在于理解和掌握大数据的“4V”特性。
Ⅱ 考核目标
本大纲在考核目标中，按照识记、领会、应用三个层次规定其应达到的能力层次要求。
三个能力层次是递进关系，各能力层次的含义是：识记：要求考生能够识记大纲各章中的知识点，例如对名词、概念、定义等的记忆和理解，对有关原理、方法、技术等有清晰、准确的认识，并能做出正确的判断。
领会：能对大数据知识中的相关基本概念、原理、方法等正确理解，并清楚这些知识点之间的联系和区别，并能做出正确的表述与解释。
应用：在对一些重要概念、原理、方法熟悉和深入理解的基础上，综合相关的知识点，分析、设计和解决比较复杂的问题。
Ⅲ 课程内容与考核要求
第一章 大数据概述
本章首先从数据入手，讲解了数据的概念、类型、组织形式、数据价值等内容，然后， 把视角切入到大数据时代，介绍了大数据时代到来的背景及其发展历程。接下来，讨论了大数据的“4V”特性以及大数据对科学研究、社会发展、就业市场和人才培养的影响，并简要介绍了大数据在不同领域的应用和大数据产业。最后，对高校大数据专业的建设做了简要探讨。
1.1 数据
1.2 大数据时代
1.3 大数据的概念
1.4 大数据的应用
1. 数据
识记：数据的概念；数据类型；数据组织形式；数据的价值；数据爆炸。
领会：数据和信息的区别；数据的使用。
2. 大数据时代
识记：第三次信息化浪潮；大数据的发展历程；世界各国的大数据发展战略。
领会：信息科技为大数据时代提供技术支撑；数据产生方式的变革促成大数据时代的来临。
3. 大数据的概念
识记：大数据对科学研究的影响；大数据对社会发展的影响；大数据对就业市场的影响；大数据对人才培养的影响。
领会：数据量大；数据类型繁多；处理速度快；价值密度低。
应用：大数据的“4V”特性。
4. 大数据的应用
识记：大数据产业；大数据专业的人才培养目标；毕业生就业岗位；大数据专业知识体系；大数据专业课程体系；大数据专业的编程语言。
领会：大数据的应用。
本章的重点和难点在于理解和掌握大数据的“4V”特性。
第二章 大数据与其他新兴技术的关系
本章对云计算、物联网、人工智能和区块链做了简要的介绍，并且梳理了大数据与这四种技术的紧密关系。
2.1 云计算与物联网
2.2 人工智能
2.3 区块链
1. 云计算与物联网识记：云计算的概念；云计算的服务模式和类型；云计算数据中心；云计算产业；
物联网的概念；物联网的关键技术；物联网产业。
领会：云计算的应用；物联网的应用。
应用：大数据与云计算、物联网的关系。
2. 人工智能
识记：人工智能的概念；人工智能的关键技术；人工智能产业。
领会：人工智能的应用。
应用：大数据与人工智能的关系。
3. 区块链
识记：从比特币说起；区块链的原理；区块链的定义。
领会：区块链的应用。
应用：大数据与区块链的关系。
本章的重点和难点在于理解和掌握大数据与云计算、物联网、人工智能、区块链之间的紧密关系。
第三章 大数据基础知识
本章就围绕非技术性内容做了大量的论述，详细讨论了大数据安全、大数据思维、大数据伦理、数据共享、数据开放、大数据交易等内容。这些内容的学习，为培养学生的数据素养奠定了坚实的基础。
1. 大数据安全
2. 大数据思维
3. 大数据伦理
4. 数据共享
5. 数据开放
6. 大数据交易
3.1 大数据安全
3.2 大数据思维
3.3 大数据伦理
3.4 数据共享
3.5 数据开放
3.6 大数据交易
1. 大数据安全
识记：传统数据安全；大数据安全与传统数据安全的不同。
领会：典型案例。
应用：大数据安全问题。
2. 大数据思维
识记：传统的思维方式；大数据时代需要新的思维方式。
领会：运用大数据思维的具体实例。
应用：大数据思维方式。
3. 大数据伦理
识记：大数据伦理的概念。
领会：大数据伦理典型案例。
应用：大数据的伦理问题。
4. 数据共享
识记：数据孤岛问题；数据孤岛问题产生的原因；消除数据孤岛的重要意义；实现数据共享所面临的挑战；推进数据共享开放的举措。
领会：数据共享案例。
5. 数据开放
识记：政府开放数据的理论基础；政府信息公开与政府数据开放的联系与区别。
领会：政府数据开放的重要意义。
6. 大数据交易
识记：大数据交易概述；大数据交易发展现状。
领会：大数据交易平台。
本章的重点和难点在于理解和掌握大数据安全问题、大数据思维方式、大数据的伦理问题。
第四章 大数据应用
本章介绍大数据在各大领域的典型应用，包括互联网、生物医学、物流、城市管理、金融、 汽车、零售、餐饮、电信、能源、体育、娱乐、安全、政府和日常生活等领域。这些内容的学习， 为后续理解和掌握相关大数据技术奠定基础。
4.1. 大数据在互联网领域的应用
4.2. 大数据在生物医学领域的应用
4.3. 大数据在物流领域的应用
4.4. 大数据在城市管理、金融、汽车、零售、餐饮、电信、能源、体育、娱乐、安全、政府和日常生活等领域的应用
1. 大数据在互联网领域的应用识记：什么是推荐系统；长尾理论；推荐方法；推荐系统模型。
领会：推荐系统的应用。
2. 大数据在生物医学领域的应用识记：流行病预测；智慧医疗；生物信息学。
领会：案例：基于大数据的综合健康服务平台。
3. 大数据在物流领域的应用识记：智能物流的概念；智能物流的作用；大数据是智能物流的关键。
领会：智能物流的应用。
4. 大数据在城市管理、金融、汽车、零售、餐饮、电信、能源、体育、娱乐、安全、政府和日常生活等领域的应用。
本章的重点和难点在于理解和掌握推荐系统的应用。
第五章 数据采集与预处理
本章介绍数据采集的概念、要点、数据源、数据采集方法、网络爬虫以及数据清洗、数据转换与数据脱敏。
5.1 数据采集
5.2 数据清洗
5.3 数据转换
5.4 数据脱敏
1. 数据采集
识记：数据采集的概念；数据采集的三大要点；数据采集的数据源。
领会：传统数据采集与大数据采集的区别；数据采集方法。
应用：网络爬虫。
2. 数据清洗
识记：数据清洗的内容；数据清洗的注意事项。
3. 数据转换
识记：数据转换策略。
领会：平滑处理；规范化处理。
4. 数据脱敏
识记：数据脱敏原则。
领会：数据脱敏方法。
本章的重点和难点在于理解和掌握网络爬虫。
第六章 数据存储与管理
本章介绍传统的数据存储与管理技术（包括文件系统、关系数据库、数据仓库、并行数据库等）以及大数据时代的数据存储与管理技术（包括分布式文件系统、NoSQL 数据库、 云数据库等）。
6.1 传统的数据存储与管理技术
6.2 大数据时代的数据存储与管理技术
6.3 大数据处理架构
Hadoop
6.4 分布式文件系统 HDFS
6.5 NoSQL 数据库
6.6 云数据库
6.7 分布式数据库
HBase
6.8 Google Spanner
1. 传统的数据存储与管理技术识记：文件系统；关系数据库；数据仓库；并行数据库。
2. 大数据时代的数据存储与管理技术识记：分布式文件系统；NewSQL 和 NoSQL 数据库；云数据库。
3. 大数据处理架构 Hadoop识记：Hadoop 特性。
应用：Hadoop 生态系统。
4. 分布式文件系统 HDFS识记：HDFS 的设计目标。
应用：HDFS 体系结构。
5. NoSQL 数据库识记：键值数据库；列族数据库；文档数据库；图数据库。
领会：不同类型的 NoSQL 数据库比较分析。
6. 云数据库
识记：云数据库的概念；云数据库的特性；代表性云数据库产品。
领会：云数据库与其他数据库的关系。
7. 分布式数据库 HBase识记：从 Bigtable 说起；HBase 简介；HBase 数据模型。
领会：HBase 系统架构。
8. Google Spanner本章的重点和难点在于理解和掌握 Hadoop 生态系统、HDFS 体系结构、HBase 系统架构。
第七章 数据处理与分析
本章介绍数据处理与分析的概念、机器学习和数据挖掘算法、大数据处理与分析技术、 大数据处理与分析领域具有代表性的产品。
7.1 数据处理与分析的概念
7.2 机器学习和数据挖掘算法
7.3 大数据处理与分析技术
7.4 大数据处理与分析代表性产品
1. 数据处理与分析的概念识记：数据分析与数据挖掘；数据分析与数据处理；大数据处理与分析。
2. 机器学习和数据挖掘算法识记：分类；聚类；回归分析；关联规则；协同过滤。
领会：典型的机器学习和数据挖掘算法。
3. 大数据处理与分析技术识记：技术分类。
领会：流计算；图计算。
4. 大数据处理与分析代表性产品领会 ： 数据 仓库 Hive ； 数据 仓库 Impala ； 机器 学习 框架 TensorFlowOnSpark；流计算框架 Storm；流计算框架 Flink；大数据编程框架 Beam；查询分析系统 Dremel。
应用：分布式计算框架 MapReduce；基于内存的分布式计算框架 Spark。
本章的重点和难点在于理解和掌握典型的机器学习和数据挖掘算法、流计算、图计算、 分布式计算框架 MapReduce、基于内存的分布式计算框架 Spark。
第八章 数据可视化
本章介绍数据可视化的概念、可视化工具和典型的可视化案例。
8.1 可视化概述
8.2 可视化工具
8.3 可视化典型案例
1. 可视化概述
识记：什么是数据可视化；可视化的发展历程。
领会：可视化的重要作用。
应用：可视化图表。
2. 可视化工具
识记：入门级工具；信息图表工具；地图工具；时间线工具；高级分析工具。
3. 可视化典型案例本章的重点和难点在于理解和掌握数据可视化的重要作用、可视化图表。
第九章 大数据分析综合案例
本章介绍一个大数据分析综合案例，对大数据分析形成一个全局性的轮廓认识，从而了解大数据理论和技术的综合运用方法。
9.1 案例任务
9.2 系统设计
9.3 技术选择
9.4 系统实现
9.5 案例所需知识和技能
通过一个具体的案例，对大数据分析全流程的部分理论和技术进行串联，从而了解这些理论和技术是如何如何有机融合在一起来解决实际应用中的具体问题的。
本章的重点和难点在于建立对大数据分析全流程的“感知性”认识。
一、
自学考试大纲的目的和作用课程自学考试大纲是根据专业自学考试计划的要求，结合自学考试的特点而确定。其目的是对个人自学、社会助学和课程考试命题进行指导和规定。
课程自学考试大纲明确了课程学习的内容以及深广度，规定了课程自学考试的范围和标准。因此，它是编写自学考试教材和辅导书的依据，是社会助学组织进行自学辅导的依据，是自学者学习教材、掌握课程内容知识范围和程度的依据，也是进行自学考试命题的依据。
二、课程
自学考试大纲与教材的关系课程自学考试大纲是进行学习和考核的依据，教材给出了学习掌握课程知识的基本内容与范围，教材的内容还包括大纲所规定的课程知识的扩展与发挥。课程内容在教材中可以体现一定的深度或难度，但在大纲中对考核的要求一定要适当。
大纲与教材所体现的课程内容基本一致；大纲里面的课程内容和考核知识点，教材里一般也要有。反过来教材里有的内容，大纲里就不一定体现。
三、关于自学教材
《大数据导论》，林子雨编著，人民邮电出版社，2020 年版。
四、关于
自学要求和自学方法的指导本大纲的课程基本要求是依据专业考试计划和专业培养目标而确定的。课程基本要求还明确了课程的基本内容，以及对基本内容掌握的程度。基本要求中的知识点构成了课程内容的主体部分。因此，课程基本内容掌握程度、课程考核知识点是高等教育自学考试考核的主要内容。为有效地指导个人自学和社会助学，本大纲已指明了课程的重点和难点，在章节的基本要求中一般也指明了章节内容的重点和难点。根据学习对象成人在职业余自学的情况，结合本专业的要求、本课程的特点，具有规律性或代表性的学习方法如下，考生自学时可以参考。
（一）系统学习、深入重点自学者首先应系统地学习各章内容，掌握要求识记的概念，深入理解和掌握基本理论和基本方法，在此基础上深入知识点，掌握重点，包括重要的原理和大数据的“4V”特性， 以便更好地把握本课程的全部内容。
（二）科学学习方法，明确相关概念、方法之间的关系考试前梳理已经学习过的内容，搞清楚一些基本概念、理论及方法之间的关系，便于记忆、加深理解，从而掌握大数据知识。例如大数据与云计算、物联网、人工智能、区块链之间的区别与联系等。
（三）深入理解教材例题，注意理论与实践相结合大数据基础知识与技能的操作性强，自学者对教材中的例题应深入理解、掌握方法， 提高分析问题和解决问题的能力。例如通过大数据分析综合案例建立对大数据分析全流程的“感知性”认识，使得自学者做到学以致用。
五、对社会助学的
要求（一）帮助自学者梳理重点和一般内容之间的关系助学者在辅导时应帮助自学者梳理重点内容和一般内容之间的关系，在他们全面掌握全部考试内容的基础上，深入大数据的“4V”特性、大数据与云计算、物联网、人工智能、区块链之间的紧密关系、大数据安全问题、大数据思维方式、大数据的伦理问题等重点内容，注意本课程大数据采集、预处理、存储、处理、分析、应用技术等内容的系统性。
（二）注意培养自学者应用知识的能力大数据理论方法的应用性比较强，助学者应帮助自学者了解大数据基础知识和相关分析、设计和实现方法的应用，适当增加一些例解培养自学者对方法应用的兴趣，深入理解基础理论，提高他们的分析应用能力。
（三）建议每学分 3 个助学学时本课程建议总助学学时不少于 15 学时。助学学时分配如下：
第一章 大数据概述
（2 学时）
第二章 大数据与其他新兴技术的关系
（1 学时）
第三章 大数据基础知识
（2 学时）
第四章 大数据
应用（1 学时）
第五章 数据采集与预处理
（2 学时）
第六章 数据存储与管理
（2 学时）
第七章 数据处理与分析
（2 学时）
第八章 数据可视化
（2 学时）
第九章 大数据分析综合案例
（1 学时）
六、对考核内容的说明
本课程要求考生学习和掌握的知识点内容都作为考核的内容。课程中各章的内容均由若干知识点组成，在自学考试中成为考核知识点。因此，课程自学考试大纲中所规定的考试内容是以分解为考核知识点的方式给出的。由于各知识点在课程中的地位、作用以及知识自身的特点不同，自学考试将对各知识点分别按三个认知层次确定其考核要求。
七、关于考试命题的若干规定
1、本课程考试采用闭卷笔试方式考核，考试时间 150 分钟，满分 100 分,60 分及格。
2、本大纲各章所规定的基本要求、知识点及知识点下的知识细目，都属于考核的内容。
考试命题既要覆盖到章，又要避免面面俱到。要注意突出课程的重点、章节重点，加大重点内容的覆盖度。
3、命题不应有超出大纲中考核知识点范围的题，考核目标不得高于大纲中所规定的相应的最高能力层次要求。命题应着重考核自学者对基本概念、基本知识和基本理论是否了解或掌握，对基本方法是否会用或熟练。不应出与基本要求不符的偏题或怪题。
4、本课程在试卷中对不同能力层次要求的分数比例大致为：识记占 30%，领会占40%，应用占 30%。
5、要合理安排试题的难易程度，试题的难度可分为：易、较易、较难和难四个等级。每份试卷中不同难度试题的分数比例一般为：2:3:3:2。
6、各种题型的具体样式参见本大纲附录。
附录题型举例
一、单项选择题
1. 以下哪个不是大数据的“4V”特性：（）
A．数据量大 B．数据类型繁多 C．处理速度快 D．价值密度高
2. 以下关于大数据、云计算和物联网的区别，描述错误的是：（）
A．大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活 B．云计算本质上旨在整合和优化各种 IT 资源并通过网络以服务的方式，廉价地提供给用户 C．云计算旨在从海量数据中发现价值，服务于生产和生活 D．物联网的发展目标是实现物物相连，应用创新是物联网发展的核心
二、多项选择题
1. 信息科技为大数据时代提供技术支撑，主要体现在哪三个方面：（）
A．存储设备容量不断增加 B．CPU 处理能力大幅提升C．量子计算机全面普及 D．网络带宽不断增加
2. 以下关于大数据、云计算和物联网的联系，描述正确的是：（）
A．从整体上看，大数据、云计算和物联网这三者是相辅相成的 B．大数据根植于云计算，大数据分析的很多技术都来自于云计算 C．大数据为云计算提供了“用武之地” D．物联网需要借助于云计算和大数据技术，实现物联网大数据的存储、分析和处理
三、填空题
1. 现在的互联网，基于大数据和人工智能的推荐应用越来越多，越来越深入，我们一直被“喂食着”经过智能化筛选推荐的信息，久而久之，会导致（信息茧房）问题。
2. 舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中明确指出，大数据时代最大的转变就是思维方式的 3 种转变，具体包括：（全样而非抽样）、（效率而非精确）、（相关而非因果）。
四、名词解释题
1. 请阐述智慧物流的概念。
2. 请阐述什么是网络爬虫。
五、简答题
1. Hadoop 具有哪些特性？
2. HDFS 的设计要实现哪些目标？
六、应用题
1. 请以实例说明 HBase 数据模型。
2. 请将数据仓库 Hive 和传统数据库进行对比分析。
七、论述题
1. 试述 MapReduce 的工作流程。
2. 试述 Spark 相对于 MapReduce 的优点。
八、案例分析题
1. 请举出几个数据可视化的有趣案列。
2. 常见的统计图表有哪些类型？给出每种类型的具体应用场景。
