你知道什么是大数据吗?大数据能够用来做什么呢?今天让我们一起讨论一下


你好!

大数据技术可以理解为在巨量的数据资源中提取到有价值的数据加以分析和处理,主要的表现特征如下:

数据量大(Volume):第一个特征是数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

类型繁多(Variety):第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网路日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

价值密度低(Value):第三个特征是数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵。随著互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器演算法来挖掘数据价值,是大数据时代最需要解决的问题。

速度快时效高(Velocity):第四个特征数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐演算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

大数据的岗位可以分为三大类:

大数据系统研发人员、

大数据应用开发人才和大数据分析人才;

最普遍同时需求也大的是大数据系统研发工程师、大数据应用开发工程师和数据分析师。

大数据架构工程师:

负责Hadoop集群架构设计开发、搭建、管理、运维、调优;负责数据对接和对外服务设计、开发和维护; 负责大数据框架和大数据应用的程序设计、开发和维护;负责基于大数据技术对海量数据的自动分析处理和挖掘工作;

大数据开发工程师:

基于hadoop、spark等构建数据分析平台,进行设计、开发分散式计算业务;辅助管理Hadoop集群运行,稳定提供平台服务;基于Spark技术的海量数据的处理、分析、统计和挖掘;基于Spark框架的数据仓库的设计、开发和维护

大数据运维工程师:

负责大数据基础平台的运维,保障平台的稳定可用;负责应用产品部署、上线及维护;负责大数据平台资源管理、性能优化和故障处理;深入研究大数据业务相关运维技术,持续优化集群服务架构;参与设计大数据自动化运维、监控、故障处理工具。

希望以上回答对你有所帮助,想对大数据有更多的了解,你可以关注我的专栏:

从头学习大数据?

zhuanlan.zhihu.com图标

或加入大数据交流圈:

海牛大数据集训营 - 知乎?

www.zhihu.com图标


大数据在面对不同的对象会体现出不同的价值,对于企业来说,大数据意味著一种新的运营方式、创新方式和服务方式,而对于广大的职场人来说,大数据是一种新的工作方式,对于学生来说,大数据会开辟出更多新的学习渠道。简单地说,大数据能够为目前的信息化、网路化社会进行全面的「赋能」。

从大数据的技术体系来看,大数据涉及到数据的采集、整理、存储、安全、分析、呈现和应用,这一系列操作的结果就是让数据产生价值,也就是「数据价值化」,随著未来更多的社会资源将进行数据化改造,大数据所能够起到的作用也会越来越明显。所以当前更多的企业对于大数据越来越关注,而掌握大数据技术的职场人也会有更多的发展机会。

对于企业来说,利用大数据技术不仅能够全面升级自身的运营方式,也能够促进企业的管理,以及产品的创新。从这个角度来看,大数据的发展前途对于企业的发展前途有重要的影响,在当前产业结构升级的大背景下,大数据的发展前景还是非常广阔的。当然,企业要想充分利用大数据,还需要逐渐完善大数据的应用体系,包括物联网、云计算、传统信息系统等。

对于职场人来说,掌握大数据技术会在一定程度上促进自身的岗位升级,而且也会打开更多新的就业渠道。目前大数据岗位比较集中在互联网领域,这与互联网行业自身的特点有关系,随著大数据技术逐渐开始落地到传统行业领域,整个传统企业会释放出大量的大数据岗位,而且这些岗位的附加值往往也比较高。

我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智慧领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有互联网、大数据、人工智慧等方面的问题,或者是考研方面的问题,都可以在评论区留言,或者私信我!


首先区分「大数据」和「大数据技术」。

「大数据」,在业界是指「大数据问题」,即超出了现有处理能力的数据。业界给出的四个特点是:数据量大(PB级以上),

数据格式难处理(图片,视频等非常规数据格式),

价值密度低(如在一个月的交通摄像记录中,查找一个车牌号)处理速度要求高

「大数据技术」,即为了解决「大数据问题」而研发的不同于以往常规技术的新技术。

大数据技术应用领域:全领域。1,查询:用几分钟或更短时间,在交通摄像记录中找到近3个月或更长时间范围内,某车牌在全国范围内的行驶轨迹。2,分析:全世界近五十年,各城镇每小时气温变化的原因。3,预测:1分钟内,显示从北京到拉萨,考虑到所有可能发生的情况后,最佳的路线(驾车,火车,航班,长途客车等)

大数据是什么?在很多人的眼里大数据可能是一个很模糊的概念,但是,在日常生活中大数据有离我们很近,我们无时无刻不再享受著大数据所给我们带来的便利,个性化,人性化。

全面的了解大数据我们应该从四个方面简单了解。定义,结构特点,我们身边有哪些大数据,大数据带来了什么,这四个方面了解。 那么「大数据」到底是什么呢?

在麦肯锡全球研究所给出的定义中指出:大数据即是一种规模大到在获取,存储,管理,分析方面大大超出了传统资料库软体工具能力范围的数据集合。简单而言大数据是数据多到爆表。大数据的单位一般以PB衡量。那么PB是多大呢?1GB=1024MB ,1PB=1024GB才足以称为大数据。

其次,大数据具有什么样的特点和结构呢? 大数据从整体上看分为四个特点,第一,大量。 衡量单位PB级别,存储内容多。 第二,高速。 大数据需要在获取速度和分析速度上要及时迅速。保证在短时间内更多的人接收到信息。 第二,多样。 数据的来源是各种渠道上获取的,有文本数据,图片数据,视频数据等。因此数据是多种多样的。 第三,价值。

大数据不仅仅拥有本身的信息价值,还拥有商业价值。大数据在结构上还分为:结构化,半结构化,非结构化。结构化简单来讲是资料库,是由二维表来逻辑表达和实现的数据。非结构化即数据结构不规则或不完整,没有预定义的数据模型。由人类产生的数据大部分是非结构化数据。 那我们身边有哪些东西是大数据呢? 在生产生活中常见的有电信数据:通话数据、简讯数据、手机浏览数据。银行数据,微信聊天数据等。

最后,大数据能做什么? 人们的生活离不开它,因为他在日常生活中发挥的作用逐渐加强。例如:用户画像,帮助人们制定个性化的需求,知识图谱。人工智慧例如:谷歌的「阿尔法狗」在围棋大赛中赢得、阿里巴巴的ET、百度的无人驾驶汽车等。数字货币,物联网等。 通过以上对大数据的详细介绍让我么对「大数据」有了更清晰的认识,也让我们知道大数据越发是我们生活工作不可或缺的一部分,因此我们应该更好地融入这个与时俱进的互联网时代,学习大数据也将会是我们生活的一部分。想要了解更多大数据知识可以点【https://sourl.cn/nb94Hi


我给你通俗易懂的讲解下吧。知道路边让你填写表格送礼物的事情吗?那个就是大数据的前身。市场营销数据调研分析的前奏。那互联网来临,数据不再需要拿著表格一个个收集,成本太高。而一些网站技术架构达到了数据量,数据批量处理,数据分析能力。他们就拥有了大数据条件。

大数据并不是说你有几个亿的存档资料就叫大数据。这是一个动态概念。其实就是市场营销概念。研究过市场营销的都明白,市场营销核心关键词是需求。而需求都是用户的心理诉求。所以,就产生了消费心理学,统计学,经济学,管理学等综合学科,就是营销学。而大数据就是研究人性,掌握市场心理,主导市场方向的。

更多的可以跟我做朋友。


对于什么是大数据很多人肯定有了一定的初步了解, @联科数据 但对于大数据的应用可以说也是非常广泛,现如大数据的应用已经延伸到各行各业,下面就简单的介绍几种:

联科数据:什么是大数据,什么是大数据概念??

zhuanlan.zhihu.com图标

1、在金融业中,大数据的在三大金融创新领域有著重要的作用,高频交易,社会情绪分析和信贷风险分析;

2、互联网行业,借助于大数据技术,可以分析客户行为,进行商品推荐和针对性广告投放

3、医疗行业,借助于大数据技术,实现电子病历、实时的健康状况预警和患者需求的预测和医疗行业的人工智慧;

4、制造业,利用工业大数据提供制造业水平,包括产品故障诊断与预测,工艺流程分析、生产工艺改进,生产工艺能耗优化,工业供应链分析与优化等等。这里就不多介绍了

就先介绍到这里,有更多想了解的问题就私信我。


推荐阅读:
相关文章