首先,大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
近两年来,大数据被应用到影视制片行业,基于对观众偏好的分析,去预测、设计观众喜欢的剧情,找观众喜爱的演员出演相关的角色,甚至可以去预测票房。这些所有的预测都是基于数据的基础上,经过一定的模型处理,得到接近真实的结论。从某种程度上给决策者决策的依据,比如《纸牌屋》和《星星》。
大数据还有一个重要的作用,就是解决人们的“选择”问题。别笑,无论你的年龄、性别、教育背景,人们目前都面临着前所未有的选择问题。讲的学术一些,这是由于“长尾效应”导致的问题;讲得通俗一些,就是由于日益增多的可选择的对象和我们自身的处理能力之间的矛盾。
科技的进步让人变得更懒,也就是我们自身的处理能力降低,无论是主观的还是客观的。而可被选择的对象却在日益增多。从纷繁复杂的商品(电商),到海量曲库中的乐曲;从婚恋网站的男女朋友,到交通管理的信号灯。
基于人工智能下的大数据,就是可以使人们“变懒”的一个手段。基于你的历史行为,判断出你可能的喜好,乃至需求,将最佳结果,推荐给你。这就是大数据,她是你的贴心管家,或者说是最懂你的朋友。
学习大数据