-
革新企业业务方式的10个大数据趋势
所属栏目:[大数据] 日期:2022-01-03 热度:180
大数据虽然发展缓慢但却坚决地在改变着企业做业务的方式。在每个行业都有不同的使用案例,大数据咨询公司Think Big的CEO兼创始人Ron Bodkin说。大数据释放出一种利用数据工作的能力,这种能力长期受到了压制。现在终于有了大量被压抑的需求被释放了出来。 下[详细]
-
大数据变现仍然举步维艰的理由
所属栏目:[大数据] 日期:2022-01-03 热度:84
企业都知道大数据应用的重要性,大数据也渐渐被引入企业的应用平台中,但是大数据的应用结果并没有企业想象中的那么顺利,为什么大数据的变现过程中如此艰难。 第一、大数据的价值还没有受到应该有的关注,大数据的应用公司越来越多,大数据的言论越来越多,[详细]
-
为什么数据化运营如此关键?
所属栏目:[大数据] 日期:2022-01-03 热度:185
企业都知道大数据应用的重要性,大数据也渐渐被引入企业的应用平台中,但是大数据的应用结果并没有企业想象中的那么顺利,为什么大数据的变现过程中如此艰难。 第一、大数据的价值还没有受到应该有的关注,大数据的应用公司越来越多,大数据的言论越来越多,[详细]
-
对于大数据,你必须要清楚
所属栏目:[大数据] 日期:2022-01-03 热度:68
大数据目前的技术和应用都是在数据分析、数据仓库等方面,主要针对OLAP(Online Analytical System),从技术角度来说,包含两条腿:一条腿是批量数据处理(包括MR、MPP等),另一条腿实时数据流处理(Storm、内存数据库等)。在此基础上,部分场景又发现MR[详细]
-
吐血整理盘点19种大数据处理的典型工具
所属栏目:[大数据] 日期:2021-12-22 热度:2956
大数据的生命周期分为数据获取(data acquisition)、数据存储(data storage)、数据分析(data analysis)以及结果(result),并且将前述大数据处理的三代技术中相关的工具映射至数据获[详细]
-
为什么Spark能成为最火的大数据计算引擎?它是怎样工作的?
所属栏目:[大数据] 日期:2021-12-22 热度:101
十年前我们只有Hadoop,大家首先通过HDFS实现海量数据的共享存储,然后使用MapReduce以批处理的方式处理这些海量数据,这一切看起来似乎十分完美。 但众口难调啊,有人觉得MapReduce的编程模型太难使用了,为什么不能使用SQL来分析数据呢?我们数据库领域已经[详细]
-
如何做一个好的大数据平台架构
所属栏目:[大数据] 日期:2021-12-22 热度:177
Lambda架构背后的需求是由于MR架构的延迟问题。MR虽然实现了分布式、可扩展数据处理系统的目的,但是在处理数据时延迟比较严重。实际上如果内存和CPU足够强大,MR也可以实现近实时运算,但实际业务环境并非如此,因此我们需要权衡,选择实时处理和批处理所需[详细]
-
Reactive-MongoDB异步Java Driver解读
所属栏目:[大数据] 日期:2021-12-22 热度:95
从3.0 版本开始,MongoDB 开始提供异步方式的驱动(Java Async Driver),这为应用提供了一种更高性能的选择。 但实质上,使用同步驱动(Java Sync Driver)的项目也不在少数,或许是因为先入为主的原因(同步Driver的文档说明更加的完善),又或者是为了兼容旧的 M[详细]
-
数据仓库Hive vs 准实时分析系统Impala
所属栏目:[大数据] 日期:2021-12-22 热度:54
什么是Hive? Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。Hive支持HSQL,是一种类SQL。 也由于这种机制导致Hive最大的缺点是慢。MapReduce调度本身[详细]
-
大数据Spark运行环境Standalone模式与配置详解
所属栏目:[大数据] 日期:2021-12-22 热度:169
大数据Spark运行环境:Standalone模式与相关配置详解 Standalone模式 这里我们来看看只使用Spark自身节点运行的集群模式,也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave模式。 集群规划: 大数据Spark运行环境:S[详细]
-
终于有人把云计算物联网和大数据讲明白了
所属栏目:[大数据] 日期:2021-12-22 热度:191
根据美国国家标准与技术研究院(National Institute of Standards and Technology,NIST)的定义,云计算是指能够针对共享的可配置计算资源,按需提供方便的、泛在的网络接入的模型。上述计算资源包括网络、服务器、存储、应用和服务等,这些资源能够快速地提供[详细]
-
Kafka消费与心跳机制
所属栏目:[大数据] 日期:2021-12-22 热度:108
最近有同学咨询Kafka的消费和心跳机制,今天笔者将通过这篇博客来逐一介绍这些内容。 .内容 2.1 Kafka消费 首先,我们来看看消费。Kafka提供了非常简单的消费API,使用者只需初始化Kafka的Broker Server地址,然后实例化KafkaConsumer类即可拿到Topic中的数据[详细]
-
为何放弃数据库,Hive和Spark,偏偏选择Flink?
所属栏目:[大数据] 日期:2021-12-22 热度:201
技术选型: 为什么批处理我们却选择了 Flink? 最近接手了一个融合日志的服务. 经过梳理, 我认为当前服务的设计上存在缺陷. 与 Leader 开会讨论后, 决定重新进行技术方案调研, 最终我们选择使用 Flink 重构了该服务. 目前重构后的服务已成功经受了国庆节流量洪[详细]
-
Redis基础剖析基础数据结构及其用法
所属栏目:[大数据] 日期:2021-12-22 热度:126
如果你是一个有经验的后端或者服务器开发,那么一定听说过Redis,其全称叫Remote Dictionary Server。是由C语言编写的基于Key-Value的存储系统。说直白点就是一个内存数据库,既然是内存数据库就会遇到如果服务器意外宕机造成的数据不一致的问题。 这跟很多游[详细]
-
三星 Galaxy S21 系列推送 One UI 4 Beta 5 更新 提高性能
所属栏目:[大数据] 日期:2021-12-22 热度:68
三星 向 Galaxy S21、S21+、S21 Ultra 手机推送了 One UI 4 Beta 5 系统更新。本次更新重点为手机提升了性能,改善了稳定性。 三星 Galaxy S21 本次更新为 ZU1L 版本,更新日志如下: 改善了一些应用程序在打开应用分身时发生崩溃的问题 优化了手机的稳定性,[详细]
-
人工智能技术迅猛发展,AI信任问题如何破除?
所属栏目:[大数据] 日期:2021-12-22 热度:152
说到AI,首先你会想到的是什么?是九段天才棋手柯洁大战AlphaGo?是自动驾驶?还是跟朋友聊到某个话题时手机秒推送的同类广告? 抑或是让父母都认不出来的易容神器? 从1950 年图灵之问到如今产业的蓬勃发展,人工智能技术早已渗透到人们生活的方方面面。但迅[详细]
-
跨越山海 中国轨道交通迈向智慧将来
所属栏目:[大数据] 日期:2021-12-22 热度:67
装备制造业是国之重器,而我国轨道交通装备制造业是创新驱动和绿色发展的典型代表,更是中国制造走向世界的一张亮丽名片。 在湖南省株洲市近日举办的2021中国国际轨道交通和装备制造产业博览会(以下简称轨博会)上,一批跨行业的新技术、新应用集中发布和展[详细]
-
天津市首个轨道交通智慧车站投入运用
所属栏目:[大数据] 日期:2021-12-22 热度:175
津市地铁9号线张贵庄智慧车站管控平台近日正式上线运行。张贵庄站是天津的9号线高架站,该平台由中国航天科工集团三院8357所承研,结合5G通信、工业互联网以及多项人工智能技术,成功实现了智慧照明、智慧环境、智慧能源、一键开关站、智慧视频、智慧站务等[详细]
-
智慧交通 推动精细治理
所属栏目:[大数据] 日期:2021-12-22 热度:68
走进安徽省合肥市公安局交警支队交通指挥大厅,一块巨大的电子屏幕几乎占满了整个墙面,上面清楚地显示着合肥市的实时路况、警力分布、交通事故处理进度等信息。 指挥大厅于2020年升级改造完成,设有指挥长席、指挥调度席、综合研判席、视频巡检席、勤务督导[详细]
-
渐进式自动驾驶能不能后发先至?
所属栏目:[大数据] 日期:2021-12-22 热度:197
自动驾驶亿万美元的蛋糕没有人不想分一杯羹。 近期,上汽旗下的享道出行推出了Robotaxi,而广汽集团也战略入股了国内知名自动驾驶初创公司文远知行。车企布局Robotaxi的脚步正在加快。 另一方面,越来越多的消费者愿意为智能汽车技术买单,只是他们的关注点更[详细]
-
想用好AI,你得趁早做好这两问题!
所属栏目:[大数据] 日期:2021-12-22 热度:88
过早地孤掷一注 正如你无法在一夜之间建立数据文化一样,你也不应该期望分析项目会立即取得转型成功。成功的AI或机器学习计划需要人员、流程、技术方面的经验以及良好的基础设施支持,获得这些经验不是能一蹴而就的。在IBM的计算机Watson赢得Jeopardy比赛或De[详细]
-
人工智能改变网络安全的五种方法
所属栏目:[大数据] 日期:2021-12-22 热度:171
人工智能是中性技术,在网络安全攻防两端都将发挥重要作用,随着越来越多的人工智能技术被用于网络攻击和获得未经授权的数据访问,防御端对人工智能技术的依赖度也将进一步提高。网络安全专家和软件提供商正在通过人工智能技术,使攻击者绕过安全措施变得更加[详细]
-
智能对话机器人在客服领域不停成熟
所属栏目:[大数据] 日期:2021-12-22 热度:194
对话式人工智能供应商Gnani坚信,在未来两到三年内,对话型AI机器人将得到大幅改善,并激发消费者和企业用户的信心。 如果你想在汽车经销商那里试驾,你可以用一百万种方法来表达。你可以说我想试驾,但也可以说我想看看长城炮的性能。 除非机器人的人工智能([详细]
-
像毛毛虫一样爬上墙,上交大新型软体机器人能水平垂直过渡移动
所属栏目:[大数据] 日期:2021-12-22 热度:172
如今的机器人,可谓是千姿百态、形态各异,比如长成这样的: 这些看似奇特的机器人大多是受自然生物启发而设计的。本文的主角是下面这位:一条机器人,是的,一条。 这是上海交通大学机械与动力工程学院机器人研究所谷国迎教授团队受尺蠖启发研发的一种新型软[详细]
-
比较Hadoop、Spark和Kafka大数据框架
所属栏目:[大数据] 日期:2021-12-19 热度:178
大约十年前,大数据开始流行。随着存储成本不断下降,很多企业开始存储他们获取或生成的大部分数据,以便他们可以挖掘这些数据,以获得关键的业务洞察力。 企业分析所有这些数据的需求推动着各种大数据框架的开发,这些框架能够筛选大量数据,从Hadoop开始。[详细]