商业智能的发展

什么是商业智能?

商业智能(BI)这个词现在与信息技术有着千丝万缕的联系,已经发展了 150 多年。尽管它的起源早于计算机的引入,但只有当它们被广泛使用时,才受到关注,商业智能其进展与计算机和数据库的发展密不可分。

商业智能纸和笔

先生 Richard Miller Devens 在其 1865 年出版的《商业和商业轶事百科全书》一书中创造了“商业智能”这个词。他用它来解释成功的银行家亨利弗内斯爵士是如何通过在竞争对手之前积极获取知识并采取行动来利用知识的。这表明使用统计数据和经验证据而不是直觉来制定公司计划更值得信赖。其他认识到信息有用性的人扩展了这一概念。

弗雷德里克•泰勒在 1800 年代后十年在美国创建了第一个系统化的商业分析方法。他的科学管理方法始于时间研究,研究制造程序和员工的身体运动,以确定提高工业产出的效率。

泰勒最终成为亨利福特的顾问,他开始跟踪他的福特 T 型车的每个部件在 1900 年代初期在他的装配线上完成的时间。他的努力和成就改变了全球工业部门。尽管如此,他继续使用笔和纸。

计算机辅助商业智能

电子计算机在 1930 年代还处于起步阶段,但在二战期间作为盟军试图破译德国密码的一部分,它们迅速发展。

直到 1950 年代,计算机主要将数据存储在穿孔卡片或穿孔磁带上。这些是一大堆卡片,上面有微小的孔,可以保存计算机处理的信息。然而,IBM 在 1956 年创造了第一个硬盘驱动器,允许以更大的访问自由度存储大量数据。

不久之后,1958 年,IBM 研究员 Hans Peter Luhn 发布了一个具有里程碑意义的文件商业智能系统(A Business Intelligence System)。他设想了一种基于“兴趣概况”将材料“选择性分配”到“行动点”的机制。他的工作在今天仍然具有重要意义,因为他预见到现在处于前沿的关键商业智能趋势,例如信息系统根据用户偏好进行学习和预测的潜力。我们现在将其称为机器学习。 Luhn 经常被认为是“商业智能之父”。

尽管 Luhn 的设计引起了各方的兴趣,但在当时被认为太昂贵而无法实际使用。在将其视为经济上可行的选择之前,需要更多的技术进步。

在接下来的十年中,计算机的使用量猛增,尽管事实上每台计算机都是一台巨大的机器,占据了建筑物的整个楼层,并且需要许多高素质工程师的管理才能正常运行。专家们重新审视了使用计算机从数据中得出结论的概念,但主要问题是没有可用于将所有数据收集到一个位置的集中机制。数据不能靠自己产生洞察力。最早的数据库管理系统就是为了解决这个问题而创建的。后来,它们将被简单地称为数据库。这个初始版本启用了使用二叉树方法的第一个数据库搜索。尽管这种方法在当时解决了各种困难,但目前被认为过于繁重且效率低下。尽管如此,对于负担得起的组织来说,这项新技术通过允许他们从可用数据中得出推论而提供了价值。

商业智能技术改进;大玩家进入

IBM 的 Edgar Codd 于 1970 年发布了大型共享数据库的数据关系模型。它为下一代关系数据库开辟了道路,提供了更多的数据存储和操作能力。然而,在一个不同寻常的决定中,IBM 选择不应用 Codd 的设计以保护其现有数据库系统的收入。直到竞争对手开始使用它们,IBM 才效仿。

此时有足够的市场让第一批商业智能供应商出现。 SAP、Siebel 和 JD Edwards 也在其中。它们在当时被称为决策支持系统 (DSS)。

这个阶段的主要问题是这些数据库存在“孤岛”问题。因为它们是如此一维,所以它们的应用程序多功能性受到严重限制。即使是细微的差异,例如一个数据库将城市分类为“俄亥俄州、新泽西州和纽约州”,而另一个使用“俄亥俄州、新泽西州和纽约州”,交叉引用也变得困难。

尽管如此,还是出现了越来越多成功的商业数据利用实例。尼尔森是当时最知名的之一。尼尔森评级是一种营销策略,用于评估在任何时候有多少人正在观看特定的电视节目,使用名为 Audimeter 的设备,该设备与电视机相连并记录正在观看的频道。

尼尔森收视率被广泛认为是电视行业最受关注的全国收视率调查。但是,每年会有四次“黑色周”,但没有提供尼尔森评级。由于在这些“黑暗的星期”中没有可靠的方法来衡量收视率,电视网络在他们的节目表中重复播放。

企业和公众都习惯了“黑暗的几周”,但它们在 1973 年 9 月结束了。尼尔森推出了存储瞬时审计计 (SIA),它将 1,200 个住宅连接到公司位于佛罗里达州的商业智能计算机。与公司以前的方法需要一到两周的时间相比,它可以在 36 小时内提供全国评级。一周中的每一天,一年中的每一周,都可以访问国家评级。不需要“黑暗的几周”,数据更容易获得。

Larry Ellison 和两个朋友在 1970 年代末开发了 Oracle 数据库的第一个商业版本。它是市场上第一个真正的关系数据库管理系统,用更强大的结构取代了以前的分层数据库和网络数据库的概念,允许更灵活的搜索。这项技术将塑造未来几十年商业智能的历史和趋势。

商业智能需要更多空间

更低的存储空间定价和改进的数据库为下一代商业智能产品铺平了道路。 Ralph KimballBill Inmon 提供了两种截然不同但相关的解决方案,以应对将所有业务数据集中在一个位置以便对其进行分析的挑战。这些是数据仓库(DW)。许多人认为 Inmon 是数据仓库之父。

数据仓库是旨在组合来自多个来源(通常是其他数据库)的大量数据的数据库,允许进行更深入的分析,并能够交叉引用这些不同的来源。然而,它仍然过于复杂和昂贵。需要大量昂贵的 IT 技术人员来操作和更新报告。

当时,高层管理人员依赖商业智能工具的输出,例如 Crystal Reports 和 Microstrategy。当然,还有 Microsoft Excel(1985 年发布)。商业智能现在是决策工具集的重要组成部分。

Gartner Group 的 Howard Dresdner 于 1989 年普及了“商业智能”一词,将其用作总括词,包括“通过使用基于事实的支持系统来增强公司决策制定的概念和方法”。

商业智能 1.0

数据仓库价格在 1990 年代随着越来越多的竞争对手加入市场以及越来越多的 IT 专家熟悉该技术而下降。这是“商业智能1.0”时代。

现在,所有公司员工都可以广泛使用数据,而不仅仅是高层管理人员。然而,在这个时候,提出额外的问题仍然是非常昂贵的。一旦“设计”了一个问题,解决方案就很容易获得,但仅限于该特定查询。

为了减少这项工作,创建了某些新工具和“构建块”来加速各种查询的处理:

  • ETL(提取、转换和加载)是一组工具,类似于编程语言,它使设计数据在内部流动数据仓库更简单。
  • OLAP(在线分析处理)帮助为搜索的数据开发了几种可视化选择,使分析师能够从手头的信息中得出更准确的结论

ETL 和 OLAP 技术仍然是当今商业智能系统的重要组成部分。

这也是企业资源规划(ERP)技术发展的时代。这些是连接应用程序以管理和自动化公司流程的大型管理软件系统。他们还为数据仓库提供结构化数据,这些数据仓库将在未来几年成为全球每家重要公司的中心。

微软于 1995 年推出了第一个“用户友好型”操作系统 Windows 95,计算机成为了家常便饭。这将对未来几十年人们如何生成和使用数据产生深远的影响。

新千年中的数据爆炸:商业智能被颠覆

到 2000 年,商业智能解决方案已经成为所有大中型企业的“必备品”。现在它被普遍视为保持竞争力的必要条件。

从解决方案供应商的角度来看,众多的解决方案开始集中在IBM、微软、SAP、甲骨文等少数重要竞争对手手中。

在此期间,出现了一些新的想法。保持数据仓库最新的挑战导致一些企业重新考虑他们的策略,使他们的 DW 成为他们的“单一事实来源”。其他应用程序将利用 DW 提供的信息而不是它们自己的信息来处理以前存在的数据,从而避免大多数数据不兼容的问题。说起来容易做起来难,有几个技术障碍。然而,这个概念非常有益,以至于在接下来的几年里,市场上现有的解决方案将适应应用这种方法。

随着数据变得越来越丰富并且商业智能工具被证明是有益的,开发工作的目标是提高获取信息的速度并降低获取信息的难度。工具变得更加用户友好,非技术用户现在可以在没有技术支持的帮助下收集数据并获得洞察力。

2000 年代初社交网络平台的兴起为公众在互联网上公开发表意见打开了大门,允许相关方收集(或“挖掘”)数据并对其进行评估。到 2005 年,商业世界的日益互联意味着公司需要实时信息,其中来自事件的数据可以在事件发生时集成到数据仓库中。

今年是谷歌分析推出的一年,为客户提供评估网站数据的免费选项。这也是创造“大数据”一词的一年。 O’Reilly Media 的 Roger Magoulas 将其定义为“使用典型的商业智能工具实际上难以管理和解释的大量数据”。

公司开始寻找替代方法来处理处理不断增长的数据量所需的增加的存储空间和计算能力。由于不可能制造更大更快的计算机,因此同时使用多台机器成为首选方案。这是云计算的发源地。

商业智能的现代应用

大数据、云计算和数据科学在过去十年中都已成为家喻户晓的术语。很难说近年来哪些新的发展影响最大。然而,有一些有趣的情况证明了当前分析技术的扩展潜力。

Cookie、广告和广告

技术 《纽约时报》在 2012 年发布了一篇文章,揭示了 Target 如何在父母之前检测到一名高中生怀孕。他们发现了 25 种商品,当它们一起购买时,表明女性很可能怀孕了。在女性的购买偏好可能发生变化时,Target 可能会使用此信息向孕妇提供优惠券。

一位愤怒的父母冲进了明尼阿波利斯的一个 Target,想和经理谈谈。尽管她还在上高中,但她的女儿却收到了婴儿用品折扣,他对此感到不安。经理以公司的名义大肆道歉,但几天后父亲回电话道歉:“原来我家里发生了一些我完全不知道的行为。”她的预产期是八月。我欠你一个解释。”

这个轶事故事展示了数据分析的现代潜力。

政治

奥巴马的连任竞选很大程度上依赖于数据分析。许多专家将其视为其成功的主要原因之一。该方法由竞选经理吉姆·梅西纳(Jim Messina)设计,其重点是获取选民数据并利用它来确保他们将 1)登记投票,2)投票给奥巴马,以及 3)在选举日投票。大约 100 名数据分析师参与了这项工作,这项工作是在基于 HP Vertica 的环境中进行的,并使用 R 和 Stata 进行编程。

Airwolf 是用于实现此类目标的众多程序之一。它旨在整合实地团队和数字团队的努力,确保一旦实地团队在挨家挨户的竞选活动中联系到选民,他们的兴趣就会被记录下来,以便他们经常收到来自当地的电子邮件组织者专门针对每个人最喜欢的竞选问题量身定制。

无论数据来自何处,分析师都可以使用正确的工具和数据快速而简单地回答几乎任何问题。由于奥巴马竞选活动的成功,大数据分析环境已成为之后每场竞选活动的常规必需品。

科学

虽然人类基因组计划于 2003 年完成,但仍有许多问题没有解决。尽管对构成人类 DNA 的整个核苷酸碱基对序列进行了测序,但正确理解人类遗传学的功能需要更严格的研究——它是大数据的理想用途。一个正常的人类基因组有大约 20,000 个基因,每个基因由数百万个碱基对组成。简单地绘制基因组图需要一百 TB 的数据;对许多基因组进行测序并研究基因相互作用会多次放大这个数量——在某些情况下达到数百 PB。

海法大学的科学家在 2016 年的研究中使用分析技术,能够检查所谓的基因“社会特征”。长期以来,科学家们一直试图了解导致复杂疾病发展的复杂遗传影响的潜在作用。事实证明,要实现这一目标特别具有挑战性,因为特定疾病的遗传表现通常是众多遗传标记相互作用的结果。研究人员不仅要筛选完整的基因序列,还要监测几个基因之间的相互作用。

即使仍有大量数据需要处理,但了解和治愈大量基因异常(无论大小)的道路已经铺好。

前进的道路

我们已经到了这样一个阶段,脸书可以在照片中检测到你的脸,谷歌可以预测哪种广告最适合你的个人资料,而网飞可以向你推荐节目。这是你可以在手机上聊天的时刻,而不仅仅是与电话线另一端的人聊天。要了解这些奇迹是如何产生的,需要具备处理和解释大量数据的能力。

大数据仍在上升。大约 90% 的可访问数据是在前两年产生的。 Eric Sc​​hmidt 在 2010 年的 Techonomy 会议上表示,“从文明诞生到 2003 年,全球产生了 5 EB 的信息。”现在每两天生产同样的数量。”

处理如此大量的数据仍然存在一些障碍。数据质量是商业智能中最原始和最古老的问题之一,仍然是一项艰巨的任务。分析是帮助公司理解他们收集的大量数据所需的技能,也有很大的需求。今天有几种类型的分析可用,包括描述性分析、预测性分析、规范性分析、流式分析、自动分析等。为了从数据中提取洞察力,分析采用了各种尖端技术,包括人工智能、机器学习和大量统计模型。成为一名数学家现在很流行。

商业智能解决方案越来越多地在创建时考虑到特定部门,例如医疗保健或执法部门。它目前在各种平台上运行并采用各种可视化方法,使任何人都可以通过交互式可视化界面对数据进行推理。移动商务智能正在成为现实。

如果将大数据、机器学习和分析的力量结合起来,你未来的生活可能会大不相同。也许你不再需要去杂货店了——你的冰箱会根据你的饮食习惯订购你可能需要的东西。也许你不会打电话给你的医生说你生病了,因为他们甚至会在你发现任何症状之前给你打电话。

人类目前生活在信息时代,商业智能是我们这个时代的一个重要方面,帮助我们理解这一切。许多大学目前提供商业分析作为学位课程。商业智能的历史是非常新的,但它正在进步并且日益密集。 商业智能最好的日子还没有到来。

加入世界顶尖前 1% 的自由领人才网络

领类将顶尖前1%的自由领程序员和设计师与世界各地领先品牌以及初创企业联系起来。我们专注于需要高技术人才和问题解决者的复杂且具有挑战性的一级项目。
经验丰富的项目经理正在审查从领类上聘请的自由软件工程师在软件开发项目上的进展 blog.join_marketplace.your_way经验丰富的自由 UI/UX 分析师在舒适的家中远程工作,并领类上完成 UI/UX 和产品设计项目 blog.join_marketplace.freelance_jobs