Wolfram数据下降是活的!

数据应该从哪里来物联网走?我们有很棒的技术Wolfram语言用于解释,可视化,分析,查询和否则对其进行有趣的事情。但问题是,所有这些连接设备的数据如何以及其他一切实际到达良好的东西可以使用它?今天我们正在推出我认为的一个很棒的解决方案:Wolfram数据下降

Wolfram数据下降

当我第一次开始思考数据下降时,我主要认为它是一种方便 - 从这里获得数据的手段。但现在我们已经建立了数据掉牌,我已经意识到它远远不止。事实上,我们继续努力整合计算和现实世界的重要措施。

那么wolfram数据下降是什么?在功能级别,它是一个通用数据的累加器,设置为来自传感器,设备,程序或此事,人类或其他任何其他方式的获取和组织数据。并以一种使其完全无缝成计算的方式在云中存储此数据。

Drop数据可以来自任何地方

我们的目标是让数据从任何地方进入Wolfram data Drop变得非常简单。你可以用aweb API电子邮件推特web表单Arduino覆盆子π等。我们将逐步增加越来越多的方式来连接其他硬件和软件数据收集系统。但是无论数据来自哪里,Wolfram data Drop都是以一种标准化的方式将其存储在“databin”中,并带有明确的ID。

这里有一个例子来说明它是如何工作的。现在我的桌子上有一个小装置

这个设备记录我办公桌上的湿度、光线、压力和温度,并将其发送到Data Drop数据库。电缆是动力;笔是用来显示比例的。

它每30秒从最右边的微型传感器获取数据,并通过wifi和web API将数据发送到Wolfram data Drop数据库,该数据库的唯一ID恰好是“3pw3N73Q”。像所有的数据集一样,这个数据集在web上有一个主页:wolfr.am/3pw3n73q.

主页是一个行政意见它可以让你做一些事情,比如下载原始数据。但更有趣的是,数据从根本上直接集成到Wolfram语言中。一个核心概念Wolfram语言是它是基于知识 - 并对计算和建立的世界有很多了解。

例如,Wolfram语言实时地了解股票价格地震更多.但是现在它也可以知道我桌子上的环境条件,这是由Wolfram Data Drop提供的,在这个例子中,是上面显示的小设备。

这是如何运作的。在Wolfram语言中有一个符号对象表示数据:

在Wolfram语言中的数据表示

人们可以对它进行操作。例如,以下是数据库里数据的时间序列图:

从我桌上的状态数据数据中得到的时间序列:湿度、光线、压力和温度

下面是这些值的直方图:

我桌子上相同的湿度,光线,压力和温度数据的直方图

这是一个原始数据集:

我将收集到data Drop的四种桌面大气数据的每一种原始数据记录

真正的好处是,数据列表可以包含来自任何地方的数据 - 只是语言的一部分。我们可以与它同样计算,就像我们将与其他任何东西计算一样。

例如,这里是我桌子上记录的最低和最高温度:
(迷:极大极小是一个新的Wolfram语言函数)

我的桌面设备收集的最低和最高温度

我们可以把它们转换成其他单位(代表上一个结果):

将最小和最大收集的温度转化为华氏度

我们把压强作为时间的函数提出来。这里是:

检查数据的任何一部分都很容易——这里的压力是时间的函数

当然,Wolfram知识库有历史天气数据.因此,在Wolfram语言中,我们可以问它在数据所涵盖的时间段内,我当前位置的压力是多少,结果是令人鼓舞的相似:

我所在位置的官方气象数据与我办公桌上记录的气压相当

如果我们愿意,我们可以做各种各样的幻想时间序列分析机器学习建模等等,用数据。或者我们可以做详细说明可视化它。或者我们可以设置结构化的自然语言查询。

这里有一件重要的事情:注意,当我们从databin获取数据时,它是随附的单位随附的。这是Wolfram数据丢失的关键特征的示例:它不仅仅存储原始数据,它存储具有附加到它的真正含义的数据,因此可以在任何地方都可以明确理解。

我们正在使用一项重要的技术来做到这一点:我们的Wolfram数据框架(世界飞镖联合会).最初发展与Wolfram | Alpha,这是我们的标准象征性的表示现实世界的数据。和每个数据在Wolfram数据删除可以使用WDF定义一个“数据语义特征“这指定了如何解释其数据 - 以及我们的数据自动导入自然语言理解系统应该处理进出的新原始数据。

所有这一切的美妙之处在于,一旦数据进入了Wolfram data Drop,它就变得对Wolfram语言和任何使用该语言的系统都是普遍可解释和普遍可访问的。因此,例如,Wolfram Data Drop中的任何公共数据库都可以立即被Wolfram|Alpha以及使用Wolfram|Alpha的各种智能助手访问。告诉Wolfram|Alpha数据库的名字,它就会自动生成一份关于数据的分析和报告:

“databin 3pw3N73Q”的Wolfram|Alpha结果

通过WDF, Wolfram Data Drop可以立即处理超过10,000种数据单位和物理量.但数据降不限于数字或数量。你可以把你想要的东西放在其中。而且因为Wolfram语言是象征,它可以以一种统一的方式处理这一切。

Wolfram数据删除自动包括时间戳,如果可以的话,磨牙地凉席.这两者在WDF中都有精确的规范表示。一样化学品城市物种网络,或成千上万其他类型的事情。但你也可以扔掉一些东西图片进入Wolfram数据删除。

在我们的质量保证部有个摄像头覆盆子π观察两个最近收购的公司,每10分钟向Wolfram Data Drop的数据中倾倒一张图片:

图像很容易存储在数据删除,并检索

在Wolfram语言中,很容易将所有图像堆叠在可操纵的3D“鱼立方体”图像

如果这是一个Wolfram CDF文档,您可以简单地单击并拖动以旋转立方体并从任何角度查看它

或者对图像进行处理,得到鱼在哪里度过的热图:

显然,鱼喜欢水箱的右下方区域

我们可以在Wolfram语言中进行各种分析。但对我来说,这里最令人兴奋的事情是通过Wolfram数据下降将新的真实世界数据变为语言是多么容易。

在我们公司周围,数据队正在快速增殖。创建它们非常容易,并将现有的监控系统连接到它们。我们现在已经为Server Room HVAC提供了Databins,用于我们总部屋顶的天气传感器,用于备用空间冰箱,用于网络Ping数据,以及数据丢弃本身的性能。每天都有新的。

大量的个人数据也在被创建。我本人长期以来一直是个人数据爱好者。事实上,我一直在收集关于自己的个人分析已经超过四分之一个世纪了但我已经可以断定,2015年3月将出现历史性的转变。因为有了Data Drop,收集数据变得更容易了,结果是我收集的流的数量增加了。我很快就会成为至少25个数据量的人类,还会有更多。

非常重要的一点是,因为Wolfram Data Drop中的所有内容都存储在世界飞镖联合会,它都是语义和规范化的,结果是,它立即可以比较或将数据与完全不同的数据机组合 - 并与其进行有意义的计算。

只要你处理的数据量相当有限,基本的Wolfram data Drop设置为完全免费和开放的,所以任何人或任何设备都可以立即将数据放入其中.官方用户可以进入更多的数据 - 以我们期望能够逐步增加的速度。

Wolfram Data Drop数据集可以是公共的,也可以是私有的。它们可以是开放的,也可以是需要身份验证的。任何人都可以访问Wolfram数据删除在我们的主Wolfram云.但是自己的组织Wolfram私人云彩也将很快能够拥有自己的私有Data Drops,在自己的基础设施中运行。

那么使用Wolfram数据下降的典型工作流程是什么?这取决于你在做什么。即使使用单个数据型,它常常在我想要多个工作流程的经验中常见。

它是非常方便的,能够获得任何数据,并立即与它交互计算Wolfram语言会话,探索其中的数据,并建立一个关于它的笔记本

但在许多情况下,人们还希望使用数据库自动完成一些操作。例如,可以设置一个计划任务,从数据中创建一个报告,比如通过电子邮件发送。还可以在web上实时发布报告,托管在Wolfram Cloud中,也许可以使用clouddf让任何人交互式地探索数据。可以让它在用户访问页面时自动生成新的报表,或者可以创建一个仪表板,在其中不断地重新生成报表。

它并不局限于网络。一旦一份报告进入Wolfram云,它就可以立即在标准的移动或可穿戴设备上访问。它也可以在桌面系统上访问。

你不必提出报告。相反,您可以使用Wolfram语言程序来观看DataBin,例如,发送警报 - 或者采用其他操作 - 如果您指定的任何条件的组合发生。

您可以将一个数据库公开,这样就可以有效地通过它发布数据。或者,您可以将其设置为私有,仅供数据的发起者或您指定的第三方使用。你可以制作一个API来访问原始或处理过的数据,你不仅可以从网络调用它,也可以从任何编程语言或系统调用它。

一个数据库可以只拥有来自一个源(或一个设备)的数据,也可以拥有来自多个源的数据,并充当一个聚合点。每一段数据都包含详细的元数据,所以人们可以知道它来自哪里。

多年来,我们一直与制造连接设备的公司相当相当参与,特别是通过我们的公司连接设备项目.很多次我都遇到过类似的对话:这家公司会告诉我他们正在制造的一些很棒的新设备,它们测量的东西非常有趣。然后我会问他们设备上的数据会发生什么。通常情况下,他们会说他们非常关心这个问题,他们真的不想雇佣一个团队来为他们构建云基础设施、仪表盘和应用程序等等。

我们创建Wolfram Data Drop的部分原因是为了给这些公司提供更好的解决方案。他们负责获取数据,然后把数据放到Data drop中,然后进入我们的云(或者他们自己的私有版本),在这里,数据很容易分析、可视化、查询,并通过网页、应用程序、api或其他任何方式发布。

看起来好像很多设备公司都将使用Wolfram数据删除。他们会用不同的方式把数据传输给它。有时通过web api。有时通过直接连接到Wolfram语言系统覆盆子π.有时通过Arduino电器Imp.或与数据拖放兼容的其他硬件平台。有时通过电话或其他移动设备进行网关。有时来自其他云,他们已经在收集数据。

我们目前还没有专门研究通过电线、wifi或蓝牙等从设备中获取数据的“第一码”问题。但是我们设置的东西是这样的,任何合理的解决方案,它很容易得到数据到Wolfram data Drop。

人们从连接的设备访问数据有不同的模式。开发人员或研究人员可以直接到Wolfram云,通过云或桌面版本的Wolfram语言.面向消费者的设备公司可以选择设置自己的私人门户,由Wolfram云提供支持,或者可能是他们自己的Wolfram私人云.或者他们可以从Wolfram移动应用程序或者自己的移动应用程序。或从可佩带的应用程序。

有时候,公司可能想要从多个设备中收集数据,比如为了监控网络,或者为了研究。此外,他们的用户可能希望直接使用Wolfram语言,或者通过门户网站或应用程序。

当我第一次想到Wolfram Data Drop时,我假设大多数数据将来自自动化设备。但现在我们有了数据删除,我意识到它对处理人类起源的数据也非常有用。这是一种收集答案的好方法——比如在课堂上或众包项目中——收集反馈、保存日志类型的信息、做生命记录等等。一旦定义了a数据语义特征对于一个数据,Wolfram Data Drop可以自动生成一个表单来提供数据,可以部署在web或移动设备上。

表单可以请求文本、图像或其他内容。当它是文本时,我们的自然语言理解系统能接受输入并自动解释为世界飞镖联合会,所以马上就标准化了。

现在我们有了Wolfram Data Drop,我一直在寻找它的更多用途——我不敢相信我没有它活了这么久。在整个Wolfram语言中,它实际上是一个自动化的故事:Wolfram Data Drop自动化了许多与从真实世界来源收集和处理实际数据相关的混乱。

因此,我的结果是,任何人都会突然逼真,没有得到任何建造的任何特殊系统,都会收集和分析各种数据。例如,上周末,我最终使用Wolfram数据下降来聚合云上的性能数据。通常这将是一个复杂而凌乱的任务,我甚至不会考虑自己。但是通过数据下降,我只花了几分钟来设置 - 并且就像它发生的那样,给了我一些非常有趣的结果。

我对我将能够用Wolfram Data Drop做的所有事情感到兴奋,我很期待看到其他人用它做什么。做试试beta我们今天发布的,给了我们反馈(当然是进入Data Drop数据库)。我希望不久之后,大量数据将被编织到世界的基础设施中:这是我们使世界可计算的长期使命的又一步……


如欲发表评论,请访问Wolfram博客»

Baidu