Wolfram数据下降是活的!

数据应该从哪里来物联网去了?我们有很棒的技术沃尔夫拉姆语用于解释、可视化、分析、查询和其他有趣的事情。但问题是,来自所有这些连接设备和其他设备的数据应该如何到达可以用它们做好事的地方?今天我们要推出一个我认为很好的解决方案:Wolfram数据下降

Wolfram数据下降

当我第一次开始考虑数据删除时,我主要把它看作是一种方便——一种从这里到那里获取数据的方法。但是现在我们已经建立了Data Drop,我意识到它的意义远不止于此。事实上,这是我们不断努力将计算和现实世界结合起来的重要一步。

那么什么是Wolfram数据删除?在功能层面上,它是一个通用的数据累加器,用于获取和组织来自传感器、设备、程序或人或其他任何东西的数据。并以一种完全无缝计算的方式将这些数据存储在云中。

数据投放数据可以来自任何地方

我们的目标是使从任何地方将数据输入Wolfram data Drop变得非常简单web API电子邮件推特web表单Arduino覆盆子π等。我们将逐步增加越来越多的方式来连接其他硬件和软件数据收集系统。但是无论数据来自哪里,Wolfram data Drop都是以一种标准化的方式将其存储在“databin”中,并带有明确的ID。

这是一个如何工作的例子。现在我桌上有一个小装置:

这个设备记录我办公桌上的湿度、光线、压力和温度,并将其发送到一个数据输入点。电缆是电源,笔是用来显示刻度的。

它每30秒从最右边的微型传感器获取数据,并通过wifi和web API将数据发送到Wolfram data Drop数据库,该数据库的唯一ID恰好是“3pw3N73Q”。像所有的数据集一样,这个数据集在web上有一个主页:wolfr.am / 3 pw3n73q

主页是一个行政存在点它可以让你做一些事情,比如下载原始数据。但更有趣的是,数据从根本上直接集成到Wolfram语言中。一个核心概念Wolfram语言的优势在于它是基于知识的,并且有很多关于计算和世界的知识。

例如,Wolfram语言实时地了解股票价格地震更多.但现在它还可以通过Wolfram数据滴,以及上面所示的小设备,了解我桌上的环境条件。

这是如何运作的。在Wolfram语言中有一个符号对象表示数据:

在Wolfram语言中的数据表示

人们可以对它进行操作。例如,以下是数据库里数据的时间序列图:

从我桌上的状态数据数据中得到的时间序列:湿度、光线、压力和温度

下面是这些值的直方图:

我桌子上相同的湿度,光线,压力和温度数据的直方图

这是一个原始数据集:

我收集到的四种桌面大气数据的原始数据记录到数据点

真正美妙的是,数据数据库(它可以包含来自任何地方的数据)只是语言的一部分。我们可以用它来计算就像我们用其他东西来计算一样。

例如,这里是我桌子上记录的最低和最高温度:
(对于爱好者:极大极小是一个新的Wolfram语言函数)

桌面设备收集的最低和最高温度

我们可以把它们转换成其他单位(表示之前的结果):

将最低和最高收集温度转换为华氏温度

让我们把压力作为时间的函数,它是:

这里很容易检查数据的任何单独部分,压力是时间的函数

当然是Wolfram知识库具有历史意义天气数据.因此,在Wolfram语言中,我们可以问它在数据所涵盖的时间段内,我当前位置的压力是多少,结果是令人鼓舞的相似:

我所在位置的官方气压数据与我办公桌上记录的气压相当

如果我们愿意,我们可以做各种各样的幻想时间序列分析机器学习建模等等,用数据。或者我们可以做详细说明可视化它。或者我们可以设置结构化自然语言查询。

这里有一件重要的事情:请注意,当我们从databin获取数据时,它附带了单位附呈。这是Wolfram Data Drop的一个关键特性的例子:它不仅仅存储原始数据,它存储的数据具有真正的意义,因此无论在哪里使用它都可以明确地理解。

我们正在使用一项重要的技术来做到这一点:我们的Wolfram数据框架(WDF).最初是与Wolfram | Alpha,这是我们的标准符号表示真实世界的数据。Wolfram数据滴中的每个databin都可以使用WDF定义“数据语义特征“这就规定了如何解释它的数据,以及如何解释我们的自动导入自然语言理解系统应该处理新的原始数据。

所有这一切的美妙之处在于,一旦数据进入Wolfram data Drop,Wolfram语言和任何使用该语言的系统都可以对其进行普遍解释和普遍访问。因此,例如,Wolfram | Alpha以及各种intelligen可以立即访问Wolfram data Drop中的任何公共databint使用Wolfram | Alpha的助手。告诉Wolfram | Alpha一个数据项的名称,它将自动生成一份关于数据的分析和报告:

“databin 3pw3N73Q”的Wolframα结果

通过WDF,Wolfram Data Drop可立即处理10000多种数据单位和物理量.但数据删除并不局限于数字或数字数量。你想放什么都行。因为Wolfram语言象征性的,它可以以一种统一的方式处理这一切。

Wolfram数据滴自动包括时间戳,如果可以,地理位置.这两者在WDF中都有精确的规范表示。一样化学物质城市网络,或成千上万其他种类的事情。但你也可以扔掉一些东西图像进入Wolfram数据滴。

在我们的质量保证部有个摄像头覆盆子π观察两个最近收购的公司,每10分钟向Wolfram Data Drop的数据中倾倒一张图片:

图像很容易存储在数据删除,并检索

在Wolfram语言中,很容易将所有图像堆叠到一个可操作的图像中3D“鱼立方”图像

如果这是Wolfram CDF文档,只需单击并拖动即可旋转立方体并从任何角度查看它

或者对图像进行处理,得到鱼在哪里度过的热图:

显然,鱼喜欢水箱的右下方区域

我们可以用Wolfram语言做各种各样的分析。但对我来说,这里最令人兴奋的事情是通过Wolfram data Drop将新的真实数据转换到语言中是多么容易。

在我们公司,数据数据库正在迅速增长。创建它们并将现有的监控系统连接到它们是非常容易的。我们现在已经有了服务器室HVAC的数据,总部大楼屋顶的天气传感器的数据,休息室冰箱的数据,网络ping数据,以及data Drop本身的性能数据。而且每天都有新的。

很多个人数据也在被创建。我自己长期以来一直是一个个人数据爱好者。事实上,我一直是收集关于自己的个人分析已经超过四分之一个世纪了但我已经可以断定,2015年3月将出现历史性的转变。因为有了Data Drop,收集数据变得更容易了,结果是我收集的流的数量增加了。我很快就会成为至少25个数据量的人类,还会有更多。

非常重要的一点是,因为Wolfram Data Drop中的所有内容都存储在WDF,它都是语义化和规范化的,其结果是,可以立即比较或组合来自完全不同数据的数据,并使用它进行有意义的计算。

只要您处理的数据量相当有限,基本Wolfram data Drop就被设置为完全免费和开放的,这样任何人或任何设备都可以访问它立即将数据放入其中.官方用户可以输入更大数量的数据,我们预计这一速度将逐步提高。

Wolfram Data Drop数据集可以是公共的,也可以是私有的。它们可以是开放的,也可以是需要身份验证的。任何人都可以访问Wolfram数据删除在我们的主Wolfram云.但是有自己的组织Wolfram私有云他们也将很快能够在自己的基础设施中运行自己的私有数据传输。

那么使用Wolfram数据删除的典型工作流是什么呢?这取决于你在做什么。根据我的经验,即使只有一个数据库,也经常需要多个工作流。

它非常方便,能够获取任何数据,并立即以交互方式在一个数据库中进行计算沃尔夫拉姆语会话,探索其中的数据,并建立一个关于它的笔记本

但在许多情况下,人们也希望通过数据登录自动完成某些事情。例如,人们可以设置一个计划任务,从数据登录创建报告,比如通过电子邮件发送。人们还可以让报告在web上实时发布,托管在Wolfram云中,或许可以使用CloudCDF让任何人以交互方式浏览数据。人们可以这样做:在任何时候,只要有人访问某个页面,就会自动生成一个新报告,或者可以创建一个仪表板,在该仪表板中不断重新生成报告。

它并不局限于网络。一旦一份报告进入Wolfram云,它就可以立即在标准的移动或可穿戴设备上访问。它也可以在桌面系统上访问。

你不需要做报告。相反,您可以只使用一个Wolfram Language程序来监视数据,然后发送警报——或者采取其他一些操作——如果您指定的条件组合发生的话。

您可以将databin设置为公共,以便有效地通过它发布数据。或者,您可以将其设置为私有,并且仅对数据的原始发件人或您指定的某个第三方可用。您可以创建API,以原始或处理的形式访问databin中的数据,并且您不仅可以从web调用它,还可以从任何pro调用它编程语言或系统。

一个数据库可以只拥有来自一个源(或一个设备)的数据,也可以拥有来自多个源的数据,并充当一个聚合点。每一段数据都包含详细的元数据,所以人们可以知道它来自哪里。

几年来,我们一直在与制造联网设备的公司合作,特别是通过我们的连接设备项目.很多次我都遇到过类似的对话:这家公司会告诉我他们正在制造的一些很棒的新设备,它们测量的东西非常有趣。然后我会问他们设备上的数据会发生什么。通常情况下,他们会说他们非常关心这个问题,他们真的不想雇佣一个团队来为他们构建云基础设施、仪表盘和应用程序等等。

我们创建Wolfram Data Drop的部分原因是为了给这些公司提供更好的解决方案。他们负责获取数据,然后把数据放到Data drop中,然后进入我们的云(或者他们自己的私有版本),在这里,数据很容易分析、可视化、查询,并通过网页、应用程序、api或其他任何方式发布。

看起来好像很多设备公司都将使用Wolfram数据删除。他们会用不同的方式把数据传输给它。有时通过web api。有时通过直接连接到Wolfram语言系统覆盆子π.有时通过Arduino电动小鬼或与数据拖放兼容的其他硬件平台。有时通过电话或其他移动设备进行网关。有时来自其他云,他们已经在收集数据。

目前,我们还没有专门解决通过电线、wifi或蓝牙等方式从设备中获取数据的“第一码”问题。但我们正在进行设置,以便通过任何合理的解决方案,可以轻松地将数据输入Wolfram data Drop。

人们从连接的设备访问数据有不同的模式。开发人员或研究人员可以直接到Wolfram云,通过云或桌面版本沃尔夫拉姆语.面向消费者的设备公司可以选择建立他们自己的私有门户,由Wolfram云提供支持,或者也许由他们自己的门户Wolfram私有云.或者他们可以从Wolfram移动应用,或自己的移动应用程序。或从可穿戴应用程序。

有时,一家公司可能希望从许多设备(例如监控网络或研究)收集数据。同样,他们的用户可能希望直接使用Wolfram语言,或通过门户或应用程序。

当我第一次想到Wolfram Data Drop时,我假设大多数数据将来自自动化设备。但现在我们有了数据删除,我意识到它对处理人类起源的数据也非常有用。这是一种收集答案的好方法——比如在课堂上或众包项目中——收集反馈、保存日志类型的信息、做生命记录等等。一旦定义了a数据语义特征对于一个数据,Wolfram Data Drop可以自动生成一个表单来提供数据,可以部署在web或移动设备上。

表单可以要求文本,或图像,或任何东西。当它是文本时,我们的自然语言理解系统可以接受输入并自动将其解释为WDF,因此它立即被标准化。

现在我们有了Wolfram Data Drop,我一直在寻找它的更多用途——我不敢相信我没有它活了这么久。在整个Wolfram语言中,它实际上是一个自动化的故事:Wolfram Data Drop自动化了许多与从真实世界来源收集和处理实际数据相关的混乱。

对我来说,结果是,突然之间,任何人都可以自己收集和分析各种数据,而不需要建立任何特殊的系统。例如,上周末,我使用了Wolfram Data Drop来聚合云上的性能数据。通常情况下,这将是一个复杂而混乱的任务,我甚至不会考虑自己来做。但是使用Data Drop,我只花了几分钟就设置好了,而且碰巧给了我一些非常有趣的结果。

我对我将能够用Wolfram Data Drop做的所有事情感到兴奋,我很期待看到其他人用它做什么。做试用测试版我们今天发布的,给了我们反馈(当然是进入Data Drop数据库)。我希望不久之后,大量数据将被编织到世界的基础设施中:这是我们使世界可计算的长期使命的又一步……


如需评论,请访问Wolfram博客»

Baidu