姚梦娜提出的这个问题,对于常浩南来说,不难理解。
只是很难解决。
真要说起来的话,这涉及到文本挖掘、数据可视化、信息检索、数据挖掘、机器学习乃至人工智能等一系列问题。
如果真做到姚梦娜所设想的那样全自动化生产,那就是工业40了。
在1999年这个时间点上,显然不大现实。
但不可能完全实现这一整套东西,并不意味着其中没有可以作为突破口的部分。
比如数据挖掘和信息检索,就是千禧年附近很火热的研究方向。
这就导致如今他脑子里空有一大堆名词,但却不知道哪個是破局的关键——
常浩南放下只吃了一口的羊汤面,蹭地站起身,快步离开食堂。
正在低头吃饭的姚梦娜一愣,旋即意识到常浩南这还是在思考刚才她提出来的问题。
常浩南思索半晌,又在纸上写下了三个基本条件:
但与此同时,这一组数据又往往不只能描述这一个含义。
给定一组高维数据x={x1,x2,…,xn}rd,n为数据样本个数,d为高维数据的维数。
实际上,他此时就面临着无法从大量繁杂信息中提取出有价值信息的困境。
但常浩南仍然没有动筷子。
“信息……”
而反过来,现实中收集到的信息,在多数情况下,本身就是已经展开过的高维数据。
虽然她觉得在两位博士面前有点班门弄斧,但最后还是没忍住:
尽管仍然没有给出完整的思路,但是,他至少已经把三个抽象的基本条件解析成为了一个具体的数学问题。
3、提取到高质量的数据特征,提升后续的数据表示和分类任务的效果。
“你们说……”
朱雅丹满脑袋问号地抬起头,但看着常浩南思考的样子,很有自知之明地没有打扰。
再假设x中的数据样本来自于或近似来自于低维嵌入空间中的数据y={y1,y2,…,yn}rd。
寻找一个从高维观测空间到低维嵌入空间的映射关系,使得yi=(xi),以及一个一对一的重构映射关系-1,使得xi=-1(yi)。
“调料包大概占整包方便面重量的10左右,如果少放或者多放,那应该很容易检测出来。”
而对于稍复杂一些的情况来说,要完全描述一个含义,往往需要一组数据。
而系统,则首先需要构建出一个完整且可行的思路出来。
“人类的大脑能够通过某种办法解析高维数据,从而获取对外部世界的感知。”
实际生活中面临的,其实大多数也是这种问题。
1、对原始高维数据进行压缩,降低原始高维数据的维度,进而节省存储空间,同时也降低高维数据的计算复杂度。
十五分钟后,三人(连同朱雅丹)已经围坐在了食堂二层的一个圆桌旁边。
回到办公室的常浩南重新找到了刚才那张纸。
不如先放松一下,换个思路。
在近70年前,美国统计学家哈罗德·霍特林就已经提出过将高维数据进行降维的主成分分析法。
不知不觉间,常浩南就在办公桌前枯坐到了快要吃午饭的时候。
给方便面里面塞调料包和给飞机打铆钉,在数学模型上其实是差不多的。
实际上,在常浩南重生之前,飞机设计和制造领域已经开始应用这方面的技术,他本人也接触过不少。
他认为方差越大提供的信息越多反之提供的信息越少,于是通过原分量的线性组合构造方差大、含信息量多的若干主分量,再进行矩阵奇异值分解,实现数据维数的降低。
没有灵感,说啥都没用。
常浩南摇摇头否定道。
这里算是个点餐制的小灶,价格比下面的大食堂贵一些,加上还要多上一层楼,因此来这里吃饭的人并不算多。
常浩南不是那种死钻牛角尖的人。
而生产方便面的企业,显然不太可能有多么高大上的设备和技术。
在三个基本条件下方又写下了几行字。
“生产方便面的企业,是怎么保证不漏装或者多装调料包的?”
其核心目的是从海量数据库和大量繁杂信息中提取出有价值的知识,并进一步提高信息的利用率。
餐桌周围又恢复了平静,只剩下偶尔发出的微弱咀嚼声。
但到了99年这会,大学生在宿舍备上几袋甚至一箱,都不算什么稀罕事了。
仍然没能想出一个很好的思路。
“大概……称重?”
但主成分分析法只相当于找到投影距离最小的意义下的最佳线性映射,而现实中却没有那么多简单的线性问题。
确实有点饿了。
“换句话说,具有高维数的外部信息必定潜在于一个低维空间中的非线性流形结构上……”
姚梦娜看了看纸上的一个名词和三句话,也知道常浩南大概是没什么思路,干脆站起身道:
“要不先去吃个饭?”
倒是旁边的小超市,来来往往的人流量不少。
不过,这个思路却是可以被借鉴的。
也就是一维数据。
显然,这并不能被算作是“完整且可行”的思路。
要想在数学上描述这种一组(多个)数据对应多个含义的现象,就需要将一组数据在不同的维度上进行展开。
……
直到一阵来自腹部的叫声把它从深思中吵醒。
而如果想要让计算机处理这些高维数据