无意中看到的这个SOINN，然后记录一下；
自组织增量学习神经网络(Self-organizing incremental neural network, SOINN)实现包括学习、记忆、联想、推理、常识等方面的研究，最终目的是实现能够模拟人类大脑的供智能机械使用的通用型智能信息处理系统——人工脑。 其主要研究内容包括：
a. 基于SOINN的监督学习、非监督学习、半监督学习算法研究
b. 基于SOINN的通用型联想记忆系统研究
c. 基于SOINN的pattern-based reasoning（基于模式的推理）系统研究
d. 基于SOINN的常识系统的构建
以上述各研究为基础，建立类似于人脑的能处理视觉、听觉，能实现对话、推理，具有相当程度自主性的人工脑系统，该人工脑系统在和环境交互作用、和人交流等的过程中能够不断发展自己对世界的认知能力。
关于SOINN的研究，由于是南京大学的申富饶自主开发的这个系统，所以最多的工作开始在南京大学： http://cs.nju.edu.cn/rinc/SOINN.html ，和日本东京工业大学有很多作品， http://haselab.info/soinn-e.html 可以访问，包括论文以及源码。
增量学习
增量学习是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识。增量学习非常类似于人类自身的学习模式。因为人在成长过程中，每天学习和接收新的事物，学习是逐步进行的，而且，对已经学习到的知识，人类一般是不会遗忘的。
增量学习思想可以描述为：每当新增数据时，并不需要重建所有的知识库，而是在原有知识库的基础上，仅对由于新增数据所引起的变化进行更新。
当新课程的培训逐渐增加时，整体表现急剧下降。这是由于当前的神经网络架构需要整个数据集，包括来自旧类和新类的所有样本，以更新模型 - 随着类数量的增加，这一要求变得容易不可持续。
作用以及重要性
增量学习思想的重要性体主要在2个方面：
1）在实际的感知数据中，数据量往往是逐渐增加的，因此，在面临新的数据时，学习方法应能对训练好的系统进行某些改动，以对新数据中蕴涵的知识进行学习；
2）对一个训练好的系统进行修改的时间代价通常低于重新训练一个系统所需的代价。
特点
许多作者甚至将增量学习等同于在线学习(Online Learning)。这里,引用Robipolikar对增量学习算法的定义,即一个增量学习算法应同时具有以下特点:
1)可以从新数据中学习新知识;
2)以前已经处理过的数据不需要重复处理;
3)每次只有一个训练观测样本被看到和学习;
4)学习新知识的同时能保存以前学习到的大部分知识;
5)—旦学习完成后训练观测样本被丢弃;
6)学习系统没有关于整个训练样本的先验知识;
常见的算法
1）自组织增量学习神经网络
自组织增量学习神经网络（SOINN）是一种基于竞争学习的两层神经网络。SOINN的增量性使得它能够发现数据流中出现的新模式并进行学习，同时不影响之前学习的结果。因此SOINN能够作为一种通用的学习算法应用于各类非监督学习问题中。
SOINN是两层结构（不包括输入层）的竞争性神经网络，它以自组织的方式对输入数据进行在线聚类和拓扑表示，其工作过程如图一所示。第1层网络接受原始数据的输入，以在线的方式自适应地生成原型神经元来表示输入数据。这些节点和它们之间的连接反映了原始数据的分布情况；第2层根据第1层网络的结果估计出原始数据的类间距离与类内距离，并以此作为参数，把第1层生成的神经元作为输入再运行一次SOINN算法，以稳定学习结果。
2）情景记忆马尔可夫决策过程
情景记忆马尔可夫决策过程EM-MDP准确来说是一套完整的人工智能方案（简化版），这个框架中包括对情景的认知、增量学习、短期与长期记忆模型。
我们将焦点放在框架中的增量学习部分。该框架基于自适应共振理论（ART）与稀疏分布记忆（SDM）的思想实现对情景记忆序列的增量式学习。相比SOINN网络每次最多只能有一个输出节点，该方法具有环境适应性好的优点。
3）结合深度学习
我们通过逐步学习深度神经网络的方法来解决这个问题，使用新数据并且只使用与旧类中的样本相对应的小样本集。这是基于由蒸馏措施组成的损失，以保留从旧类中获得的知识，以及用于学习新类的交叉熵损失。
Published Papers
Furao Shen and Osamu Hasegawa, " Self-organizing Incremental Neural Network and its Applications ", Tutorial, International Joint Conference on Neural Networks (IJCNN 2009)
Furao Shen and Osamu Hasegawa, " An Incremental Network for On-line Unsupervised Classification and Topology Learning ", Neural Networks, Vol.19, No.1, pp.90-106, (2006)
Shen Furao, Akihito Sudo, Osamu Hasegawa. " An online incremental learning pattern-based reasoning system ", Neural Networks 23, pp.135-143, (2010).
Furao Shen, Tomotaka Ogura and Osamu Hasegawa, " An enhanced self-organizing incremental neural network for online unsupervised learning ", Neural Networks, Vol.20, No.8, pp.893-903, (2007)
- SOINN-NN (Nearest Neighbor)
Furao Shen and Osamu Hasegawa, " A Fast Nearest Neighbor Classifier Based on Self-organizing Incremental Neural Network ", Neural Networks, Vol.21, No.10, pp1537-1547, (2008)
Software
From the below link, you can get the source code and sample datas of SOINN program with single layer.
Since we upload these program as the solution of Microsoft Visual Studio 2005, please change some properties of it to use if you need.
==============================
- Aram Kawewong, Yuji Koike, Osamu Hasegawa and Fumio Sato, “Fast and Incremental Neural Associative Memory Based Approach for Adaptive Open-loop Structural Control in High-rise Buildings”, Proc. ICONIP2011 (2011), accepted
- Hiroshi Morioka, Yi Sangkyu, Osamu Hasegawa : "Vision-based Mobile Robot’s SLAM and Navigation in Crowded Environments", IEEE/RSJ International Conference on Intelligent Robots and Systems, (IROS 2011), accepted
- Sirinart Tangruamsub, Aram Kawewong, and Osamu Hasegawa, “Fast Online Incremental Attribute-based Object Classification Using Stochastic Gradient Descent and Self-Organizing Incremental Neural Network”, IPCV’11: July 18-21, 2011, USA
- Aram Kawewong, Sirinart Tangruamsub, PichAI Kankuekool and Osamu Hasegawa, "Fast Online Incremental Transfer Learning for Unseen Object Classification Using Self-Organizing Incremental Neural Networks", The 2011 International Joint Conference on Neural Networks (IJCNN)
上一篇：《心理学与生活》之行为的生物学基础
下一篇：冷水洗脸有哪些功效 洗脸的禁忌早知道 |
窥视卡
雷达卡
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
