Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет - Терренс Дж. Сейновски

Computation, The Salk Institute, 2001.

147

Тони Белл изучает структуру воды с помощью ICA и спектроскопии в ближней инфракрасной области. Он пытается доказать, что вода образует связанные структуры, которые взаимодействуют через свет и образуют питательную среду для биомолекулярной жизни в невидимых до сих пор масштабах. Идея состоит в том, что решение возникает, когда «нейронные схемы» разряжаются в достаточной степени, чтобы распространить связанную информацию из более распределенных атомных сетей внутри клеток по всему телу. – Прим. авт.

148

Минимальное время, за которое большинство нейронов могут сформировать решение, – около 10 миллисекунд, а путь к решению за 1 секунду состоит не более чем из 100 временных шагов. – Прим. авт.

149

В физике электромагнетизма Майкл Фарадей применял «грязные» методы, а Джеймс Клерк Максвелл – «чистые». – Прим. авт.

150

Bullock T. H., and Horridge G. A. 1965. Structure and function in the nervous systems of invertebrates. W.H. Freeman and Co., San Francisco.

151

Chen E., Stiefel K. M., Sejnowski T. J., Bullock T. H. Model of Traveling Waves in a Coral Nerve Network, Journal of Comparative Physiology A, 194(2):195–200, 2008.

152

Levine D. S., Grossberg S. «Visual illusions in neural networks: line neutralization, tilt after effect, and angle expansion». J Theor Biol. 1976 Sep 21; 61(2):477–504.

153

Ermentrout G. B., Cowan J. D. «A mathematical theory of visual hallucination patterns». Biol Cybern. 1979 Oct; 34(3):137–50.

154

Hopfield J. J. «Neural networks and physical systems with emergent collective computational abilities», Proceedings of the National Academy of Sciences of the USA, vol. 79 no. 8 pp. 2554–2558, April 1982.

155

Алгоритм Марра – Поджио для стереозрения, упомянутый в главе 5, был симметричной сетью, но поскольку они использовали синхронные обновления всех единиц в сети, динамика была намного сложнее, чем с асинхронными обновлениями в сети Хопфилда. Marr D., Palm G., Poggio T., Analysis of a cooperative stereo algorithm. Biol Cybern. 28(4):223–39, 1978. – Прим. авт.

156

Colgin L. L., Leutgeb S., Jezek K., Leutgeb J. K., Moser E. I., McNaughton B.L., Moser M. B. Attractor-map versus autoassociation based attractor dynamics in the hippocampal network». J Neurophysiol. 2010 Jul; 104(1):35–50.

157

Также известна как Bell Laboratories или «Лаборатории Белла», ранее – AT&T Bell Laboratories, Bell Telephone Laboratories. Один из самых знаменитых научно-исследовательских центров по разработке современных технологий в мире. Компания существует с 1925 года. – Прим. ред.

158

Hopfield J. J., Tank D. W. «‘Neural’ computation of decisions in optimization problems». Biol Cybern.; 52(3):141–52. 1985.

159

Ballard D. H., Hinton G. E., Sejnowski T. J. «Parallel Visual Computation», Nature, 306, 21–26, 1983, R. A. Hummel, S. W. Zucker, «On the foundations of relaxation labeling processes», IEEE Trans. Pattern Anal. Machine Intell., 5, 267–287, 1983.

160

Kirkpatrick S.; Gelatt Jr C. D.; Vecchi M. P. (1983). «Optimization by Simulated Annealing». Science. 220 (4598): 671–680.

161

Kienker P. K., Sejnowski T. J., Hinton G. E., Schumacher L. E. “Separating Figure from Ground with a Parallel Network,” Perception, 15, 197–216, 1986.

162

Zhou H., Friedman H. S., von der Heydt R. “Coding of border ownership in monkey visual cortex.” J. Neurosci. 20: 6594–611. 2000.

163

Hebb D. O. (1949). The Organization of Behavior. New York: Wiley & Sons.

164

Ситуация, когда после длительного контакта больного с бредовым расстройством и здорового у здорового начинается аналогичный психоз. – Прим. ред.

165

Sejnowski T. J., Kienker P. K., Hinton G. E. «Learning Symmetry Groups with Hidden Units: Beyond the Perceptron», Physica, 22D, 260–275, 1986.

166

Cohen N. J., Abrams I., Harley W. S., Tabor L., Sejnowski T. J. Skill Learning and Repetition Priming in Symmetry Detection: Parallel Studies of Human Subjects and Connectionist Models, 8th Annual Conference of the Cognitive Science Society, Amherst, MA, 1986.

167

Изменение скорости реакции на воздействие раздражителей при постоянном повторе такого воздействия. – Прим. ред.

168

Yuhas B. P., Goldstein M. H. Jr., Sejnowski T. J., Jenkins R. E. «Neural network models of sensory integration for improved vowel recognition», Proceedings of the IEEE, 78, 1658–1668, 1990.

169

Hinton G. E., Osindero S. and Teh Y. (2006) «A fast learning algorithm for deep belief nets». Neural Computation 18, pp. 1527–1554.

170

Lettvin J. Y., Maturana H. R., McCulloch W. S., Pitts W. H. 1959, “What the frog's eye tells the frog's brain”, Proc. Inst. Rad. Eng., 47, 1940–1951. hearingbrain.org/docs/letvin_ieee_1959.pdf

171

R. R. Salakhutdinov and G. E. Hinton. “Deep Boltzmann machines”. In Proceedings of the International Conference on Artificial Intelligence and Statistics, volume 12, 2009.

172

B. Poole, S. Lahiri, M. Raghu, J. Sohl-Dickstein and S. Ganguli. “Exponential expressivity in deep neural networks through transient chaos.” In Advances In Neural Information Processing Systems, 3360–3368, 2016.

173

Elman J. L., Bates E. A., Johnson M. H., Karmiloff-Smith A., Parisi D. & Plunkett K. Rethinking innateness: A connectionist perspective on development. MIT Press. (1996).

174

Quartz S. R., Sejnowski T. J. Liars Lovers and Heroes: What the New Brain Science Has Revealed About How We Become Who We Are, New York: Harper-Collins, 2002.

175

Quartz S., Sejnowski T. J. “The neural basis of cognitive development: A constructivist manifesto”, Behavioral and Brain Sciences 20(4), 537–596 (1997).

176

Метилирование ДНК – модификация молекулы ДНК присоединением метильной группы (-СH3) без изменения самой нуклеотидной последовательности. Важный механизм адаптации организма к окружающим условиям. – Прим. ред.

177

This is called non-CG methylation. Lister R., Mukamel E. A., Nery J. R., Urich M., Puddifoot C. A., Johnson N. D., Lucero J., Huang Y., Dwork A., Schultz M. D., Tonti-Filippini J., Yu M., Heyn H., Hu S., Wu J. C., Rao A., Esteller M., He C., Haghighi F. G., Sejnowski T. J., Behrens M. M., Ecker J. R. “Global epigenomic reconfiguration during mammalian brain development”, Science, 341, 629, 2013.

178

Кафедра когнитивных наук была основана Доном Норманом, экспертом по человеческим факторам, и имела разнородный факультет. – Прим. авт.

179

Математика, используемая в алгоритме обратного распространения обучения, существовала начиная с 1960-х годов в