36 items tagged
Invited talk at the Houston Computational Neuroscience Journal Club
Neuronal Tuning Landscape on Generative Image Manifolds
From Closed-Loop Vision to Creative Machines: Generative Models as Tools and Theories of Neural Representation and Creativity
Mechanistic Interpretability and Application to Visual Neuroscience
Model-free and Model-based Methods to Control and Interpret Neural Representation
Towards Generative and Predictive AI as Computational Interfaces to the Brain
Dissociation between Visual Neuron Prediction and Control: A Regression-Theoretic Perspective
Parametric neural control identifies the deep encoding models with causal alignment to biological feature tuning
Model-Optimized Stimuli for Comparing Brain-Alignment of Generative Models and Encoding Models
Factorized Convolutional Model for Interpreting Neuron Guided Image Synthesis
Feature Accentuated Stimuli as a Stringent Test of Model Brain Alignment
Special seminar on neuro AI, visual neuroscience, interpretability and generative models
Notes on Cortical Waves Methods
Notes on Visual Imagery Definition: Recreate the sensory world in mind in absense of physical stimuli. Usage in daily cognition Closely related to memory. We solve some cognitive task by recreating the visual scene in mind and examine the mind picture! Some tasks are memory about spatial some are feature memory! Usage in creative work Provides another way of thinking, other than verbal and logical induction. Intuition Characteristics of Imagery Is the representation spatial or propositional?
Note on Patch Based Shape Interpretation These are 2 related papers both employ a patch based approach to tackle shape from shading problem. Typically patches have simpler appearance, thus they are easier to collect the statistics on or fit a model on. The spirit is to find a local explanation for patches in an image. However, as there will be ambiguity in local patches, the algorithm should not over-commiting to any one of the explanation and keep the distribution of possible shapes. And then take these local shape proposals and see which can stitch together and make sense globally.
Informative Fragment Approach to Object Recognition It’s intuitive that some basic features in the image of objects are informative to the category of the object. Thus, even for occluded images, the revealed fragments can also provide such information, so that we could recognize the object from few patches.
上一篇post介绍到了与视觉意识相关的一些神经活动 做梦, 幻觉与意识(Dream, Hallucination and Consciousness) 笛卡尔在第一哲学沉思集的第一卷设想各种自己的知识可能出错的情形时, 想到了经典的做梦案例: 我以为我看到了燃烧的火炉, 但实际上可能我在被窝里呼呼大睡呢! 像笛卡尔一样, 对大多数人, 做梦是强烈的视觉过程, 我们会觉得自己在睡梦中看到了些什么. 某种意义上说这也是一种不同状态的视觉意识. 那么一个有趣的问题就是睡眠过程中的大脑活动和醒来时有什么不同呢, 而做梦时和不做梦时的活动有什么不同呢? 由于没有外界输入也没有行为输出和基于任务的认知活动, 做梦中的脑活动似乎可以干净的与梦中的视觉意识挂钩. 这样看来做梦似乎是研究视觉意识的神经对应的良好范式. 经典研究中, 睡眠可以依据脑电(EEG)频谱, 波形和眼动活动进行分段, 大致可以分成非快速眼动睡眠(NREM)与快速眼动睡眠(REM). 前者还可以分为N1, N2, N3-慢波睡眠, 随数字增大睡眠加深. 传统上认为, 大多数做梦发生在快速眼动睡眠期间, 而且REM期间的脑电活动与觉醒时的活动很像. 经典的功能磁共振-脑电联合测量(fMRI-EEG)发现1, 在快速眼动睡眠(REM)时初级视皮层的神经活动被抑制, 而高级/联合视觉皮层(如fusiform gyrus and medial temporal lobe)的活动被大大加强. 反过来在慢波睡眠(SWS)中, 有观测到初级听觉 视觉皮层的激活, 而高级区域(如medial temporal)则被抑制了. 这么看来似乎而视觉联合/高级皮层与视觉意识的关系更紧密.
看得见还是看不见, 这是一个问题! 如果问你, 你现在看到了什么, 你可以不假思索地说, 就是眼前的屏幕嘛. 如果稍微受过一点生理学或者神经科学训练的人也许会说, 我们看到的是这个充满电磁波的世界里, 光学波段辐射被眼球的光学元件折射之后, 落在我们视网膜上的影像. 然而我们不总是能看见落到我们视网膜上的东西. 稍加反思, 我们都会想到自己夏日午后看着窗外出神的时候, 其实并没有看见窗外有什么景色;对着讲台发呆的时候也没有看到黑板上的字是什么;对着击球手飞速击出的棒球同样略过了视网膜, 但是否产生了知觉只有他知道. 简而言之, 就像英语中see(看到)与look(看的动作)不同, 我们看到的东西绝不是落在我们视网膜上的光子所携带的所有信息1——你看不见不可见光也看不到偏振. 那么是什么决定了我们能看到什么以及看到的世界是什么样子呢? 我们可以拍脑门的说, 当我们用心去看就能看到(比如黑板或者窗外), 如果不用心, 那刺激就被我忽视(Neglect)了嘛——的确没错, 这就将我们引导到了视觉注意(Visual Attention)的领地. 不过这篇post中我们先不讨论注意的问题, 而要去关注一些与视觉意识相关的更基本的情况. 什么时候我们看不到 (When we do not see) 首先, 我们将自然环境以及落在视网膜上的光子一概称为物理刺激(Physical stimuli), 我们感觉到的那个世界称为主观感受(Perception)2. 那么刺激与感受不完全匹配的情况其实比比皆是, 下面举几个例子:
Note on Selective Attention From Christofer Koch 2013 Lecture Visual Attention and Consciousness Goldstein, Chapter Attention In nature language Attention refers to a family of abilities Vigilance / overall attention Selective attention: processing sth in the cost of others Distributed attention Automaticity (action / perception task that does not take capacity) Selective attention is different from general attention —- arousal.
题记 一直计划着博士期间定期写一点note把自己最近学到的有趣的, 美妙的东西记下来. 如果读得是一个数学物理的博士, 或者理论神经科学的博士, 那这种Note就像是在数学世界中的探险笔记, 可以叫This week’s finding, 大约就是这周看了什么书, 学会了什么数学, 玩儿了什么Model, 发现了什么trick或者math game,做了什么优美的图. (可以参见之前挖出来好些有意思东西的一个站点 This Week’s Finds in Mathematical Physics UCR一个数学物理教授坚持了十多年的每周数学笔记) 不过现实中, 我读的是Neuroscience的博士, 大概只能写learning写不了什么finding了. (而对于Brain一周时间也学不了什么新东西…) 因此, Note的内容就会更庞杂: 一部分是技术性的, 新学会的数学、统计方法、机器学习方法, 也许会有新的实验技术以及相关的物理原理; 另一部分是理念类的,也许有最近听seminar听到的神经或者心理的实验结果,也可能是相关的有趣的哲学讨论。我想我会逐渐发现哪些内容更适合分享, 以及哪些内容写下来对自己以及对读者更有帮助, 经过一段时间的磨合,这个post series应该能形成自己的风格。