Danica
2016-10-29 21:31:29
核函数比较数据点，所以它是$200,000 \times 200,000$。（似乎你的数据x是按函数存储为实例的，但是你x = x.T出于某种原因进行了交换。据我所知，你计算的矩阵没有任何意义。）
在普通的个人计算机上使用这将是非常具有挑战性的。如果你只是删除该x = x.T行以便你的代码计算正确的值，则矩阵K在内存中将是 298 GB！（另外，你使用 Python 嵌套循环和 400 亿次函数调用来实现它的方式radial_basis，即使你有那么多内存，也需要很长时间来计算。）
这是一个直接使用内核技巧的例子，坦率地说，这是一个坏主意。
如果你对进行核岭回归一无所知，那么你可以进行各种近似以使其在该大小的数据上在计算上合理，我可以向你指出其中的一些。但学校作业似乎不太可能真的要求你这样做。
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13
@AlbertJamesTeddy 你对内核技巧的观点是正确的，但问题是它消除了对特征维度的依赖（允许你使用无限维 RBF 内核），但恶化了对数据点数量的依赖n$。这对于 $n$ 高达几千美元来说很棒，但对于像你这样的较大 $n$ 来说却很糟糕。
两种主要的近似技术是 Nyström 方法和随机傅立叶特征。两者在算法上都非常简单，但它们工作背后的数学原理有点复杂，具体取决于你的背景。这是一篇关于这两者的博客文章：peekaboo-vision.blogspot.co.uk/2012/12/...
@AlbertJamesTeddy 在你链接的注释中查看等式 (6)。
它是 $y_\text{pred} = y_\text{train} (K_\text{train,train} + \lambda I)^{-1} K_\text{train,pred}$。你需要计算从每个训练点到测试点的 RBF 核。
不要使用 for 循环！如果你在 numpy 中对所有内容进行矢量化，这在普通计算机上会很快。