Отсчётный скетч
Отсчётный скетч (англ. Count sketch) — метод уменьшения размерности, используемый в статистике, машинном обучении и алгоритмах обработки больших данных[1][2]. Может быть использован для ускорения ядерного метода и билинейного пулинга в нейронных сетях, а также в численных алгоритмах линейной алгебры[3].
Особенности
В отличие от тензорного скетча отсчётный скетч оперирует так называемым внешним произведением векторов:
- ,
где означает произведение Кронекера.
Существенно, что отсчётный скетч от такого произведения двух векторов
эквивалентен векторной свёртке
- ,
гдe и являются независимыми матрицами.
Для сокращения вычислительных затрат на реализацию свёртки нескольких отсчётных скетчей может быть использовано быстрое преобразование Фурье.