Новый метод кластеризации упрощает анализ больших массивов информации
Исследователи из ВШЭ и Института проблем управления РАН предложили новый метод анализа данных — туннельную кластеризацию. Он помогает быстро находить группы похожих объектов и требует меньше вычислительных ресурсов, чем традиционные методы. В зависимости от конфигурации данных алгоритм может работать в десятки раз быстрее аналогов. Исследование опубликовано в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления».
С каждым годом объем информации, которую нужно обработать, становится все больше. Данные поступают из разных источников: научных исследований, финансовых отчетов, медицинских обследований и множества других. Для поиска закономерностей и структурирования информации в таких массивах применяют методы кластеризации — группировки данных по схожим характеристикам. Группы, полученные таким способом, называют кластерами.
Один из самых популярных методов кластеризации — метод k-средних. Он делит данные на заданное количество кластеров, предварительно выбирая их центры (центроиды). Однако у этого метода есть ограничение: перед началом работы необходимо знать, сколько кластеров должно получиться, что не всегда возможно при анализе сложных данных.Ученые из НИУ ВШЭ и Института проблем управления имени В.А. Трапезникова РАН предложили новый подход, который упрощает этот процесс, — туннельную кластеризацию. В отличие от метода k-средних, этот алгоритм не требует заранее задавать число кластеров: он сам определяет, сколько кластеров необходимо, анализируя структуру данных.
Фуад Алескеров
«Алгоритм формирует “туннели” данных — области в многомерном пространстве, в которых группируются объекты с похожими характеристиками, — объясняет руководитель департамента математики факультета экономических наук НИУ ВШЭ Фуад Алескеров. — Пользователь может выбрать один из трех вариантов работы алгоритма: с фиксированными границами кластеров, с адаптивными границами, которые подстраиваются под структуру данных, или комбинированный подход. Это делает метод гибким и подходящим для разных типов задач».
Метод протестировали на синтетическом (сгенерированном) наборе данных из 100 000 объектов, а также на реальных задачах в области государственного управления и банковского сектора.
Главное преимущество нового метода — скорость. В отличие от классических алгоритмов, требующих больших вычислительных ресурсов, туннельная кластеризация в зависимости от конфигурации данных может справляться с анализом в десятки раз быстрее.
Кроме того, ученые ввели понятие «степень перехода» — параметр, который показывает, сколько характеристик объекта нужно изменить, чтобы он оказался в другом кластере. Это помогает оценить четкость границ кластеров и выявлять объекты, находящиеся на стыке групп.
Алексей Мячин
«Люди создают все больше данных, и этот процесс только ускоряется. Согласно последнему отчету “Digital 2025: Global Overview Report”, в начале 2025 года в интернете насчитывалось 5,56 миллиарда пользователей — это почти 68% населения планеты. Взрослые проводят в Cети в среднем по 6 часов 38 минут в день, общаясь, работая, смотря видео и потребляя контент, — рассказывает старший научный сотрудник Международного центра анализа и выбора решений НИУ ВШЭ Алексей Мячин. — Компании, которые игнорируют анализ данных, теряют большие деньги».
Авторы продолжают работать над усовершенствованием алгоритма, включая исследования по снижению размерности данных, что позволит еще больше сократить временные затраты при поиске закономерностей в данных.
Работа выполнена при частичной поддержке РНФ.
Вам также может быть интересно:
«Наука всемирна, она не знает границ»
Разработанные ординарным профессором, директором Международного центра анализа и выбора решений НИУ ВШЭ Фуадом Алескеровым и его коллегами методы сетевого анализа в библиометрии позволили определить особенности появления, взаимного влияния и цитирования публикаций в научных журналах. Частое цитирование разными изданиями одного или нескольких исследований означает высокое качество работы, а перекрестные ссылки внутри ограниченного круга журналов повышают вероятность формирования сети хищнических изданий.
Ученые НИУ ВШЭ доказали, что машинное обучение может тратить меньше ресурсов
Международная группа исследователей, в которой участвовали математики из Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, теоретически обосновала простой и вычислительно легкий метод оценки неопределенности для стохастического градиентного спуска (SGD). Работа опубликована на сервере научных препринтов arXiv.org и была представлена на AISTATS 2026.
В НИУ ВШЭ разработали приложение для диагностики фонологической обработки у детей
Специалисты Центра языка и мозга НИУ ВШЭ представили новый цифровой инструмент для оценки навыков фонологической обработки у детей — батарею тестов «ЗАРЯ» («Звуковой анализ русского языка»). Это первое в России стандартизированное приложение, позволяющее быстро и надежно выявлять нарушения способности различать звуки речи, удерживать их в оперативной памяти и проводить фонематический анализ. Программа работает на планшетах и смартфонах с операционной системой Android, доступна для скачивания в RuStore. Детали валидации теста опубликованы в Journal of Speech, Language, and Hearing Research.
Время жизни популяций определяется законами математики
Исследователи НИУ ВШЭ и МГУ доказали универсальный закон, описывающий время исчезновения популяций в случайной среде. Анализ эволюции ветвящихся процессов — сложных вероятностных систем — показал, что вне зависимости от изначального числа особей процесс вымирания подчиняется строгим математическим закономерностям. Результаты опубликованы в Journal of Applied Probability.
Ученые ВШЭ объяснили, как эмоции человека влияют на отношение к цифровому государству
Сегодня взаимодействие человека с государством все чаще происходит через цифровые платформы: порталы госуслуг, электронные сервисы, системы на основе искусственного интеллекта и алгоритмы принятия решений. Однако до сих пор такие технологии в основном рассматривались как технические инструменты, эффективность которых оценивают по скорости работы и удобству интерфейсов. Авторы нового исследования предлагают смотреть на цифровое управление шире — как на эмоциональный опыт, который напрямую влияет на доверие граждан к государству.
Биологи ВШЭ получили «молекулярный отпечаток» преэклампсии
Исследователи НИУ ВШЭ использовали новый способ моделирования состояния гипоксии в клетках плаценты при беременности, осложненной преэклампсией, и обнаружили молекулярные маркеры кислородного голодания тканей. Гипоксия — один из ключевых механизмов преэклампсии, полученные результаты важны для более точной и своевременной диагностики заболевания, а также для разработки эффективных методов лечения. Работа опубликована в журнале Placenta.
«Еж» против «родственника»: ученые измерили, как мозг реагирует на неожиданные слова в живой речи
Российские нейрофизиологи с участием исследователей из НИУ ВШЭ показали, что изучать восприятие живой речи можно с помощью вызванных потенциалов. Они доказали, что метод применим не только к отдельным словам, но и к непрерывной речи. Оказалось, что слова, сильно отличающиеся по смыслу от предыдущего контекста, мозг обрабатывает дольше, а служебные слова анализирует в два этапа: сначала определяет их грамматическую роль, а затем на этой основе предсказывает следующее слово. Исследование опубликовано в журнале Frontiers in Human Neuroscience.
Творческая работа как лекарство от выгорания
Творческая и доброжелательная атмосфера, новые методы в Международной лаборатории (впоследствии центре) социокультурных исследований привлекают молодых исследователей. За годы работы в Вышке они становятся учеными и преподавателями, известными в России и за рубежом. О своем пути в центре и в Вышке, исследованиях и роли наставников в научных успехах рассказали главный научный сотрудник ЦСКИ Зарина Лепшокова и ведущий научный сотрудник Екатерина Бушина.
Физики НИУ ВШЭ выяснили, что происходит внутри устойчивого вихря
В атмосфере и в океане часто наблюдаются крупные вихри с характерными спиральными рукавами. Физики из НИУ ВШЭ объяснили, как они формируются и почему сохраняют свою структуру. Оказалось, что скорости в точках, расположенных вдоль одной дуги вихря, остаются связанными даже на больших расстояниях. При этом в направлении от центра вихря эта связь быстро ослабевает. Такие различия помогают объяснить образование рукавов и могут улучшить модели атмосферных и океанических течений. Результаты опубликованы в Physical Review Fluids.
Сохранить рациональность в период турбулентности
Международная лаборатория логики, лингвистики и формальной философии НИУ ВШЭ исследует логику и рациональность в изменившемся мире, характеризующемся многообразием логических систем и рациональных агентов. Лаборатория поддерживает и развивает научные связи с российскими и зарубежными партнерами. Новостная служба «Вышка.Главное» побеседовала о ее деятельности с заведующей лабораторией, профессором Еленой Драгалиной-Черной.