Суперкомпьютер Лаборатории Касперского

Александр Кузьмин, руководитель проекта параллельных вычислений в компании "Лаборатория Касперского":

"В наших проектах мы занимаемся распределенными системами обработки данных. Дело в том, что данных накопилось очень много, соответственно, их обработка требует достаточно больших вычислительных ресурсов. Поэтому компания вынуждена покупать множество серверов, которые занимаются этой обработкой. Проблема заключается в недостатке вычислительных ресурсов у центрального процессора. Современные серверные решения ограничены четырех ядерными процессорами и поэтому мы вынуждены были ориентироваться в своих проектах на эти ограничения. Появление технологии Cuda компании nVidia позволило немного по другому взглянуть на эту проблему, поскольку появились новые технологические возможности увеличения скорости обработки или ускорения алгоритмов не на центральном процессоре, а на большом количестве параллельно работающих графических процессоров.

Сложные алгоритмы используются для внутренних технологий компании, это так называемая "технология похожестей". Не секрет, что в компанию приходит достаточно большой поток "зловредов", как мы их называем. И основная задача вирусных аналитиков проанализировать как этот "зловред" устроен и придумать способ борьбы с ним. А "технология похожестей" позволяет существенно этот процесс автоматизировать и при появлении вируса известного нам семейства можно автоматически отнести данный "зловред" к уже существующему семейству. Таким образом, компания существенно ускоряет реакцию на появление новых вирусов, что безусловно приводит к тому, что пользователи Антивируса Касперского оказываются более защищенными.

С появлением возможности проводить на графических процессорах nVidia такого рода вычисления и выполнять такие алгоритмы открылись новые технические возможности, все стало гораздо проще и быстрее.

С новой технологией которая nVidia называет Fermi появилось несколько ключевых вещей которые важны для стабильной работы большого серверного решения. Появился контроль четности памяти, параллельное выполнение нескольких задач на графическом процессоре и очень быстрые вычисления с двойной точностью. 

Мы сразу подумали о том что можно существенно усложнить алгоритм сравнения. Тоесть, просто заменив двадцать серверов одним сервером с nVidia мы нашу задачу решили с текущей "технологией похожестей" решили, но поскольку есть настолько быстрая обработка есть и возможность существенно усложнить алгоритмы. Мы сейчас движемся так или иначе в этом направлении. Больших проблем это не вызывает, посколько это все тот же код на знакомом языке C++. Это новая бибилиотека, которая требует лишь небольших алгоритмических изменений чтобы заставить графический процессор эффективно работать. Тоесть с ним нужно немного по другому работать, по другому распределить задачи. Не в один поток а сразу в большое число потоков. Для разработчика это достаточно сложны процесс. Как для любого человека самое сложное это перестроить свое мышление. От однопоточного линейного мышления к параллельному процессу, который выполняет сразу много вещей. Свой алгоритм мы программировали сами, но существенно использовали библиотеки nVidia для работы с графическим процессором.

Лаборатория Касперского отличается своим иновационным духом, поэтому мы, безусловно, следим за появлением новых и интересных технологий и стремимся использовать их для того, чтобы сделать сервисы и продукты, которые будут еще лучше защищать наших пользователей. Внутренние сервисы хотя и не видны конечным пользователям нашего продукта, но являются фундаментом на котором держится наше технологическое лидерство. Появление высокотехнологичных партнеров в России, таких как компания nVidia, в свою очередь позволяет использовать самые современные общемировые технологии умножая эффект от этих технологий. Мы на этом не останавливаемся, мы планируем исследовать эту архитектуру и для новых алгоритмов сравнения. Для параллельной обработки данных есть довольно большие перспективы."