Apache Spark — это платформа параллельной обработки с открытым кодом, которая поддерживает обработку в памяти, чтобы повысить производительность приложений, анализирующих большие данные. Решения для работы с большими данными предназначены для обработки данных со слишком большим объемом или сложностью для традиционных баз данных.

https://devblogs.microsoft.com/dotnet/net-for-apache-spark-in-memory-dataframe-support/

#spark #apache