Если нет бюджета, чтобы разместить проект на .NET Core в Azure, это всегда можно сделать на маленьком и недорогом карманном сервере :)
https://dzone.com/articles/run-net-core-web-crawler-on-raspberry-pi
https://dzone.com/articles/run-net-core-web-crawler-on-raspberry-pi
dzone.com
Running a .NET Core Web Crawler on a Raspberry Pi - DZone IoT
Enjoy an example of task automation as we set up .NET Core and a web crawler on a Raspberry Pi to see how the mini computer can help out.