请问使用spark的时候,如果使用高性能64核高内存的阿里云服务器,用哪种模式运行比较好?
问题描述:
在64核高内存的阿里云服务器中使用spark的时候,用Local模式的64线程运行比较好还是用standalone将多个子节点设置在本地好?
答
首先尽量使用单台计算机性能高的,然后再扩展到多个节点,相同总性能,计算机台数越少越好,相同台数,cpu数越少越好,相同cpu数,内核越少越好。