基于NoSQL内存数据库的Linux性能优化
2012-07-06 10:12:25   来源：互联网   评论：0 点击：

相信大家已经或多或少听说过某种NoSQL数据库了，如果NoSQL真的可以让Web应用程序运行的更快、更具扩展性，则有必要尝试优化承载NoSQL的Linux服务器，使其尽可能发挥威力。

在Linux服务器优先之前要考虑的，则是依据自已的应用场景与环境选择合适的NoSQL数据库。比如选择基于内存的Memcache或Redis，还是选择企业级架构的Cassandra或HBase。

另外，在尝试NoSQL数据库时，要注意任何不要忘记：不应排斥传统的关系型数据库。因为NoSQL数据库永远不会取代传统的关系型数据库。

Linux性能优化是一个很大的话题，涉及应用程序栈的层次架构，并非是一门精确的科学。本文是Linux性能优化系列文章的第一篇，着眼于NoSQL内存数据库的Linux服务器性能优化。为此，我们将重构Linux服务器的内核。

可能有些人曾经下载、编译过Linux内核，知道重编内核的风险。无论如何，再提醒一下：在重构Linux内核之前，请不要忘记风险。

通过优化vanilla 3.x kernel中的如下选项可以应对我们所提到的工作负载挑战：

• CONFIG_TASK_IO_ACCOUNTING：非常重要，此选项允许监控服务器进程的磁盘活动状态。
• CONFIG_SLUB：Chris Lameter的内核对象缓存系统。相比SLAB而言，在管理内核内存分配方面效率更高。
• CONFIG_JUMP_LABEL：内核分支优化，使内核速度更快。
• CONFIG_NUMA and friends：适用于多核处理器，为内核启用NUMA功能，提升对高速缓存和内存的一致性支持。
• CONFIG_SPARSEMEM_VMEMMAP：针对pfn_to_page和page_to_pfn函数的稀疏内存优化选项。
• CONFIG_TRANSPARENT_HUGEPAGE, CONFIG_COMPACTION, CONFIG_MIGRATION, CONFIG_TRANSPARENT_HUGEPAGE_ALWAYS：这些参数可用于分配大于4KB的内存页，为内存饥饿进程加速分配内存。另外，它们还可以对内存页进行压缩和迁移，以对大型页面进行安全查询，并进一步减少内存碎片。
• CONFIG_KSM：以MADV_MERGEABLE的方式取消内存页面的标记是一个非常重要的机制，可以以终极的方式节省内存。
• CONFIG_ZRAM：提供了一个基于内存的块设备。在此块设备中写入的数据会被压缩，并存储在内存中。这对临时存储空间非常有用（挂载在/tmp目录下），由于此特性用于临时区域，请将它构建为一个模块，并小心使用。
• CONFIG_ZCACHE, CONFIG_ZSMALLOC & CONFIG_CLEANCACHE：一个内存页面压缩框架，可透明地压缩清洁页面和交换页面，从而为基于内存的工作负荷提供显著的性能提升。CleanCache使用ZCache框架对内存页面进行压缩，可以在高内存环境下有效地降低I/O请求。由于此特性用于临时区域，请谨慎使用。

注意，上述优化是基于x86_64架构。此外，其他一些选项也会涉及到工作负荷的性能优化：

• CONFIG_PERF_EVENTS：内核性能计数器，与perf等工具共同使用。尤其适用于深度性能监控。
• CONFIG_PROFILING：性能分析计数器，与OProfile等工具共同使用。与PERF_EVENTS同样重要。
• HAVE_BPF_JIT：基于时间规则的编译器，用于基于PCAP（packet capture library）并使用伯克利包筛选器（Berkeley Packet Filter，如tcpdump）的用户工具，可以大幅提升复杂规则的处理性能。通过/proc/sys/net/core/bpf_jit_enable启用它。

通过选择适合自己要求的选项，保存、编译并运行它，看看最后的结果是否能带来成就感！

当然或许有其它许多技术帮助大家建立高效的基础架构、优化基于内存的工作负载（比如，RAMSter可以提供交换集群）。但都需要对内核优化，并进行测试，比较结果最终构建一个稳定的生产环境。

简单的内核优化还远远不够，或许只能算是一个开始。后续大家还可以探讨如何优化系统与计划任务的调度，从而不论在虚拟环境还是物理环境，均可自动完成大部分配置。

原文链接：Optimizing your Linux server for memory-based NoSQL databases