什么算法适用于小内存块的连续重新分配?

在C程序中我面临需要有大量内存块的事务,我需要知道是否有用于处理所有这些malloc / free的算法或最佳实践teqnique,我已经使用数组来存储这些内存块但是在某些情况下指出数组本身已满,重新分配数组只是更浪费,处理这个问题的优雅方法是什么?

在这种情况下,最好的算法是空闲列表分配器+二叉搜索树。

您从系统中询问一个大内存块,然后从此块中分配固定大小的内存块。 当块已满时,您将分配另一个,并将它们链接到红黑或AVL二进制搜索间隔树(否则通过迭代块列表在free期间搜索块会成为瓶颈)

同时,multithreading和线程同步变得很重要。 如果您只是使用互斥锁或简单的自旋锁,您会发现libc malloc的工作速度比自定义内存分配器快得多。 解决方案可以在危险指针中找到,即每个线程都有自己的内存分配器(或每个CPU内核一个分配器)。 这将增加另一个问题 – 当一个线程分配内存而另一个线程释放它时,这将需要在自由函数期间搜索确切的分配器,以及strick锁定或无锁数据结构。

最好的选择 – 你可以使用jemalloc , tcmalloc或任何其他通用的建议快速内存分配器来完全或部分替换你的libc(即pdmalloc)默认分配器。

如果由于您提供的function需要跟踪这些不同的缓冲区,那么您将需要具有某种缓冲区管理function,包括为缓冲区管理分配内存。

但是,如果您担心内存碎片,那就是另一个问题。

我已经看过很多关于如何使用malloc()free()导致内存碎片以及各种减少或消除此问题的方法的文章。

我怀疑多年前,这可能是一个问题。 然而,这些天我质疑大多数程序员是否能够像开发现代编译器运行时的人那样在管理内存方面做得很好。 我确信有特殊的应用程序,但编译器运行时开发非常了解内存碎片,并且他们使用了许多方法来帮助缓解这个问题。

例如,这是2010年的一篇较早的文章,描述了现代编译器运行时实现了malloc()free() 。 看看malloc如何在Mac上运行

这里有一些关于GNU分配器的内容 。

这篇来自IBM的2004年11月的文章描述了内存管理的一些注意事项, 内部内存管理,并提供了他们所谓的“用于简单实现malloc的代码,并且可以自由地帮助演示管理内存所涉及的内容。” 请注意,这是一个简单的示例,旨在说明一些问题,而不是当前实践的演示。

我用Visual Studio 2015做了一个快速控制台应用程序,它在一个C源文件中调用了一个C函数,它散布了各种大小的malloc()free()调用。 我在Windows任务管理器中查看进程时运行了这个。 峰值工作集(内存)最大值为34MB。 看着内存(私人工作集)测量,我看到它随着程序的运行而起伏不定。

 #include  #include  void funcAlloc(void) { char *p[50000] = { 0 }; int i; for (i = 0; i < 50000; i+= 2) { p[i] = malloc(32 + (i % 1000)); } for (i = 0; i < 50000; i += 2) { free(p[i]); p[i] = 0; } for (i = 1; i < 50000; i += 2) { p[i] = malloc(32 + (i % 1000)); } for (i = 1; i < 50000; i += 2) { free(p[i]); p[i] = 0; } for (i = 0; i < 50000; i++) { p[i] = malloc(32 + (i % 1000)); } for (i = 0; i < 50000; i += 3) { free(p[i]); p[i] = 0; } for (i = 1; i < 50000; i += 3) { free(p[i]); p[i] = 0; } for (i = 2; i < 50000; i += 3) { free(p[i]); p[i] = 0; } } void funcMain(void) { for (int i = 0; i < 5000; i++) { funcAlloc(); } } 

在使用malloc()free()搅拌内存的某些条件下,程序员应该练习帮助内存分配器的唯一考虑因素是使用一组标准缓冲区大小来处理不同长度的数据。

例如,如果要为不同大小的多个不同数据结构创建临时缓冲区,请为所有缓冲区使用最大struct的标准缓冲区大小,以便内存管理器使用相同大小的内存块,因此它是能够更有效地重用可用内存块。 我已经看到一些动态数据结构function使用这种方法,例如分配最小长度为32个字符的动态字符串,或者将缓冲区请求四舍五入为四个或八个的倍数。