Apache的进程与线程讨论

自从apache2.0出来之后，跑线程成了一个相当理想的方式，因此直到今天早上我还是一直认为进程模式要逊色于线程模式。但是从今天的实际使用情况来看，进程模式在某些地方还是要优于线程的。

[b:9d572f3305]实例：[/b:9d572f3305]
在一台Sun的U80的机器上，虽然老了一点，但是跑个apache+php应该问题不大吧：）内存2G
原来这台机器上跑得是apache1.1.12+php4.0.1很老了。一直这样跑了几年了，一直没有出什么问题。但是现在访问量加大，而当时编译的时候没有修改httpd.h，因此MaxClint最大只能支持到256，而不能满足需求了，否则访问速度奇慢无比。由于以前的思想固化认为跑线程一定性能更好，而且2.0不需要修改源码，随便设置：）。因此就重新编译了apache2.0.50+php4.3.8，由于一直使用worker的MPM方式，其他MPM，一直觉得一般，这次也照旧拉。。。：）。编译安装完成之后，配置MPM，设了3个参数: 
[color=blue:9d572f3305]MaxClient                            1000  
ThreadsPerChild                  25
ServerLimit                          40[/color:9d572f3305]
这个设置我认为不是很过分吧。。。最多限制起40个进程，每个进程含有25个线程。
可是实际情况很糟，load average开始迅速串升，最高到了200多。。。该死，那我想可能参数设的太大了，我从小开始设起总行了吧：
[color=blue:9d572f3305]MaxClient                             300 
ThreadsPerChild                   30
ServerLimit                           10[/color:9d572f3305]
还是不行。load average还是会上串。。。
还试了一些参数包括很变态的把ThreadsPerChild设成1，而ServerLimit设成300，还是会上串。
把ServerLimit设成200，ThreadsPerChild还是1的情况也没有apache1.x好。
最后我只能重新编译apache和php，选择1.3.31,修改httpd.h，把最大连接支持到2560，编译完成后MaxClient设成800，ps -ef|grep -i httpd|wc -l 大概数字在500附近，load average也比较正常。没有超过10，一般稳定在5左右。

[b:9d572f3305]当然需要申明的是[/b:9d572f3305]：线程模式在机器性能比较高的情况下，特别是cpu比较高的情况下确实要比进程要好。不过还有一点需要考虑的是，我这边的页面需要和oracle数据库以及java程序打交道，因此可能这样的页面使用进程比较好。这是我的一点想法，欢迎驳斥我！指出我理解有偏颇的地方！

Ice_D. 回复于：2004-09-07 21:01:39

好！我就喜欢看这样子的帖子！长知识！ —————————————————————— 擦亮你的双眼，一个普通人都有值得记住的一面，更何况是我了。 ——————————————————————

peng 回复于：2004-09-08 10:44:35

按照这个配置看看 <IfModule worker.c> StartServers         2 MaxClients         150 MinSpareThreads     25 MaxSpareThreads     75 ThreadsPerChild     25 MaxRequestsPerChild  0 还有，serverlimit是干什么的啊。。 httpd2的最大请求数是： maxclient×threadsperchild，也就是上例中150×25＝3750啊。能响应3750条连接。

peng 回复于：2004-09-08 12:00:09

晕，我仔细看了楼主的文章，你是不是apache1和apache2的一些东西混了。 --------------------------- MaxClient 1000  ThreadsPerChild 25  ServerLimit 40  这个设置我认为不是很过分吧。。。最多限制起40个进程，每个进程含有25个线程。 ---------------- Maxclient是线程数，不是响应连接数。 serverlimit 40 是apache1的东西吧，不是apache2的东西吧。

raullpq 回复于：2004-09-08 14:37:15

没有搞混，兄弟。 ServerLimit在worker的MPM中默认是16，基本配置里面没有，因此如果要修改的话是需要自己加上这个参数 这几个参数我是这么理解的！ MaxClient我可能确实理解错了，应该代表总的进程*线程数！！！

peng 回复于：2004-09-09 09:40:07

Apache MPM worker 说明: 使网络服务器支持多线程多进程的多道处理模块  状态: MPM  模块名: mpm_worker_module  源文件: worker.c  概要 此多道处理模块(MPM)使网络服务器支持多线程多进程。 由于使用线程来处理请求，所以，可以处理巨量请求，而系统资源的开销小于基于进程的服务器。 但是，它也使用了多进程，每个进程又有多个线程，以获得基于进程的服务器的稳定性。 控制这个MPM的最重要的指令是，控制每个子进程允许建立的线程数的ThreadsPerChild指令，和控制允许建立的进程总数的MaxClients。 它是如何运作的 每个进程可以拥有的线程数量是固定的。 服务器会根据负载情况做增加或减少进程数量的调整。 单个控制进程负责子进程的建立。每个子进程可以建立由ThreadsPerChild指定的固定数量的线程。 然后，由独立的线程监听并处理到来的连接。 Apache总是试图维持一个备用的或者说空闲的服务线程池。 如此，客户端无须等待线程或进程的建立即可得到处理。 最初建立进程的数量由StartServers指令所决定。 其后，Apache检测所有进程中空闲线程的总数，并新建或结束进程使总数维持在MinSpareThreads和MaxSpareThreads所指定的范围以内。 由于这个过程是自动调整的，几乎没有必要修改这些指令的缺省值。 同时可以得到处理的客户端的最大数量取决于MaxClients指令，而进程建立的最大数量取决于ServerLimit指令。ServerLimit乘以ThreadsPerChild必须大于等于MaxClients。 worker MPM 中进程-线程控制的典型配置如下: StartServers         2 MaxClients         150 MinSpareThreads     25 MaxSpareThreads     75 ThreadsPerChild     25 ServerLimit         16 在Unix中，为了能够绑定端口80，父进程一般都是以root身份启动的， 其后，Apache以较低权限的用户建立子进程和线程。User和Group指令用于设置Apache子过程的权限。 虽然子进程必须对其提供的内容拥有读权限，但应该尽可能给予它较少的特权。 另外，除非使用了suexec, 否则，这些指令设置的权限将被CGI脚本所继承。 MaxRequestsPerChild 指令用于控制服务器建立和结束进程的频率。

raullpq 回复于：2004-09-09 12:03:15

我觉得上面的文章有点问题： “控制允许建立的进程总数的MaxClients。”它这里说的是不是指总的进程数呢，如果是的话，那看下面一句话：“ 进程建立的最大数量取决于ServerLimit指令。ServerLimit乘以ThreadsPerChild必须大于等于MaxClients。 ”这不是自相矛盾吗？正确的理解还是那个，ServerLimit是用来控制进程数，而ThreadsPerChild用来控制每个子进程下面的线程数！ 我觉得翻译有点问题，特别是对于“控制允许建立的进程总数的MaxClients。”这句话！MaxClients应该是进程*线程。 实际使用中也证实了这一点！

peng 回复于：2004-09-10 09:26:03

呵呵，我开始也有点糊涂，但是仔细看了看。 serverlimit是最大进程数，但是决定响应连接数的不是进程，而是线程的总和。serverlimit的左右是控制最大的进程数。因为MinSpareThreads 和MaxSpareThreads的大小，是通过增减进程来增减空闲线程的。这个和maxclient是线程的总和不矛盾啊。 －－－－－－－－－－－－－－－－原文 同时可以得到处理的客户端的最大数量取决于MaxClients指令，而进程建立的最大数量取决于ServerLimit指令。ServerLimit乘以ThreadsPerChild必须大于等于MaxClients。  －－－－－－－－－－－－－－ 通过maxcl.net来限制响应连接数，但是如果ServerLimit乘以ThreadsPerChild不大于或者等于maxclinets，这个maxclinets就没有意义了。决定最大请求的就变成了serverlimit决定的了。。

frankiehuang 回复于：2004-09-10 10:53:20

刚才看了楼上的讨论，我又查apache的文档， 我的理解是 <IfModule prefork.c>  是apache1.3.x用的方式，而<IfModule worker.c> 是apache2.0.x的方式。 但我发现在Solaris上安装的apache2默认设置了 prefork 和 worker 两个设置同时存在，那么是否会冲突呢？系统到底以哪个为准控制最大连接数? [quote:5c7c56dd5d]通过maxclinet来限制响应连接数，但是如果ServerLimit乘以ThreadsPerChild不大于或者等于maxclinets，这个maxclinets就没有意义了。决定最大请求的就变成了serverlimit决定的了。。[/quote:5c7c56dd5d] 会不会是MaxClients控制入口，假如超过这个数，直接拒绝了（避免崩溃？等待？）；而ServerLimit×ThreadsPerChild是实际产生线程处理？

lxanadu 回复于：2004-09-10 10:58:45

看了二位兄台的讨论，觉得“ServerLimit乘以ThreadsPerChild必须大于等于MaxClients”只是保证可以充分享受MaxClients给予的利益，而实际运行不是少几个进程，就是某几个进程的线程少几个，最后还是受MaxClients限制。

peng 回复于：2004-09-10 11:53:44

[quote:7d9547e991="frankiehuang"] 但我发现在Solaris上安装的apache2默认设置了 prefork 和 worker 两个设置同时存在，那么是否会冲突呢？系统到底以哪个为准控制最大连接数?  [/quote:7d9547e991] 配置文件上连winnt的模块都有，但是不起作用。 如果你编译apache2的时候没有用--with-mpm指定模式，默认的就是prefork，如果你指定worker，配置文件中就读worker那块。。

skylove 回复于：2004-09-12 09:45:13

下表列出了不同操作系统下默认的MPMs。如果你在编译时没有进行选择，这将是默认选择的MPM。 BeOS beos  Netware mpm_netware  OS/2 mpmt_os2  Unix prefork  Windows mpm_winnt  恩。。。如果想速度效率高一些，可以用woker

mmHunter 回复于：2004-09-13 12:59:01

首先，如果你想用php的话，就不要用worker方式的mpm了，因为php到现在还没有保证所有的代码都是线程安全的 如果你真的这么有兴趣试验Apache2+worker+php，可以考虑fastcgi方式的php, 具体可以参考fastcgi.coremail.cn

mmHunter 回复于：2004-09-13 13:03:26

再多口说两句吧，我之前也遇到过楼主类似的情况，不过俺不是用php，而是普通的fastcgi程序。那时候发现原因是内存使用太多，导致交换次数太多。楼主可以用vmstat 1 100000看看当前的系统在什么地方消耗CPU资源

fei 回复于：2004-09-14 14:36:19

Apache 2.0性能优化—MPM的选择与配置 [re: fei] 编辑  回复       这是我以前写的一篇文章，不足之处一定有，主要内容来自官方文档。  谈到Apache，大多数系统管理员对其稳定版1.3印象颇深。虽然Apache 2.0的系列开发版早已由Alpha、Beta发展到现在的GA（General Availability）版，但是一些人潜意识里还认为开发版并非可用于生产环境的稳定版本。尤其是1.3版的API与2.0版不兼容，使得大量模块必须要重写才能在2.0版上使用。Apache 1.3和2.0之间的内部变化的确较大，用Apache创始人Brian Behlendorf自己的话来说：“这个版本包括了数百个新的特性，所以这个产品应该具有3.1或8i这样的产品编号，而不是2.0。”Apache 2.0中加入了很多的核心改进和新功能，如Unix线程、多协议支持、新的构建系统、对非Unix平台的更佳支持、IPv6支持、新的Apache API、过滤器、多语言错误响应、原生的Windows NT Unicode支持、更简单化的配置，以及升级的正则表达式库等。它当然还包括对许多模块的重要改进，同时也加入了一些新的模块。  　　为了使Apache更加平滑地从1.3版升级到2.0版，Apache开发团队做了很多工作。目前很多重要的模块已经可以很好地支持2.0版，如PHP、FastCGI、Mod_perl、Mod_python等。在httpd.conf的指令配置语法上，目前的2.0版（2.0.45）与1.3版的兼容性已做得相当好。比如，以前的2.0版如果要使用PHP，一般用过滤器实现；现在的PHP官方文档中已经使用1.3版中的LoadModule语句做为加载PHP的推荐方式。只要略微了解一下Apache 2.0的新特性，从1.3版升级到2.0版将是一件非常容易的事情。使用Apache 2.0是大势所趋，因为Apache的开发团队已经把开发重心转移到2.0版上。1.3版自2002年10月发布了1.3.27后一直没有新版本推出，而2.0版在与1.3.27同时发布2.0.43后，在今年1月发布了2.0.44，并于今年3月末发布了2.0.45，并包含了很多改进和修正。  　　MPM的引入带来性能改善  　　Apache 2.0在性能上的改善最吸引人。在支持POSIX线程的Unix系统上，Apache可以通过不同的MPM运行在一种多进程与多线程相混合的模式下，增强部分配置的可扩充性能。相比于Apache 1.3，2.0版本做了大量的优化来提升处理能力和可伸缩性，并且大多数改进在默认状态下即可生效。但是在编译和运行时刻，2.0也有许多可以显著提高性能的选择。本文不想叙述那些以功能换取速度的指令，如HostnameLookups等，而只是说明在2.0中影响性能的最核心特性：MPM（Multi-Processing Modules，多道处理模块）的基本工作原理和配置指令。  　　毫不夸张地说，MPM的引入是Apache 2.0最重要的变化。大家知道，Apache是基于模块化的设计，而Apache 2.0更扩展了模块化设计到Web服务器的最基本功能。服务器装载了一种多道处理模块，负责绑定本机网络端口、接受请求，并调度子进程来处理请求。扩展模块化设计有两个重要好处：  　　◆ Apache可以更简洁、有效地支持多种操作系统；  　　◆ 服务器可以按站点的特殊需要进行自定制。  　　在用户级，MPM看起来和其它Apache模块非常类似。主要区别是在任意时刻只能有一种MPM被装载到服务器中。  　　指定MPM的方法  　　下面以Red Hat Linux 9为平台，说明在Apache 2.0中如何指定MPM (Apache采用2.0.45)。先解压缩源代码包httpd-2.0.45.tar.gz，生成httpd-2.0.45目录（Apache 1.3源代码包的命名规则是apache_1.3.NN.tar.gz，而2.0版则是httpd-2.0.NN.tar.gz，其中NN是次版本号）。  　　进入httpd-2.0.45目录，运行以下代码：  $ ./configure --help|grep mpm  　　显示如下：  --with-mpm=MPM  Choose the process model for Apache to use.  MPM={beos|worker|prefork|mpmt_os2| perchild|leader|threadpool}  　　上述操作用来选择要使用的进程模型，即哪种MPM模块。Beos、mpmt_os2分别是BeOS和OS/2上缺省的MPM，perchild主要设计目的是以不同的用户和组的身份来运行不同的子进程。这在运行多个需要CGI的虚拟主机时特别有用，会比1.3版中的SuExec机制做得更好。leader和threadpool都是基于worker的变体，还处于实验性阶段，某些情况下并不会按照预期设想的那样工作，所以Apache官方也并不推荐使用。因此，我们主要阐述prefork和worker这两种和性能关系最大的产品级MPM ( 有关其它的MPM详细说明，请参见Apache官方文档：http://httpd.apache.org/docs-2.0/mod/)。  　　prefork的工作原理及配置  　　如果不用“--with-mpm”显式指定某种MPM，prefork就是Unix平台上缺省的MPM。它所采用的预派生子进程方式也是Apache 1.3中采用的模式。prefork本身并没有使用到线程，2.0版使用它是为了与1.3版保持兼容性；另一方面，prefork用单独的子进程来处理不同的请求，进程之间是彼此独立的，这也使其成为最稳定的MPM之一。  　　若使用prefork，在make编译和make install安装后，使用“httpd -l”来确定当前使用的MPM，应该会看到prefork.c（如果看到worker.c说明使用的是worker MPM，依此类推）。再查看缺省生成的httpd.conf配置文件，里面包含如下配置段：  <IfModule prefork.c>  StartServers 5  MinSpareServers 5  MaxSpareServers 10  MaxClients 150  MaxRequestsPerChild 0  </IfModule>  　　prefork的工作原理是，控制进程在最初建立“StartServers”个子进程后，为了满足MinSpareServers设置的需要创建一个进程，等待一秒钟，继续创建两个，再等待一秒钟，继续创建四个……如此按指数级增加创建的进程数，最多达到每秒32个，直到满足MinSpareServers设置的值为止。这就是预派生（prefork）的由来。这种模式可以不必在请求到来时再产生新的进程，从而减小了系统开销以增加性能。  　　MaxSpareServers设置了最大的空闲进程数，如果空闲进程数大于这个值，Apache会自动kill掉一些多余进程。这个值不要设得过大，但如果设的值比MinSpareServers小，Apache会自动把其调整为MinSpareServers+1。如果站点负载较大，可考虑同时加大MinSpareServers和MaxSpareServers。  　　MaxRequestsPerChild设置的是每个子进程可处理的请求数。每个子进程在处理了“MaxRequestsPerChild”个请求后将自动销毁。0意味着无限，即子进程永不销毁。虽然缺省设为0可以使每个子进程处理更多的请求，但如果设成非零值也有两点重要的好处：  　　◆ 可防止意外的内存泄漏；  　　◆ 在服务器负载下降的时侯会自动减少子进程数。  　　因此，可根据服务器的负载来调整这个值。笔者认为10000左右比较合适。  　　MaxClients是这些指令中最为重要的一个，设定的是Apache可以同时处理的请求，是对Apache性能影响最大的参数。其缺省值150是远远不够的，如果请求总数已达到这个值（可通过ps -ef|grep http|wc -l来确认），那么后面的请求就要排队，直到某个已处理请求完毕。这就是系统资源还剩下很多而HTTP访问却很慢的主要原因。系统管理员可以根据硬件配置和负载情况来动态调整这个值。虽然理论上这个值越大，可以处理的请求就越多，但Apache默认的限制不能大于256。如果把这个值设为大于256，那么Apache将无法起动。事实上，256对于负载稍重的站点也是不够的。在Apache 1.3中，这是个硬限制。如果要加大这个值，必须在“configure”前手工修改的源代码树下的src/include/httpd.h中查找256，就会发现“#define HARD_SERVER_LIMIT 256”这行。把256改为要增大的值（如4000），然后重新编译Apache即可。在Apache 2.0中新加入了ServerLimit指令，使得无须重编译Apache就可以加大MaxClients。下面是笔者的prefork配置段：  <IfModule prefork.c>  StartServers 10  MinSpareServers 10  MaxSpareServers 15  ServerLimit 2000  MaxClients 1000  MaxRequestsPerChild 10000  </IfModule>  　　上述配置中，ServerLimit的最大值是20000，对于大多数站点已经足够。如果一定要再加大这个数值，对位于源代码树下server/mpm/prefork/prefork.c中以下两行做相应修改即可：  #define DEFAULT_SERVER_LIMIT 256  #define MAX_SERVER_LIMIT 20000  　　worker的工作原理及配置  　　相对于prefork，worker是2.0 版中全新的支持多线程和多进程混合模型的MPM。由于使用线程来处理，所以可以处理相对海量的请求，而系统资源的开销要小于基于进程的服务器。但是，worker也使用了多进程，每个进程又生成多个线程，以获得基于进程服务器的稳定性。这种MPM的工作方式将是Apache 2.0的发展趋势。  　　在configure -with-mpm=worker后，进行make编译、make install安装。在缺省生成的httpd.conf中有以下配置段：  <IfModule worker.c>  StartServers 2  MaxClients 150  MinSpareThreads 25  MaxSpareThreads 75  ThreadsPerChild 25  MaxRequestsPerChild 0  </IfModule>  　　worker的工作原理是，由主控制进程生成“StartServers”个子进程，每个子进程中包含固定的ThreadsPerChild线程数，各个线程独立地处理请求。同样，为了不在请求到来时再生成线程，MinSpareThreads和MaxSpareThreads设置了最少和最多的空闲线程数；而MaxClients设置了所有子进程中的线程总数。如果现有子进程中的线程总数不能满足负载，控制进程将派生新的子进程。  　　MinSpareThreads和MaxSpareThreads的最大缺省值分别是75和250。这两个参数对Apache的性能影响并不大，可以按照实际情况相应调节。  　　ThreadsPerChild是worker MPM中与性能相关最密切的指令。ThreadsPerChild的最大缺省值是64，如果负载较大，64也是不够的。这时要显式使用ThreadLimit指令，它的最大缺省值是20000。上述两个值位于源码树server/mpm/worker/worker.c中的以下两行：  #define DEFAULT_THREAD_LIMIT 64  #define MAX_THREAD_LIMIT 20000  　　这两行对应着ThreadsPerChild和ThreadLimit的限制数。最好在configure之前就把64改成所希望的值。注意，不要把这两个值设得太高，超过系统的处理能力，从而因Apache不起动使系统很不稳定。  　　Worker模式下所能同时处理的请求总数是由子进程总数乘以ThreadsPerChild值决定的，应该大于等于MaxClients。如果负载很大，现有的子进程数不能满足时，控制进程会派生新的子进程。默认最大的子进程总数是16，加大时也需要显式声明ServerLimit（最大值是20000）。这两个值位于源码树server/mpm/worker/worker.c中的以下两行：  #define DEFAULT_SERVER_LIMIT 16  #define MAX_SERVER_LIMIT 20000  　　需要注意的是，如果显式声明了ServerLimit，那么它乘以ThreadsPerChild的值必须大于等于MaxClients，而且MaxClients必须是ThreadsPerChild的整数倍，否则Apache将会自动调节到一个相应值（可能是个非期望值）。下面是笔者的worker配置段：  <IfModule worker.c>  StartServers 3  MaxClients 2000  ServerLimit 25  MinSpareThreads 50  MaxSpareThreads 200  ThreadLimit 200  ThreadsPerChild 100  MaxRequestsPerChild 0  </IfModule>  　　通过上面的叙述，可以了解到Apache 2.0中prefork和worker这两个重要MPM的工作原理，并可根据实际情况来配置Apache相关的核心参数，以获得最大的性能和稳定性。

yangjunma 回复于：2004-09-16 12:02:55

不错,不错,多谢几位可以看到这么好的资料. :em02:  :em02:  :em02:  :em02:

wxijin 回复于：2004-09-23 15:56:55

感谢各们的讨论,让我知识又增加了

guodongzi 回复于：2004-09-30 22:53:15

楼主所言不太对， 在worker模式下，CPU占用和prefork模式下差不多(相同容量)，但所占用的内存要远远小于prefork模式。 我在一台1G内存的服务器器上，用prefork模式跑PHP，同时有800个连接的时候，1G内存基本上就被吃完了(虚拟内存用了400多MB)。现在用worker模式，一点问题也没有，最多占用500MB内存。

raullpq 回复于：2004-10-05 09:12:10

可能楼上的硬件要比我好几倍的缘故吧：） 我已经说了我的硬件是属于比较烂的那种，呵呵

jackylau 回复于：2005-09-13 09:29:33

我想知道,怎么查看系统当前用的模块是worker还是perfork呢?

goodloveboys 回复于：2005-09-13 10:25:22

win下 如果是worker的话   apache.exe -l  应该有mpm_winnt.c linux下   应该是类似的，    或者在http.conf里看

原文转自：http://www.ltesting.net