聊Web服务器之前得先分清一件事，服务器这个词有时候指硬件，有时候指软件。这里说的是软件那一层，就是跑在机器上、负责接收HTTP请求然后吐回网页内容的那套程序。你平时访问一个网站，浏览器发请求过去，总得有个东西在那边听着、处理、回应，干这活的就是Web服务器软件。
Apache HTTP Server是资历最老的一批，九十年代中期就有了，模块化设计，功能全，文档厚，遇到问题搜一下基本都能找到答案。它的缺点是默认配置下并发能力一般，每个连接占一个进程或线程，访问量一上来内存就吃紧。不过现在配合php-fpm或者event模式，性能已经好很多了。很多老牌网站和内部系统还在用它，图的就是稳和兼容性好。
Nginx是后来者，俄罗斯人写的，主打高并发和低内存。它用异步事件驱动模型，一个工作进程能扛几千个连接，静态文件处理特别快。现在大部分新上线的网站，尤其是流量大的，基本首选Nginx。它还能当反向代理和负载均衡用，前面挡着，后面挂一堆应用服务器，这套架构很常见。缺点是动态请求得转发给后端处理，自己不太擅长跑PHP之类的脚本。
IIS是微软家的，Windows服务器上默认就是它。跟ASP.NET和Windows生态绑得紧，如果你用C#写网站，IIS基本是标配。图形化配置界面对新手友好，但资源占用比Nginx高，而且只能跑在Windows上。有些企业内网系统用得多，互联网上相对少一些。
Lighttpd和LiteSpeed算是细分领域的选手。Lighttpd轻量，嵌入式或者低配环境有人用。LiteSpeed号称兼容Apache配置，性能更好，还能直接跑PHP，虚拟主机商比较喜欢，因为能省资源。Caddy这两年被提得越来越多，最大卖点是自动申请和续期HTTPS证书，配置也简单，写个Caddyfile几行就能跑起来。
Tomcat严格说不是纯Web服务器，它是Servlet容器，主要跑Java应用。静态文件处理能力弱，生产环境一般前面挂个Nginx或者Apache，Tomcat在后面处理动态请求。Node.js自己也带HTTP模块，写几行代码就能起一个服务，适合前后端都用JS的团队，但拿它当通用Web服务器用的不多，更多是作为应用层。
还有一种叫OpenResty，本质是Nginx加了Lua模块，能在Nginx层面写业务逻辑。高并发场景下做限流、鉴权、动态路由很方便，很多API网关就是基于它做的。
说完类型，聊爬虫检测。Web服务器每天要面对大量请求，其中相当一部分不是真人浏览器发的，是爬虫、扫描器、脚本工具。有些爬虫是搜索引擎的，正常；有些是恶意抓取或者攻击前的探测，得拦。检测方法很多，但单独用某一种都不太够，一般是几层叠加着用。
最基础的是看User-Agent。正常浏览器会带一长串UA字符串，包含浏览器名称、版本、操作系统。curl、python-requests、scrapy这些默认UA一眼就能认出来。但稍微正经点的爬虫都会伪装UA，所以这招只能筛掉最粗糙的那批。反过来，有些服务器会维护一个允许列表，只放行主流搜索引擎的UA，其他一律拦，这种做法误伤概率高，不太推荐。
IP层面的检测更靠谱一些。单个IP在短时间内请求频率明显超出正常人操作速度，比如一秒十几次，那基本不是人在点。还有IP的归属地，如果大量请求来自同一个机房网段，比如AWS、阿里云、DigitalOcean，那多半是脚本。数据中心IP和住宅IP的识别靠的是IP库，这个有商业服务，也有开源方案，准确率参差不齐。另一种做法是黑名单，把已知的恶意IP、代理出口、TOR节点提前封掉，省得它们浪费资源。
验证码和JavaScript挑战是主动防御手段。服务器判断请求可疑，就返回一段JS代码让客户端执行，算出一个结果再带回来，算对了才放行。普通爬虫不执行JS，直接卡住。浏览器能正常跑完，用户几乎无感。Cloudflare那种五秒盾就是这个思路的变种。缺点是有些用户浏览器禁了JS或者网络慢，体验会受影响。
Cookie和会话检测也常用。正常浏览器第一次访问会拿到一个Cookie，后续请求带着它。如果客户端完全不存Cookie，每次请求都像新访客，那就可疑。还有蜜罐链接，在页面里藏一个真人看不见的链接，只有解析HTML的爬虫会去点，谁点了就封谁。这招挺阴的，但有效。
请求头的完整性也能看。真实浏览器发请求，Accept、Accept-Language、Accept-Encoding、Connection这些头一般都会带，顺序也有规律。脚本发的请求经常缺这个少那个，或者值不对。比如Accept-Encoding只写gzip不写br，或者Accept-Language是空的。TLS指纹也慢慢流行起来，不同客户端建立HTTPS连接时的握手细节不一样，JA3指纹能识别出是Chrome还是Python的ssl库。这个比UA难伪造，但实现成本高一些。
行为分析是更高级的路子。真人浏览网页，鼠标会动，会滚动，页面停留时间有长有短，点击位置也不规则。爬虫往往直奔目标链接，不加载图片和CSS，停留时间极短。把这些信号综合起来打分，超过阈值就挑战或者拦截。机器学习模型在这块用得比较多，但小网站一般用不上，规则引擎就够。
最后说一句，检测和反检测是持续对抗的。爬虫方会换IP、模拟UA、跑无头浏览器，服务器这边就得不断调整策略。没有一劳永逸的方案，根据自己的业务压力和被爬的严重程度，选几层合适的叠上去就行。