写在前面
大家好，我是智造之家的主人小智~
前几天爬取了西门子工业技术论坛的精华：
我用爬虫爬取了西门子工业技术论坛的所有亮点，猜猜我得到了什么结论……
很多人可能认为我很无聊。为什么你没事就爬这个？它很华丽。这个问题稍后再给大家解释~
先说今天的主要内容：
01 从互联网到NET
02 点击次数最多的帖子和链接
03 从数据上分析那些技术的盲点
04 我发现了虚拟调试
05 对爬虫的思考
01 从互联网到NET
前面我们说过，智能制造之家的主攻方向是：“一硬（PLC、机器人、驱动、视觉等）+一软（PLM、MES\MOM等工业软件）+一网（网络和IT）相关）+一个安全（工业安全），今天我们就来说说网络吧~
我觉得无论你在五层架构的哪一层，网络始终存在于整个五层架构中
从IT和OT的角度来说，也是连接IT和OT的一个极其关键的环节，其重要性不言而喻~
作为工业领域的我们，自然不得不提到工业网络。今天我们从NET说起，聊一聊工业网络。
只要是熟悉西门子工业技术的朋友，都一定听过NET的大名。NET包括什么？我们来看看真实性的官方定义：
NET - , , , , AS-; OPC UA；ST7,
我想我不需要再解释了~
02 点击次数最多的帖子和链接
从技术论坛得到的一些数据
去西门子工业技术论坛看NET版块，手痒痒的，翻了100页中文版论坛和英文版论坛（两者有明显区别），对比一下他们
从下图可以看出，中文论坛的NET版块一共125页（截至目前）
相应的英文版论坛有412页（截至目前）
于是我分别爬取了两个论坛的前100页，得到中文版论坛3000条数据，英文版论坛5000条数据（因为我设置的是英文版论坛每页50条）
我截取了中文版点击率最高的前10个帖子（最后一排数字表示点击率）
还有十几个英文版论坛点击率最高的帖子
03 从数据上分析那些技术的盲点
不知道大家有没有仔细比较过这些点击率比较高的帖子。如果你慢慢分析，你会发现大家关心的问题其实很普遍。我们常说的80/20原则其实就是你80%的技术都是相似或者相关的。只要你善于发现它们的共性，就可以帮助你发现和解决你的技术盲点。如果你善于分析和思考，你也可以找到很多相关度很高的帖子。底层技术~
也有朋友说我写的内容越来越不实用了。还有一个角度，就是分析搜索，这是一个知识爆炸的时代，难得能找到对你更有价值的信息和建议，这是方法之一~
很多人可能会想，得到上面的数据有什么用呢？这就是仁者见仁智者见智。就它而言，它对我很有帮助。简单的说：
它可以帮助我筛选出更多有价值的文章，看看我的技术盲点在哪里；它可以帮助我找出很多技术的共性西门子楼宇自控论坛，找到这些共性背后隐藏的逻辑；在更短的时间内掌握新技术，了解一个未知的事物，建立自己的知识体系；学会用你的思想来控制工具，而不是让工具奴役你的思想。
以上只是目前的一些见解。无论你是做五层架构中的PLC、SCADA、MES/MOM、PLM，还是你的岗位是产品、运营、研发、制造，数据一直伴随着你，掌握一些数据分析的方法，在我看来，这是我在这个知识爆炸的时代必须具备的一项基本技能和一项基本技能。因此，我的下一步是学习数据分析并深入挖掘这些数据。躺着的价值~
04 我发现了虚拟调试
无意中发现，在英文版的论坛里，已经有了虚拟调试区。从介绍可以看出，主要针对.NX-MCD、SIMIT等，目前中文论坛没有。也许随着数字孪生的不断普及，应用会越来越多~
在文章的前面：
自动化不再是原来的自动化，为什么你还是原来的你
其中，我写了这样一句话：当时代抛弃你的时候，他们连你好都不问候
也许我的看法不一定对，但是随着数字孪生的应用越来越广泛，虚拟调试是数字孪生的一个关键环节。在家就是白菜，哈哈
对虚拟调试感兴趣的小伙伴可以先阅读以下文章：
TIA合作、MCD、PDPS、Plant，这里有你想看的虚拟调试
05 对爬虫的思考
先说风险：
有一句笑话是这样说的：学好爬虫早进监狱，学好爬虫坐牢吃饱。网上也有各种爬虫工程师因此坐牢吃饭。所以，即使真的学了爬虫，也不要乱来。
爬虫作为计算机技术的一种，决定了其中立性，因此爬虫本身并不受法律禁止，但利用爬虫技术获取数据的行为存在违法甚至犯罪的风险。
所谓具体问题具体分析，就像水果刀的使用本身不为法律所禁止，但如果用于刺人，则为法律所不容。
或者我们可以这样理解：爬虫就是用来批量获取网页的公开信息，也就是前端展示的数据信息。所以，既然是公开信息，其实就像浏览器一样。浏览器解析并显示页面内容，爬虫也是一样，只是爬虫会分批下载，所以是合法的。非法情况是配合爬虫，利用黑客技术对网站后台进行攻击，窃取后台数据（如用户数据等）。
举个例子：像这样的搜索引擎爬虫每隔几天就会扫描全网的网页供大家查看，而且大部分被扫描的网站都很开心。这被定义为“诚信爬虫”。可是，抢票软件之类的爬虫恨不得每秒手淫几万次到12306，铁先生心里不是滋味。这种爬虫被定义为“恶意爬虫”。
爬虫带来的风险主要体现在以下三个方面：
我从爬虫中得到了什么？
对我来说，爬虫只是一个数据抓取工具。它让我更快地了解某项技术，了解某项行业，用最短的时间了解客户的痛点在哪里。IT工具继续为OT服务，仅此而已，除了我前面提到的，我可以使用它：
了解某个行业或人群的需求找到这个行业的一些主要领导者通过分析和理解这些需求背后的含义深入挖掘这个行业的上下游行业高效快速地找到我的目标客户...... ..
过去的推荐
浅谈串口通讯（232、485、422）及MES、SCADA、PLC项目中的常见问题
MES下的数据采集——扫描仪串口通讯
【附下载】RS232串口通讯
OPCUA 等支持的 TSN 是什么？——工业通信的未来已来
OPC UA & OPC 之间的数据转换
OPC UA - 面向未来的工业通信规范
玩了多年虚拟机的工程师，桥接模式、NAT、host-only模式你懂吗？
做了很多项目，你对互联网了解多少？| 网络基础（一）
Ping用了100次，你以为你懂了吗？| 网络基础（二）
OSI网络七层模型与TCP/IP五层模型| 网络基础（三）
抓包分析TCP三次握手/四次握手详解|网络基础（四）
Ping网络中各种互通和故障的总结分析。同一个vlan的不同网段能ping通吗？
一篇文章看懂vlan、子网掩码、MAC地址、网关、DNS、三层交换机