现在是23年5月份，工作已基本有了着落，回首过去的几个月，竟发现这条求职路是如此的坎坷。

这应该是最后一篇关于强化学习的内容了，使用A3C算法玩平衡杆游戏。

之前两篇文章介绍的内容其实都属于策略网络，即用神经网络去模拟在给定状态s下，每个动作a的执行概率。这篇用到的DQN则属于值函数网络，在这一大类里又可以分为：状态值函数和状态-动作值函数，DQN属于后者，即用神经网络去模拟在给定状态s和动作a的情况下，回报的期望。

仍旧是玩平衡杆游戏，不过这次用了更为强大的PPO2，看完之后不经感叹里面的思想真的是太奇妙了！相较于朴素的策略网络，多了好多新的trick，不敢想象发明这个算法的人是有多聪明。

我一直觉得强化学习是走向强人工智能的一个必经过程，现有的许多问答系统中也时常会出现强化学习的身影。本文使用策略网络玩强化学习入门的平衡杆游戏。

使用requests和BeautifulSoup爬取天气信息。

本文介绍文本相似度计算的各种方法，可以广泛应用在基于问答对匹配的问答系统中。

使用Huggingface中预训练的BERT模型进行文本分类。

到目前为止，复旦的不倒翁问答系统只能回答事实类问题，不具备闲聊功能，为了真正做到“不倒问答”，我使用 fasttext 做了一个问句类型分类器，用来判断是事实类问题还是闲聊问题，效果好的出奇。

在完成毕业论文（设计）期间的调研工作，主要研究了几个经典的问答系统和机器阅读理解模型。