今天看赵鑫老师的大模型综述文章时，刷到了20年的一场关于科研如何入门的报告，听完之后还挺有感触，不禁感叹赵老师的高标准和严谨态度，特此记录如下~
科研（nlp）
选题
- 时刻关注顶级会议的方向，如ACL/EMNLP/CPLING/AAAI/NeurIPS
找参考文献
- 从中文综述入手找到合适的英文论文
- 借助知乎等
- 用谷歌学术判断权威性
- 读论文还是优先读顶会的、顶刊的，如ccf-A
- 要follow本领域做的比较好的人，时刻关注动向
- 从这篇论文引用的论文找需要读的论文
读论文
- 读一下知乎、公众号等概述
- 积累本领域的所有专业单词，提升英语水平
学习/建立模型
- 动手从一个工具入手，明白这个模型的原理，多动手
- 掌握硬功夫：即对一类或者几类模型非常熟悉
设计实验
- 数据的获取、处理、划分
- 评测指标的选取
- 对比方法的选取
写论文
- 一定确保基本语法的过关，平时多提升英语水平，尤其是写作水平
- 大量阅读论文
- 积累摘抄经典的句子、通用的、优美的语句为自己所用
- 先不看摘要，看看自己能不能复写摘要
- 看一下智源的一次主题报告，专门讲论文写作的。
- 论文逻辑一定要清晰
- 要写清楚，一定要先讲清楚
- 第一轮草稿可以复用一些自己积攒的句子，形成固定句式，减少重复写作
日常内功
读论文
- 知乎、微博等学术帖子
- 锁定几个会议期刊，必读一下感兴趣的文章摘要
- 分成精读和细读论文：研究生每周要精读3-5篇
- 如何算精读论文：
- 记住作者名字
- 记住题目
- 要说出这篇文章的毛病和问题
- 要说出这篇文章的贡献
- 能联想出类似的若干文章
- 如果确认这篇文章对自己有帮助，要记住技术细节、实验细节
- 能想出这篇文章在自己的研究题目下如何应用
系统学习过机器学习才可以，跟着公开课
- 以用latex写出简单的笔记才是对这个算法模型的最终理解
- 以能写出具体的代码才能算对这个模型算法的最终掌握
写代码
- 必须熟练掌握一门语言和一个框架，即python+pytorch
- 一般难度的模型做到3天之内要复现
- 不要自己乱写，代码不规范
- 做到代码开源，结果复现
观察数据
需要对数据敏感，数据很重要
一名合格的硕士生要求
- 熟练掌握一门编程语言
- 3天完成一个模型的基础开发
- 熟悉基本的机器学习基础
- 可以用白班给大家推公式
- 能快速解决本领域自己未做过的一个任务
- 能独立发表论文：独立科研很重要
- 能带领低年级的同学做科研。
- 即带着别人做科研是能力很强的人做科研
深度学习入门
- 系统上过一门公开课，系统学习
- 阅读一些技术帖子、模型去解析文章
- 熟练使用pytorch
如何从零起步
打好基础
- 系统学完一门经典的课程
- 完整阅读一门深度学习教科书，不要突击，而是细水长流，慢慢读
- 熟练掌握python和pytorch
读论文
- 大量阅读顶刊顶会，确定好方向
- 把近五年的论文做好列表，一半以上的文章要知道什么意思
开始尝试找idea
- 定位好自己的研究方向
- 仔细阅读每一篇文章的introduction，做到了解每篇文章的研究动机
- 重点看好related work，比较研究工作之间的差别
建立模型
- 要善于模仿和迁移
- 聚焦某一类模型的解决方案，即对这一类非常熟悉，想办法去优化创新
设计实验
- 实验部分是有章可循的，评价指标等都是有的，不要乱写
- 重点不在介绍baseline上，而是验证自己创新点的有效性上
- 适当辅助合适的例子进行说明，即case study
- 实验过程是要认真严谨的，即敢于把代码和数据都公开
写论文
- 论文写作重要精确有逻辑，先讲清楚再写清楚
- 逐步打磨细节部分，先把框架写好
