local-search.xml

<?xml version="1.0" encoding="utf-8"?>
<search>
  
  
  
  <entry>
    <title>迁移博客</title>
    <link href="/2023/08/22/%E8%BF%81%E7%A7%BB%E5%8D%9A%E5%AE%A2/"/>
    <url>/2023/08/22/%E8%BF%81%E7%A7%BB%E5%8D%9A%E5%AE%A2/</url>
    
    <content type="html"><![CDATA[<h1 id="做个备份吧"><a href="#做个备份吧" class="headerlink" title="做个备份吧"></a>做个备份吧</h1><p><a href="https://blog.csdn.net/qq_36667170/article/details/118163563">参考文章1</a></p>]]></content>
    
    
    <categories>
      
      <category>折腾</category>
      
    </categories>
    
    
    <tags>
      
      <tag>折腾</tag>
      
    </tags>
    
  </entry>
  
  
  
  <entry>
    <title>NCBI使用指南</title>
    <link href="/2022/04/01/NCBI-guidebook/"/>
    <url>/2022/04/01/NCBI-guidebook/</url>
    
    <content type="html"><![CDATA[<h1 id="NCBI使用指南"><a href="#NCBI使用指南" class="headerlink" title="NCBI使用指南"></a>NCBI使用指南</h1><h2 id="什么是NCBI？"><a href="#什么是NCBI？" class="headerlink" title="什么是NCBI？"></a>什么是NCBI？</h2><blockquote><p>美国国家生物技术信息中心 （ National Center for Biotechnology Information，NCBI ）</p><p><a href="https://www.ncbi.nlm.nih.gov/">National Center for Biotechnology Information (nih.gov)</a></p><p><code>https://www.ncbi.nlm.nih.gov/</code></p><p>从网址上可以看出来它属于<code>美国国立卫生研究院</code>National Institutes of health（NIH）下属的<code>美国国家医学图书馆</code>National Library of Medicine（nlm）。</p><p>NCBI设置有与生物技术和生物医学相关的一系列数据库，是生物信息学工具和服务的重要资源。 主要数据库包括DNA序列<a href="https://www.ncbi.nlm.nih.gov/genbank/">GenBank (nih.gov)</a>，和生物医学文献书目数据库<a href="https://pubmed.ncbi.nlm.nih.gov/">PubMed (nih.gov)</a>。 其他数据库包括NCBI表观基因组数据库。 所有这些数据库都可以通过Entrez搜索引擎在线获取。</p></blockquote><h2 id="NCBI怎么用呢？"><a href="#NCBI怎么用呢？" class="headerlink" title="NCBI怎么用呢？"></a>NCBI怎么用呢？</h2><h3 id="要了解怎么用首先要看下NCBI的主页"><a href="#要了解怎么用首先要看下NCBI的主页" class="headerlink" title="要了解怎么用首先要看下NCBI的主页"></a>要了解怎么用首先要看下NCBI的主页</h3><p>NCBI主页能多年不变，证明了其首页功能的合理性。</p><p><img src="/img/NCBI/1.png"></p><p>NCBI主页主要常用的就是红线画的板块</p><ol><li><a href="https://www.ncbi.nlm.nih.gov/guide/all/#howtos">How To</a>|如果你有任何不会用的都可以去这里搜索教程。</li><li>搜索栏|你能搜索NCBI中的各种数据库</li><li>中间部分|提交、下载、学习、开发、分析、研究数据</li><li>左边快捷栏|你能看到NCBI所有资源目录</li><li>右边热门资源|你能快速使用NCBI的热门资源</li></ol><h3 id="常用数据库"><a href="#常用数据库" class="headerlink" title="常用数据库"></a>常用数据库</h3><blockquote><p>当你只有一段DNA、RNA、蛋白序列的时候，你想知道它是什么，这时候<a href="https://blast.ncbi.nlm.nih.gov/Blast.cgi">BLAST: Basic Local Alignment Search Tool (nih.gov)</a>就是一个很好的工具</p><p>BLAST（Basic Local Alignment Search Tool）能够快速比较核酸或蛋白质之间的相似性</p><p>帮助你快速找到相似的基因或者蛋白。</p></blockquote><blockquote><p>对于单核苷酸多态性（SNP）<a href="https://www.ncbi.nlm.nih.gov/snp/">Home - SNP - NCBI (nih.gov)</a>你能快速搜索到SNP位点</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/genbank/">GenBank</a>是NIH基因序列数据库，是所有公开可用的DNA序列的注释集合</p><p>GenBank是<a href="https://www.ncbi.nlm.nih.gov/genbank/collab">国际核苷酸序列数据库协作</a>的一部分，该协作包括<code>DNA DataBank of Japan</code>（DDBJ），<code>European Nucleotide Archive</code>（ENA）和NCBI的GenBank。这三个组织每天交换数据。</p><p>你能够在GenBank上上传和下载各种基因序列</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/assembly">Assembly</a>提供有关组装基因组结构、组装名称和其他元数据、统计报告以及基因组序列数据链接的信息。你能得到各种物种的参考基因组。</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/refseq/">RefSeq</a>提供了一组全面、集成、非冗余、注释良好的序列，包括基因组DNA、转录本和蛋白质。RefSeq 序列构成了医学、功能和多样性研究的基础。它们为基因组注释、基因鉴定和表征、突变和多态性分析、表达研究和比较分析提供了稳定的参考。</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/cdd">Conserved Domains)</a>保守域数据库是用于注释蛋白质中功能单元的资源。其域模型集合包括由NCBI构建的一组，该数据库利用3D结构来提供对序列/结构/功能关系的解释。</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/structure">Structure</a>三维结构提供了有关大分子的生物学功能和进化历史的丰富信息。它们可用于检查序列-结构-函数关系、相互作用、活动位点等。</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/gene">Gene</a>整合了来自各种物种的信息。记录可能包括命名法、参考序列 （RefSeqs）、图谱、通路、变异、表型以及与全球基因组、表型和位点特异性资源的链接。</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/geo/">GEO</a>(Gene Expression Omnibus)GEO 是一个公共功能基因组学数据存储库，接受基于数组和序列的数据。提供的工具可帮助用户查询和下载实验和精选的基因表达谱。</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/protein">Protein</a>蛋白质数据库是来自多个来源的序列的集合，包括来自GenBank，RefSeq和TPA中注释编码区域的翻译，以及来自SwissProt，PIR，PRF和PDB的记录。蛋白质序列是生物结构和功能的基本决定因素。</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/clinvar/">ClinVar</a>一个可搜索的基因数据库，专注于已经完全测序的基因组，并且有一个活跃的研究社区来贡献基因特异性数据。信息包括命名法、染色体定位、基因产物及其属性（例如，蛋白质相互作用）、相关标记、表型、相互作用以及与引文、序列、变异细节、图谱、表达报告、同源物、蛋白质结构域内容和外部数据库的链接。</p><p>ClinVar汇总了来自<code>SNOMED CT</code>，<code>GeneReviews</code>，<code>Genetic Home Reference</code>，<code>Office of Rare Diseases</code>，<code>MeSH</code>和<code>OMIM®</code>等来源的具有遗传基础的医疗条件的名称。</p><p>ClinVar还汇总了来自<code>Human Phenotype Ontology</code>（HPO），<code>OMIM</code>和其他来源的相关特征的描述。跟踪每个信息源，并可用于查询。</p></blockquote><blockquote><p><a href="https://pubchem.ncbi.nlm.nih.gov/">PubChem</a>PubChem主要含有小分子，但也含有较大的分子，如核苷酸，碳水化合物，脂质，肽和化学修饰的大分子。我们收集有关化学结构、标识符、化学和物理特性、生物活性、专利、健康、安全、毒性数据等信息。</p></blockquote><blockquote><p><a href="https://www.ncbi.nlm.nih.gov/dbvar">dbVar</a>dbVar是NCBI的人类基因组结构变异数据库 — 大于50 bp的大变体，包括插入，删除，重复，反转，移动元素，易位和复杂变异</p></blockquote><blockquote><p><a href="https://pubmed.ncbi.nlm.nih.gov/">PubMed</a>类似于Web of science，不过专注于医学和生命科学帮助快速检索书籍和文献。</p></blockquote><h3 id="一条常见的查询流程"><a href="#一条常见的查询流程" class="headerlink" title="一条常见的查询流程"></a>一条常见的查询流程</h3><blockquote><p>获取数据</p><blockquote><p>检索数据</p><blockquote><p>针对需求具体查询</p></blockquote></blockquote></blockquote><ol><li><h4 id="获取数据"><a href="#获取数据" class="headerlink" title="获取数据"></a>获取数据</h4></li></ol><ul><li><p>有一段序列使用BLAST找到近缘基因</p></li><li><p>从Pubmed上的文章得到基因名或者PMID</p></li><li><p>通过检索疾病功能来搜索基因</p></li></ul><ol start="2"><li>检索基因</li></ol><ul><li>在<a href="https://www.ncbi.nlm.nih.gov/gene">Gene</a>数据库中搜索基因</li></ul><p>以TP53为例：</p><p><img src="/img/NCBI/2.png"></p><p><img src="/img/NCBI/3.png"></p><ol start="3"><li>针对针对需求具体查询</li></ol><p>以TP53为例：</p><p><img src="/img/NCBI/4.png"></p><ul><li>Summary</li></ul><p><img src="/img/NCBI/5.png"></p><p>对TP53的总结</p><p>包括基因名称、来源、类型、别称、是否证实、总结、同源等</p><ul><li>Genomic context</li></ul><p><img src="/img/NCBI/6.png"></p><p>这个部分我们可以查看这个基因在DNA水平染色体位置上的相关信息。同时也可以简单了解起上下游的基因。如果想要看详细信息，我们可以通过 Genome Data View来查看结果。</p><ul><li>Genomic regions, transcripts, and products</li></ul><p><img src="/img/NCBI/7.png"></p><p>这个部分我们可以在RNA水平上各个转录本的相关信息</p><ul><li>Expression</li></ul><p><img src="/img/NCBI/8.png"></p><p>可以查看在二代测序的数据当中，不同的正常组织中 TP53的基因表达情况</p><ul><li>Bibliography</li></ul><p><img src="/img/NCBI/9.png"></p><p>在这个部分，我们可以查看和这个基因相关的所有相关文献。这个部分主要分为两个部分</p><ol><li>所有和 TP53相关的所有文献</li><li><code>GeneRIFs</code>(Gene References Into Functions)，这个功能类似于筛选出和这个基因功能有关的文献</li></ol><ul><li>Phenotypes</li></ul><p><img src="/img/NCBI/10.png"></p><p>这个部分可以用来查找和 TP53相关的表型情况。包括：相关的疾病信息；拷贝数变异以及 GWAS情况</p><ul><li>Pathways from PubChem</li></ul><p><img src="/img/NCBI/11.png"></p><p>这个部分我们可以了解和 TP53有关的通路。其数据结果来自于各个综合性的通路分析数据库。</p><ul><li>Interactions</li></ul><p><img src="/img/NCBI/12.png"></p><p>这个部分我们可以了解和 TP53的互作情况。</p><ul><li>General gene information＆General protein information</li></ul><p><img src="/img/NCBI/13.png" alt="13"></p><p>这个部分我们可以了解和 TP53的markers、同源性、克隆体、基因本体（GO）、以及对应的蛋白。</p><p>同源基因可以在<code>Homology</code>里查询</p><p><img src="/img/NCBI/19.png"></p><ul><li>NCBI Reference Sequences (RefSeq)</li></ul><p><img src="/img/NCBI/14.png"></p><p>这个部分，可以查看 TP53的所有基因序列信息。我们可以查看其基因组的序列，也可以查看每个转录本的序列以及转录本翻译成蛋白的序列。其中关于转录本的信息也有简单的介绍。如果需要详细的介绍点击链接即可。</p><ul><li><strong><font color = red>[NEW]</font>Variation</strong></li></ul><p><img src="/img/NCBI/15.png"></p><p>这个部分，可以查看 TP53的在<code>ClinVar</code>和<code>dbVar</code>相关变体和SNP位点</p><p><code>ClinVar</code>中的变体</p><p><img src="/img/NCBI/16.png"></p><p><code>dbVar</code>中的变体</p><p><img src="/img/NCBI/17.png"></p><p><code>dbSNP</code>中的SNP</p><p><img src="/img/NCBI/18.png"></p>]]></content>
    
    
    <categories>
      
      <category>学习</category>
      
    </categories>
    
    
    <tags>
      
      <tag>学习</tag>
      
      <tag>指南</tag>
      
      <tag>NCBI</tag>
      
    </tags>
    
  </entry>
  
  
  
  <entry>
    <title>校园网ipv6教程</title>
    <link href="/2022/03/02/%E6%A0%A1%E5%9B%AD%E7%BD%91ipv6%E6%95%99%E7%A8%8B/"/>
    <url>/2022/03/02/%E6%A0%A1%E5%9B%AD%E7%BD%91ipv6%E6%95%99%E7%A8%8B/</url>
    
    <content type="html"><![CDATA[<h1 id="使用Vultr服务器搭建SSR服务器，实现所有设备IPV6免流上网"><a href="#使用Vultr服务器搭建SSR服务器，实现所有设备IPV6免流上网" class="headerlink" title="使用Vultr服务器搭建SSR服务器，实现所有设备IPV6免流上网"></a>使用Vultr服务器搭建SSR服务器，实现所有设备IPV6免流上网</h1><h2 id="重要"><a href="#重要" class="headerlink" title="重要"></a>重要</h2><p>这个教程使用的很多前人的的经验</p><p>可以先学习下<code>网络七层协议</code></p><p>下面教程前提是你连的网络有<strong>ipv6</strong>（UCAS目前寝室有线和自己加装路由器（需要路由器里开启ipv6功能模式为桥接或Native）、宿舍区UCAS无线、图书馆UCAS有<strong>ipv6</strong>，）餐厅、教学楼的新加装的华为AP路由器没有开启ipv6，故此处的UCAS网络没有<strong>ipv6</strong></p><p><font color=Red><b>由于VPS服务器在海外，导致有一定法律风险，并且你的ip地址会在国外，物理影响可能会影响打游戏等对延迟较高的操作（可以打国际服）或对游戏程序单独走ipv4来规避</b></font></p><p><strong>遇到不会的善用搜索引擎，或者找个<del>男（女）</del>朋友帮你</strong></p><p>本文最后会附上参考教程</p><h2 id="重要一点：作为中国学生在能访问外网时要明辨是非，不做违法的事。"><a href="#重要一点：作为中国学生在能访问外网时要明辨是非，不做违法的事。" class="headerlink" title="重要一点：作为中国学生在能访问外网时要明辨是非，不做违法的事。"></a>重要一点：作为中国学生在能访问外网时要明辨是非，不做违法的事。</h2><h2 id="做任何事的时候牢记社会主义核心价值观"><a href="#做任何事的时候牢记社会主义核心价值观" class="headerlink" title="做任何事的时候牢记社会主义核心价值观"></a>做任何事的时候牢记社会主义核心价值观</h2><p><font color=Red><b>富强、民主、文明、和谐、自由、平等、公正、法治、爱国、敬业、诚信、友善</b></font></p><p><font color=Red><b>爱国！爱国！爱国！</b></font></p><h2 id="原理"><a href="#原理" class="headerlink" title="原理"></a>原理</h2><p>我们先来看下面一张简易的（<del>极其业余的</del>）网络拓补图，了解一下实现所谓的校园教育网免流量的原理。（用于简单解释了一下连接用于描述原理，大牛见笑）</p><p><img src="/img/ipv6/1.jpg"></p><p>在上述的典型高校网络环境中，用户需要具有ipv4连接和ipv6连接。</p><p>ipv6普遍存在于高校中。目前，校园计费系统以ipv4为准。即ipv4产生的出入流量才是你每月要掏腰包的流量（建议！！检查一下你的学校是否只计ipv4流量）。在ipv6连接产生的流量免费。但是在纯ipv6环境下能访问的网站少之又少。大部分我们日常使用<del>（补番和下游戏)</del>的网站只能用ipv4去访问。</p><p>那么，我们选取一个具有ipv4和ipv6能力的服务器A作为中转，形成用户只用ipv6访问服务器A，通过服务器A的ipv4连接去访问目标网站的方案，就可以实现不计费上网。详见下面的拓补图</p><p><img src="/img/ipv6/2.jpg"></p><p>这就意味着，<strong>只有你具有ipv6的网络，才能用此方法实现免计费上网</strong>。如果你用的是CMCC的无线宽带或者其他一些商业宽带，具有ipv6的可能性很小，但是话毕竟不能说死嘛：</p><p>可以用多种方式判断是否有ipv6</p><h5 id="有两个方法"><a href="#有两个方法" class="headerlink" title="有两个方法"></a>有两个方法</h5><ol><li><p>只要你的网络里有ipv6地址就行（UCAS注寝室有线UCAS都有）</p><p>PC端在Win+R，cmd，输入<code>ipconfig \all</code>查看是否有ipv6，或者用网络信息看是否有ipv6</p><p><img src="/img/ipv6/3.png" alt="3"></p><p><strong>如果有路由器请在路由器开启ipv6服务，一般是桥接模式或者Native</strong></p><p>手机端连接UCAS，或者寝室wifi，看连接网络是否有ipv6地址，苹果是连接后网络右边<code>i</code></p></li><li><p>在不认证网络情况下访问</p></li></ol><p>2.1 <a href="http://www.test-ipv6.com/">test-ipv6</a></p><p>2.2 <a href="https://ipv6-test.com/">ipv6-test</a></p><p><img src="/img/ipv6/4.png"></p><h2 id="Vultr好处"><a href="#Vultr好处" class="headerlink" title="Vultr好处"></a>Vultr好处</h2><p>不怕被封ip，因为vultr是折算成小时计费，且可以随时删除和开通服务器，新服务器就是新的ip。需要注意的是如果一直只有你一个人在申请同一种服务器，会导致分配的都是统一个ip。可以先搞几个服务器先测试</p><h2 id="SSR搭建"><a href="#SSR搭建" class="headerlink" title="SSR搭建"></a>SSR搭建</h2><h3 id="创建Vultr服务器"><a href="#创建Vultr服务器" class="headerlink" title="创建Vultr服务器"></a>创建Vultr服务器</h3><p><a href="https://www.vultr.com/?ref=8458650"><img src="https://www.vultr.com/media/banners/banner_728x90.png" width="728" height="90"></a></p><p>打开<a href="https://www.vultr.com/?ref=8458650">Vultr官网</a>，也可以点上面banner注册</p><p>vultr实际上是折算成小时来计费的，比如服务器是5美元1个月，那么每小时收费为5/30/24=0.0069美元 会自动从账号中扣费，只要保证账号有钱即可。如果你部署的服务器实测后速度不理想，你可以把它删掉（destroy），重新换个地区的服务器来部署，方便且实用。因为新的服务器就是新的ip，所以当ip被墙时这个方法很有用。当ip被墙时，为了保证新开的服务器ip和原先的ip不一样，<strong>先开新服务器，开好后再删除旧服务器即可</strong></p><p><img src="/img/ipv6/5.png"></p><h4 id="充值10刀以上"><a href="#充值10刀以上" class="headerlink" title="充值10刀以上"></a>充值10刀以上</h4><p>选择信用卡或者支付宝，充值10美刀即可。（价格是一月是5美刀，计算时间充值（短期内可退款），和朋友一起用性价比高）</p><p>最低充值10美刀，然后扫码付款即可。</p><p><img src="/img/ipv6/6.png"></p><h4 id="购买VPS"><a href="#购买VPS" class="headerlink" title="购买VPS"></a>购买VPS</h4><p>购买服务器有以下几个原则</p><ul><li>物理上与本机机器越近越好</li><li>在够用的基础上配置越低越好（512M内存就够用了）</li><li>操作系统尽可能选择自己熟悉的</li></ul><ol><li>服务器类型选择Cloud Compute</li></ol><p><img src="/img/ipv6/7.png"></p><ol start="2"><li>服务器地址推荐最近的亚洲<em><strong>延迟主要看物理距离和国际网络出口</strong></em></li></ol><p><img src="/img/ipv6/8.png"></p><ol start="3"><li><font color=Red><b>注意</b></font>镜像选择<strong>CentOS 8 Stream x64</strong>,5刀的服务器就行，折合人民币30多，有1000GB流量。<br>本教程基于</li></ol><p><strong>CentOS 8 Stream x64<br>CentOS 8 Stream x64<br>CentOS 8 Stream x64<br>CentOS 8 Stream x64</strong></p><p><img src="/img/ipv6/9.png"></p><ol start="4"><li><p>开启IPv6<br><img src="/img/ipv6/10.png"></p></li><li><p>创建服务器</p></li></ol><p><img src="/img/ipv6/11.png"></p><h4 id="配置服务器"><a href="#配置服务器" class="headerlink" title="配置服务器"></a>配置服务器</h4><p>等待VPS配置完成，检测ip是否被gfw墙</p><p><img src="/img/ipv6/13.png"></p><p><img src="/img/ipv6/12.png"></p><p>WIN+R ，cmd进入命令行（在网络认证下）<code>ping -4 加vps的ip地址</code> <code>ping -6 加vps的ipv6地址</code></p><p>若都能连通这步完成 ，若不行，再购买个vps重复这个操作，<strong>这个先不删除（按时间收费的没多少钱，如果这个服务器删了下次还是分配这个ip地址）</strong></p><p>删除vps</p><p><img src="/img/ipv6/14.png"></p><h4 id="部署服务器端"><a href="#部署服务器端" class="headerlink" title="部署服务器端"></a>部署服务器端</h4><p>购买服务器后，需要部署一下。因为你买的是虚拟东西，而且又远在国外，我们需要一个叫Xshell的软件来远程部署。</p><p>Xshell windows版官网下载地址：<a href="https://www.netsarang.com/zh/xshell/">https://www.netsarang.com/zh/xshell/</a></p><p>学生可以下载免费版<del>也可以用破解版，自行百度</del>，直接输入你的邮箱，xshell就会把免费版下载链接发送到邮箱里：</p><p><img src="/img/ipv6/15.png"></p><ol><li>左上角新建，连接服务器，名称随意取，主机你的vps ipv4地址</li></ol><p><img src="/img/ipv6/16.png"></p><ol start="2"><li>用户身份 ，用户名在你的vps上ip地址下面，默认是root，密码直接复制下面的隐藏内容</li></ol><p><img src="/img/ipv6/17.png"></p><ol start="3"><li>连接后接受RSA密匙保存。</li></ol><p>命令行出现证明连接成功</p><p><img src="/img/ipv6/18.png"></p><p>所有代码请一行行执行，<strong>linux下ctrl+insert<code>复制</code>shift+insert<code>粘贴</code>，xshell下默认右键粘贴</strong></p><p><code>#</code>后为注释内容不会的可以自行搜索各行什么意思</p><ol start="4"><li>禁用vps防火墙设置python默认版本</li></ol><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><code class="hljs bash">systemctl stop firewalld.service <span class="hljs-comment">#查询</span><br>systemctl <span class="hljs-built_in">disable</span> firewalld.service<br>systemctl status firewalld.service<br>alternatives --<span class="hljs-built_in">set</span> python /usr/bin/python3<br></code></pre></td></tr></table></figure><p>如果提醒防火墙不活跃或者dead证明关闭成功</p><ol start="5"><li>一键部署ssr</li></ol><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><code class="hljs bash">yum -y install wget <span class="hljs-comment">#安装wget</span><br>wget -N --no-check-certificate https://raw.githubusercontent.com/ToyoDAdoubi/doubi/master/ssr.sh <span class="hljs-comment">#下载一键脚本</span><br>chmod +x ssr.sh <span class="hljs-comment">#执行权限</span><br>bash ssr.sh <span class="hljs-comment">#执行脚本</span><br></code></pre></td></tr></table></figure><ol start="6"><li>操作脚本</li></ol><ul><li>选1.安装SSR</li></ul><p><img src="/img/ipv6/19.png"></p><ul><li>2.设置端口和密码，自行设置<strong>不要</strong>设置常用的22，80，443，8080等原因自己查下，密码可以稍微复杂点这种服务会被监听的</li></ul><p><img src="/img/ipv6/20.png"></p><ul><li>选10.加密方式选择aes-256-cfb</li></ul><p><img src="/img/ipv6/21.png"></p><ul><li>选2.协议插件选择auth-sha1-v4 同意兼容</li></ul><p>选择并确认后，会出现上图的界面，提示你是否选择兼容原版，这里的原版指的是SS客户端（SS客户端没有协议和混淆的选项），可以根据需求进行选择，演示选择y</p><p>之后进行混淆插件的设置。</p><p>注意：如果协议是origin，那么混淆也必须是plain；如果协议不是origin，那么混淆可以是任意的。有的地区需要把混淆设置成plain才好用。因为混淆不总是有效果，要看各地区的策略，有时候不混淆（plain）或者（origin和plain一起使用），让其看起来像随机数据更好。（特别注意：tls 1.2_ticket_auth容易受到干扰！请选择除tls开头以外的其它混淆！！！）</p><p><img src="/img/ipv6/22.png"></p><p><img src="/img/ipv6/23.png"></p><ul><li>选1. 混淆选原版的plain</li></ul><p><img src="/img/ipv6/24.png"></p><ul><li>接下来直接回车，之后代码就正式自动部署了，到下图所示的位置，提示你下载文件，输入：y</li></ul><p><img src="/img/ipv6/25.png"></p><p>保存你的服务器信息</p><p><img src="/img/ipv6/26.png"></p><h4 id="SSR客户端下载与使用"><a href="#SSR客户端下载与使用" class="headerlink" title="SSR客户端下载与使用"></a>SSR客户端下载与使用</h4><p>第一次电脑系统使用SSR/SS客户端时，如果提示你需要安装NET Framework 4.0，网上搜一下这个东西，安装一下即可。NET Framework 4.0是SSR/SS的运行库，没有这个SSR/SS客户端无法正常运行。有的电脑系统可能会自带NET Framework 4.0。</p><p>Windows :<a href="https://github.com/shadowsocksr-backup/shadowsocksr-csharp/releases">下载地址</a></p><p>MacOS：<a href="https://github.com/shadowsocksr-backup/ShadowsocksX-NG/releases">下载地址</a></p><p>安卓：<a href="https://github.com/shadowsocksr-backup/shadowsocksr-android/releases/download/3.4.0.8/shadowsocksr-release.apk">下载地址</a></p><p>IOS、IPADOS：软件目前已经在国内的appstore商店下架。比较麻烦，使用外区apple id，购买shadowrocket，美区大概6刀</p><p>有了软件后，打开SSR客户端，填上信息，以windows为例：</p><p><img src="/img/ipv6/27.png"></p><p>以上面服务器写vps服务器的ipv6地址，端口按你设定的来，密码按你设定的来，加密协议混淆按你的来，我推荐的是加密aes-256-cfb、协议auth_sha1_v4、混淆plain。备注分组你自己写不写都行与服务器端没关系。然后右键小飞机</p><p><img src="/img/ipv6/38.png"></p><p>系统代理模式改为全局</p><p><img src="/img/ipv6/39.png"></p><p>代理规则全局，<del>如果有路由器设置页面（例如192.168.1.1），请选择绕过局域网。</del></p><p>服务器改为你刚刚添加的就可以正常访问网络google，bilibili了</p><p>一般应用都会读取系统代理</p><p>下图代表正常情况：</p><p>证明你本地的127.1.1.1被成功代理了</p><p><img src="/img/ipv6/29.png"></p><p>对于访问不正常的应用</p><p>多在其设置里找代理设置</p><p>以网易云为例（代理后网易云检测ip会导致没有海外版权的歌灰掉）：</p><p><img src="/img/ipv6/30.png"></p><p>有两种</p><p>一种是读取IE代理设置就是你浏览器的设置</p><p>一种是自定义代理选sock5，地址127.0.0.1端口1080</p><p><img src="/img/ipv6/31.png"></p><p>QQ微信同理如果不设置，QQ微信认为你在国外，会走腾讯海外服务器接受消息。</p><p><img src="/img/ipv6/32.png"></p><p>（非必须）对于有些游戏没有相关代理以暴雪战网和蓝叠模拟器为例（更新游戏，更新内容）：</p><p>可以使用<code>Proxifier</code><a href="http://www.hanzify.org/software/13717.html">下载地址</a></p><p>教程如下</p> <figure class="highlight ada"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs ada"><span class="hljs-number">1</span>、配置文件<span class="hljs-comment">--代理服务器</span><br></code></pre></td></tr></table></figure><p><img src="/img/ipv6/33.png"></p><figure class="highlight apache"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs apache"><span class="hljs-attribute">2</span>、使用本地代理地址（默认<span class="hljs-number">127.0.0.1</span>）、本地端口（默认<span class="hljs-number">1080</span>）、socks<span class="hljs-number">5</span>协议。<br></code></pre></td></tr></table></figure><p><img src="/img/ipv6/34.png"></p><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs plain">3、配置好后，测试代理是否可用。<br></code></pre></td></tr></table></figure><p><img src="/img/ipv6/35.png"></p><figure class="highlight ada"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs ada"><span class="hljs-number">4</span>、配置服务器<span class="hljs-comment">--代理规则</span><br></code></pre></td></tr></table></figure><p><img src="/img/ipv6/36.png"></p><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><code class="hljs plain">5、设置代理规则<br>这里我设置了三条规则，从下往上分别是：<br>第一条，默认所有程序都走代理<br>第二条，本地回环地址不走代理，直接连接。<br>第三条，SSR程序不走代理，直接连接。（数据包就可用通过SSR传递到代理服务器，防止死循环）<br></code></pre></td></tr></table></figure><p><img src="/img/ipv6/37.png"></p><p><strong>游戏进程可以代理规则里改为直连然后用认证ipv4就可以只有游戏走国内</strong></p><h2 id="手机端设置和电脑端类似输入服务器信息由于手边没有安卓不做演示，代理方式全局就行。ios呢？？手机截图放文章太麻烦，鸽了可以去google搜下"><a href="#手机端设置和电脑端类似输入服务器信息由于手边没有安卓不做演示，代理方式全局就行。ios呢？？手机截图放文章太麻烦，鸽了可以去google搜下" class="headerlink" title="手机端设置和电脑端类似输入服务器信息由于手边没有安卓不做演示，代理方式全局就行。ios呢？？手机截图放文章太麻烦，鸽了可以去google搜下"></a>手机端设置和电脑端类似输入服务器信息由于手边没有安卓不做演示，代理方式全局就行。<del>ios呢？？手机截图放文章太麻烦，鸽了</del>可以去google搜下</h2><p>给两个参考估计需要电脑端代理后才能访问<strong>服务器处记着填写ipv6地址，不要按教程填ipv4的</strong>：</p><p><a href="https://www.bwgss.org/1156.html">Android（安卓）系统 ShadowsocksR / SSR 客户端配置教程丨搬瓦工SS教程 (bwgss.org)</a></p><p><a href="https://v2raycn.com/198.html">ShadowsocksR（SSR）iOS 客户端配置教程：Potatso Lite / Shadowrocket - V2Ray中文网 (v2raycn.com)</a></p><p><em><strong>这个教程很详细我第一次玩ssr都是看这个做的</strong></em><a href="https://www.quchao.net/ShadowsocksR.html">（重要）ShadowSocksR(SSR)功能详细介绍及使用教程 - Mark’s Blog - Quchao.net</a></p><h2 id="重要一点：作为中国学生在能访问外网时要明辨是非，不做违法的事。-1"><a href="#重要一点：作为中国学生在能访问外网时要明辨是非，不做违法的事。-1" class="headerlink" title="重要一点：作为中国学生在能访问外网时要明辨是非，不做违法的事。"></a>重要一点：作为中国学生在能访问外网时要明辨是非，不做违法的事。</h2><h2 id="做任何事的时候牢记社会主义核心价值观-1"><a href="#做任何事的时候牢记社会主义核心价值观-1" class="headerlink" title="做任何事的时候牢记社会主义核心价值观"></a>做任何事的时候牢记社会主义核心价值观</h2><p><font color=Red><b>富强、民主、文明、和谐、自由、平等、公正、法治、爱国、敬业、诚信、友善</b></font></p><p><font color=Red><b>爱国！爱国！爱国！</b></font></p><h3 id="常见问题参考解决方法："><a href="#常见问题参考解决方法：" class="headerlink" title="常见问题参考解决方法："></a><strong>常见问题参考解决方法：</strong></h3><p><strong>1、用了一段时间发现ssr账号用不了了？</strong></p><p>首先ping一下自己的ip，看看能不能ping的通，ping不通那么就是ip被墙了，ip被墙时，xshell也会连接不上服务器，遇到这种情况重新部署一个新的服务器，新的服务器就是新的ip。关于怎么ping ip的方法，可以自行网上搜索，或者用xshell软件连接服务器来判断，连不上即是被墙了。vultr开通和删除服务器非常方便，新服务器即新ip，大多数vps服务商都没有这样的服务，一般的vps服务商可能会提供免费更换1次ip的服务。</p><p><strong>2、刚搭建好的ssr账号，ip能ping通，但是还是用不了？</strong></p><p>首选排除杀毒软件的干扰，尤其是国产杀毒软件，比如360安全卫生、360杀毒软件、腾讯管家、金山卫生等。这些东西很容易干扰翻墙上网，如果你的电脑安装了这样的东西，建议至少翻墙时别用，最好卸载。其次，检查下SSR信息是否填写正确。浏览器的代理方式是否是ssr代理，即（HTTP）127.0.0.1 和1080。如果以上条件都排除，还是用不了，那么可以更换端口、加密方式、协议、混淆，或者更换服务器位置。另外，如果你的vps服务器配置的是SSR账号，即有协议和混淆且没有兼容原版(SS版），那么你必须使用SSSR客户端来使用账号，因为SS客户端没有填写协议和混淆的选项。</p><p><strong>3、有的地区需要把混淆参数设置成plain才好用。</strong>因为混淆不总是有效果，要看各地区的策略，有时候不混淆（plain）让其看起来像随机数据更好。</p><p><strong>4、电脑能用但手机用不了？</strong></p><p>如果你的手机用的是SS客户端，SS客户端没有填协议和混淆的地方，如果你部署的协议和混淆的时候没有选择兼容原版（SS版），因此手机是用不了的。这个时候你把协议弄成兼容原版、混淆也设置成兼容原版即可。或者直接将协议设置成origin且混淆设置成plain。</p><p><strong>5、vps的服务器操作系统不要用的太高</strong>，太高可能会因为系统的防火墙问题导致搭建的SSR账号连不上。如果某个系统不好用，可以选择其它的系统来尝试。</p><p><strong>6、vultr服务商提供的vps服务器是单向流量计算</strong>，有的vps服务商是双向流量计算，单向流量计算对于用户来说更实惠。因为我们是在vps服务器上部署SSR服务端后，再用SSR客户端翻墙，所以SSR服务端就相当于中转，比如我们看一个视频，必然会产生流量，假如消耗流量80M，那么VPS服务器会产生上传80M和下载80M流量，vultr服务商只计算单向的80M流量。如果是双向计算流量，那么会计算为160M流量。</p><p><strong>7、如果你想把搭建的账号给多人使用</strong>，不用额外设置端口，因为一个账号就可以多人使用。一般5美元的服务器可以同时支持40人在线使用。</p><p>如果想实现支持每个用户(端口)不同的加密方式/协议/混淆等，并且管理流量使用，可以参考多用户配置脚本：wget -N — no-check-certificate <a href="https://raw.githubusercontent.com/ToyoDAdoubi/doubi/master/ssrmu.sh">https://raw.githubusercontent.com/ToyoDAdoubi/doubi/master/ssrmu.sh</a> &amp;&amp; chmod +x ssrmu.sh &amp;&amp; bash ssrmu.sh 安装后管理命令为：bash ssrmu.sh</p><p>注意：这个多用户配置脚本和教程内容的脚本无法共存！要想用这个脚本，把之前的脚本卸载，输入管理命令bash ssr.sh ，选择3，卸载ShadowsocksR即可卸载原脚本。</p><p><strong>8、vultr服务器每月有流量限制</strong>，超过限制后服务器不会被停止运行，但是超出的流量会被额外收费。北美和西欧地区的服务器超出流量后，多出的部分收费为0.01美元/G。新加坡和日本东京（日本）为0.025美元/G，悉尼（澳大利亚）为0.05美元/G。把vultr服务器删掉，开通新的服务器，流量会从0开始重新计算。</p><p><strong>9、vultr怎样才能申请退款呢？</strong></p><p>vultr和其他的国外商家一样，都是使用工单的形式与客服联系，如果需要退款，直接在后台点击support，选择open ticket新开一个工单，选择billing question财务问题，简单的在文本框输入你的退款理由。比如：Please refund all the balance in my account。工单提交以后一般很快就可以给你确认退款，若干个工作日后就会退回你的支付方式。（全额退款结束后，账号可能会被删除）</p><p>如果英语水平不好，但是想和客服进行交流，可以用百度在线翻译，自动中文转英文和英文转中文。</p><p><strong>10、路由器也可以配置ss/ssr账号</strong>，可以看恩山学习论坛：<a href="https://www.right.com.cn/forum/">恩山无线论坛 - Powered by Discuz! (right.com.cn)</a></p><p><strong>11、都看到这了应该没什么问题了</strong>，如果有问题请按下面方式联系我</p><p><strong>12、交流学习的话你总是能找到我的</strong>，<del>这个在我博客，你可以在关于里找到我的bilibili可以私信我</del></p><h2 id="参考文章"><a href="#参考文章" class="headerlink" title="参考文章"></a>参考文章</h2><ol><li><a href="https://github.com/phoenixash520/vultr-ssr-ipv6-CentOs8-">phoenixash520/vultr-ssr-ipv6-CentOs8-: vultr搭建ssr服务器，并使用ipv6免流上校园网教程（CentOs8避坑指南） (github.com)</a></li><li>[<a href="https://steinslab.io/archives/168">实验]VPS搭建ss服务中转实现纯ipv6访问网络-校园网免流量 - Steins;Lab (steinslab.io)</a></li><li><a href="https://github.com/Tremb1e/ucas_ipv6_bypass">Tremb1e/ucas_ipv6_bypass: 本教程适用于绕过国科大ucas校园网登录，其他支持ipv6的校园网理论上也可以使用。 (github.com)</a></li><li><a href="https://www.spacesafe.top/archives/716">使用Proxifier工具实现全局代理 – EI_’s Blog (spacesafe.top)</a></li><li><a href="https://www.quchao.net/ShadowsocksR.html">ShadowSocksR(SSR)功能详细介绍及使用教程 - Mark’s Blog - Quchao.net</a></li></ol>]]></content>
    
    
    <categories>
      
      <category>折腾</category>
      
    </categories>
    
    
    <tags>
      
      <tag>折腾</tag>
      
      <tag>校园网</tag>
      
    </tags>
    
  </entry>
  
  
  
  <entry>
    <title>STAR和BWA比对软件使用；samtools使用</title>
    <link href="/2021/07/12/%E5%B7%A5%E5%85%B7/"/>
    <url>/2021/07/12/%E5%B7%A5%E5%85%B7/</url>
    
    <content type="html"><![CDATA[<h1 id="介绍"><a href="#介绍" class="headerlink" title="介绍"></a>介绍</h1><p><code>BWA</code>和<code>STAR</code>作为ENCODE的御用软件,分别用于DNA-seq和RNA-seq</p><blockquote><p>DNA-seq和RNA-seq区别，由于RNA形成中有外显子，区别显然在与区别仅在于是否会考虑跨外显子的比对（即：是否会将没有比对上的reads劈开，对劈开后的两部分再次比对）。</p><ul><li>DNA-seq：bowtie；bowtie2；BWA</li><li>RNA-seq：STAR；HISAT2；Tophat<br>这里我们主要介绍ENCODE的御用软件<br>  <code>samtools</code>是一个用于操作sam和bam文件的工具合集，和上面BWA一样都是大佬李恒开发的。<del><strong>题外话；开发高效软件只要用你的软件就算引用这引用真的高。</strong></del></li></ul></blockquote><h1 id="使用"><a href="#使用" class="headerlink" title="使用"></a>使用</h1><h2 id="STAR"><a href="#STAR" class="headerlink" title="STAR"></a>STAR</h2><h3 id="下载安装"><a href="#下载安装" class="headerlink" title="下载安装"></a>下载安装</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs bash">wget -c https://github.com/alexdobin/STAR/archive/2.7.3a.tar.gz<br>tar -xvzf 2.7.3a.tar.gz<br><span class="hljs-built_in">cd</span> STAR-2.7.3a<br></code></pre></td></tr></table></figure><h3 id="构建index"><a href="#构建index" class="headerlink" title="构建index"></a>构建index</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre></td><td class="code"><pre><code class="hljs bash">STAR<br>--runThreadN NumberOfThreads<br>--runMode genomeGenerate<br>--genomeDir /path/to/genomeDir<br>--genomeFastaFiles /path/to/genome/fasta1 /path/to/genome/fasta2 ...<br>--sjdbGTFfile /path/to/annotations.gtf<br>--sjdbOverhang ReadLength-1<br></code></pre></td></tr></table></figure><hr><p><code>--runThreadN</code> ：设置线程数<br><code>--genomeDir</code> ：index输出的路径<br><code>--genomeFastaFiles</code> ：参考基因组序列<br><code>--sjdbGTFfile</code> ：参考基因组注释文件<br><code>--sjdbOverhang</code> ：这个是reads长度的最大值减1，默认是100<br><code>--sjdbFileChrStartEnd</code>：与注释(通过<code>--sjdbGTFfile</code>选项)一起生成新的基因组索引<br>第二遍映射。这需要对所有样本只做一次。</p><h3 id="进行mapping"><a href="#进行mapping" class="headerlink" title="进行mapping"></a>进行mapping</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br></pre></td><td class="code"><pre><code class="hljs bash">STAR<br>--runThreadN NumberOfThreads<br>--genomeDir /path/to/genomeDir<br>--outSAMtype BAM SortedByCoordinate<br>--readFilesIn /path/to/read1 [/path/to/read2 ]<br>--readFilesCommand UncompressionCommand<br></code></pre></td></tr></table></figure><p><code>--twopassMode Basic</code>：使用two-pass模式进行reads比对。简单来说就是先按索引进行第一次比对，而后把第一次比对发现的新剪切位点信息加入到索引中进行第二次比对。<br><code>--quantMode TranscriptomeSAM GeneCounts</code>：将reads比对至转录本序列。<br><code>--runThreadN</code>：线程数。<br><code>--genomeDir</code>：索引目录。<br><code>--alignIntronMin</code>：最短的内含子长度。（根据GTF文件计算）<br><code>--alignIntronMax</code>：最长的内含子长度。（根据GTF文件计算）<br><code>--outSAMtype BAM SortedByCoordinate</code>：输出BAM文件并进行排序。<br><code>--sjdbOverhang</code>：reads长度减1。<br><code>--outSAMattrRGline</code>：ID代表样本ID，SM代表样本名称，PL为测序平台。在使用GATK进行SNP Calling时同一SM的样本可以合并在一起。<br><code>--outFilterMismatchNmax</code>：比对时允许的最大错配数。<br><code>--outSJfilterReads Unique</code>：对于跨越剪切位点的reads（junction reads)，只考虑跨越唯一剪切位点的reads。</p><p><code>--outSAMtype</code> ：表示输出默认排序的bam文件，类似于samtools sort（还有–outSAMtype BAM Unsorted和–outSAMtype BAM Unsorted SortedByCoordinate）</p><p><code>--outSAMmultNmax</code>：每条reads输出比对结果的数量。<br><code>--outFileNamePrefix</code>：输出文件前缀。<br><code>--outSAMmapqUnique 60</code>：将uniquely mapping reads的MAPQ值调整为60，满足下游使用GATK进行分析的需要。<br><code>--readFilesCommand</code>：对FASTQ文件进行操作。<br><code>--readFilesIn</code>：输入FASTQ文件的路径。</p><h3 id="两次mapping"><a href="#两次mapping" class="headerlink" title="两次mapping"></a>两次mapping</h3><blockquote><h4 id="STAR-2-pass-mode"><a href="#STAR-2-pass-mode" class="headerlink" title="STAR 2-pass mode"></a>STAR 2-pass mode</h4><p>为了发现更加灵敏的new junction，STAR建议使用2-pass mode，其能增加检测到的new junction数目，使得更多的splices reads能mapping到new junction。因此STAR先用一般参数做一遍mapping，收集检测到的junction信息，然后利用这已经annotated junction来做第二次mapping。</p></blockquote><p>首先做一遍常规的比对，结果中会生成一个SJ.out.tab文件，如上面所提到的，然后用<code>--sjdbFileChrStartEnd</code>参数将所有样品的SJ.out.tab文件作为输入的annotated junction进行第二次建index。</p><hr><p>上述方法original方法适用于多样本和单个样本的处理，但是如果是per-sample(单个样本？)的2-pass mapping，可以直接用<code>--twopassMode Basic</code>参数将第两步mapping中的make index省去，直接再mapping。</p><h3 id="如果不清楚请使用STAR帮助文档"><a href="#如果不清楚请使用STAR帮助文档" class="headerlink" title="如果不清楚请使用STAR帮助文档"></a>如果不清楚请使用STAR帮助文档</h3><p><a href="https://github.com/alexdobin/STAR/blob/master/doc/STARmanual.pdf"><em>STARmanual</em></a></p><h2 id="BWA-Burrows-Wheeler-Alignment-Tool"><a href="#BWA-Burrows-Wheeler-Alignment-Tool" class="headerlink" title="BWA(Burrows-Wheeler-Alignment Tool)"></a>BWA(Burrows-Wheeler-Alignment Tool)</h2><blockquote><p>BWA 的三种模式</p><ul><li><p><strong>BWA-backtrack:</strong> 是用来比对 Illumina 的序列的，reads 长度最长能到 100bp。</p></li><li><p><strong>BWA-SW:</strong> 用于比对 long-read ，支持的长度为 70bp-1Mbp；同时支持剪接性比对。</p></li><li><p><strong>BWA-MEM:</strong> 推荐使用的算法，支持较长的read长度，同时支持剪接性比对（split alignments)，但是BWA-MEM是更新的算1法，也更快，更准确，且 BWA-MEM 对于 70bp-100bp 的 Illumina 数据来说，效果也更好些。</p></li></ul></blockquote><h3 id="下载安装-1"><a href="#下载安装-1" class="headerlink" title="下载安装"></a>下载安装</h3><ol><li><p>下载tar</p><p>下载BWA <a href="https://github.com/lh3/bwa/releases">http://bio-bwa.sourceforge.net/bwa.shtml</a></p></li></ol><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre></td><td class="code"><pre><code class="hljs bash"><span class="hljs-comment">#解压</span><br>$ tar -jxvf bwa-*.tar.bz2<br>$ <span class="hljs-built_in">cd</span> bwa-*；<br><span class="hljs-comment"># 编译BWA</span><br>$ make<br>$ <span class="hljs-built_in">echo</span> <span class="hljs-string">&#x27;PATH=$PATH:/path/bwa--*&#x27;</span> &gt;&gt; ~/.bashrc<br>$ <span class="hljs-built_in">source</span> ~/.bashrc<br></code></pre></td></tr></table></figure><ol start="2"><li>git</li></ol> <figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br></pre></td><td class="code"><pre><code class="hljs bash">git <span class="hljs-built_in">clone</span> https://github.com/lh3/bwa.git<br><span class="hljs-built_in">cd</span> bwa<br>make<br><span class="hljs-comment">##command</span><br>Command: index         index sequences <span class="hljs-keyword">in</span> the FASTA format<br>         mem           BWA-MEM algorithm<br>         fastmap       identify super-maximal exact matches<br>         pemerge       merge overlapping paired ends (EXPERIMENTAL)<br>         aln           gapped/ungapped alignment<br>         samse         generate alignment (single ended)<br>         sampe         generate alignment (paired ended)<br>         bwasw         BWA-SW <span class="hljs-keyword">for</span> long queries<br>         shm           manage indices <span class="hljs-keyword">in</span> shared memory<br>         fa2pac        convert FASTA to PAC format<br>         pac2bwt       generate BWT from PAC<br>         pac2bwtgen    alternative algorithm <span class="hljs-keyword">for</span> generating BWT<br>         bwtupdate     update .bwt to the new format<br>         bwt2sa        generate SA from BWT and Occ<br></code></pre></td></tr></table></figure><h3 id="构建index-1"><a href="#构建index-1" class="headerlink" title="构建index"></a>构建index</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs bash">bwa index [ –p prefix ] [ –a algoType ] &lt;in.db.fasta&gt;<br><span class="hljs-comment"># 根据reference genome data(e.g. ref.fa) 建立 Index File：</span><br>bwa index ref.fa -p genome        <span class="hljs-comment"># 可以不加-p genome，这样建立索引都是以ref.fa为前缀</span><br></code></pre></td></tr></table></figure><h3 id="进行mapping-1"><a href="#进行mapping-1" class="headerlink" title="进行mapping"></a>进行mapping</h3><h4 id="BWA-MEM-算法"><a href="#BWA-MEM-算法" class="headerlink" title="BWA-MEM 算法"></a>BWA-MEM 算法</h4><blockquote><p>该算法先使用 MEM(maximal exact matches) 进行 seeding alignments，再使用 SW(affine-gap Smith-Waterman) 算法进行 seeds 的延伸。BWA–MEM 算法执行局部比对和剪接性。可能会出现 query 序列的多个不同的部位出现各自的最优匹配，导致 reads 有多个最佳匹配位点。有些软件如 Picard’s markDuplicates 跟 mem 的这种剪接性比对不兼容,在这种情况下，可以使用 –M 选项来将 shorter split hits 标记为次优。</p></blockquote><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs bash">bwa mem [options] ref.fa reads.fq [mates.fq]<br></code></pre></td></tr></table></figure><p>​     <code>-t</code>   INT 线程数，默认是1，增加线程数，会减少运行时间。<br> 　<code>-M</code>   <strong>将 shorter split hits 标记为次优，以兼容 Picard’s markDuplicates 软件。</strong><br> 　<code>-p</code>   若无此参数：输入文件只有1个，则进行单端比对；若输入文件有2个，则作为paired reads进行比对。若加入此参数：则仅以第1个文件作为输入(会忽略第二个输入序列文件，把第一个文件当做单端测序的数据进行比对)，该文件必须是read1.fq和read2.fa进行reads交叉的数据。<br> 　<code>-R</code>   STR 完整的read group的头部，可以用 ‘\t’ 作为分隔符， 在输出的SAM文件中被解释为制表符TAB. read group 的ID，会被添加到输出文件的每一个read的头部。<br> 　<code>-T</code>   INT   当比对的分值比 INT 小时，不输出该比对结果，这个参数只影响输出的结果，不影响比对的过程。<br> 　<code>-a</code>   将所有的比对结果都输出，包括 single-end 和 unpaired paired-end的 reads，但是这些比对的结果会被标记为次优。<br> 　<code>-Y</code>   对数据进行soft clipping, 当错配或者gap数过多比对不上时，会对序列进行切除，这里的切除并只是在比对时去掉这部分序列，最终输出结果中序列还是存在的，所以称为soft clipping。</p><h4 id="BWA其他算法"><a href="#BWA其他算法" class="headerlink" title="BWA其他算法"></a>BWA其他算法</h4><p>详情请见<a href="http://bio-bwa.sourceforge.net/bwa.shtml"><em>BWAmanual</em></a></p><h2 id="SAMtools"><a href="#SAMtools" class="headerlink" title="SAMtools"></a>SAMtools</h2><blockquote><p>samtools是一个用于操作sam和bam文件的工具合集。能够实现二进制查看、格式转换、排序及合并等功能，结合sam格式中的flag、tag等信息，还可以完成比对结果的统计汇总。同时利用linux中的grep、awk等操作命令，还可以大大扩展samtools的使用范围与功能。包含有许多命令。</p></blockquote><h3 id="下载安装-2"><a href="#下载安装-2" class="headerlink" title="下载安装"></a>下载安装</h3><p><code>https://github.com/samtools/samtools/releases/</code></p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br></pre></td><td class="code"><pre><code class="hljs bash">mkdir ~/biosoft/samtools<br><span class="hljs-built_in">cd</span> ~/biosoft/samtools<br>wget -c https://github.com/samtools/samtools/releases/download/1.9/samtools-1.9.tar.bz2<br>tar jxvf samtools-1.9.tar.bz2<br>./configure --prefix=~/biosoft/samtools-1.9<br>make<br>make install<br><span class="hljs-built_in">echo</span> <span class="hljs-string">&#x27;export PATH=&quot;/home/vip47/biosoft/samtools-1.9/bin:$PATH&quot; &#x27;</span> &gt;&gt;~/.bashrc<br><span class="hljs-built_in">source</span> ~/.bashrc<br></code></pre></td></tr></table></figure><h3 id="使用-1"><a href="#使用-1" class="headerlink" title="使用"></a>使用</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br><span class="line">40</span><br><span class="line">41</span><br><span class="line">42</span><br><span class="line">43</span><br><span class="line">44</span><br><span class="line">45</span><br><span class="line">46</span><br></pre></td><td class="code"><pre><code class="hljs bash"><span class="hljs-variable">$samtools</span><br><br>Program: samtools (Tools <span class="hljs-keyword">for</span> alignments <span class="hljs-keyword">in</span> the SAM format)<br>Version: 1.9 (using htslib 1.9)<br><br>Usage:   samtools &lt;<span class="hljs-built_in">command</span>&gt; [options]<br><br>Commands:<br>  -- Indexing<br>     dict           create a sequence dictionary file<br>     faidx          index/extract FASTA<br>     fqidx          index/extract FASTQ<br>     index          index alignment<br><br>  -- Editing<br>     calmd          recalculate MD/NM tags and <span class="hljs-string">&#x27;=&#x27;</span> bases<br>     fixmate        fix mate information<br>     reheader       replace BAM header<br>     targetcut      cut fosmid regions (<span class="hljs-keyword">for</span> fosmid pool only)<br>     addreplacerg   adds or replaces RG tags<br>     markdup        mark duplicates<br><br>  -- File operations<br>     collate        shuffle and group alignments by name<br>     cat            concatenate BAMs<br>     merge          merge sorted alignments<br>     mpileup        multi-way pileup<br>     sort           sort alignment file<br>     split          splits a file by <span class="hljs-built_in">read</span> group<br>     quickcheck     quickly check <span class="hljs-keyword">if</span> SAM/BAM/CRAM file appears intact<br>     fastq          converts a BAM to a FASTQ<br>     fasta          converts a BAM to a FASTA<br><br>  -- Statistics<br>     bedcov         <span class="hljs-built_in">read</span> depth per BED region<br>     depth          compute the depth<br>     flagstat       simple stats<br>     idxstats       BAM index stats<br>     phase          phase heterozygotes<br>     stats          generate stats (former bamcheck)<br><br>  -- Viewing<br>     flags          explain BAM flags<br>     tview          text alignment viewer<br>     view           SAM&lt;-&gt;BAM&lt;-&gt;CRAM conversion<br>     depad          convert padded BAM to unpadded BAM<br></code></pre></td></tr></table></figure><ol><li>view</li></ol><figure class="highlight gcode"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs gcode">view命令的主要功能是：将sam文件与bam文件互换；然后对bam文件进行各种操作，比如数据的排序<span class="hljs-comment">(sort)</span>和提取<span class="hljs-comment">(这些操作是对bam文件进行的，因而当输入为sam文件的时候，不能进行该操作)</span>；最后将排序或提取得到的数据输出为bam或sam（默认的）格式。<br>bam文件优点：bam文件为二进制文件，占用的磁盘空间比sam文本文件小；利用bam二进制文件的运算速度快。<br>view命令中，对sam文件头部（序列ID）的输入<span class="hljs-comment">(-t或-T）和输出(-h)</span>是单独的一些参数来控制的。<br></code></pre></td></tr></table></figure><blockquote><p>Usage: samtools view [options] | [region1 […]]<br> 下面的view命令的部分参数<br> 默认情况下不加 region，则是输出所有的 region.options:</p></blockquote><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br></pre></td><td class="code"><pre><code class="hljs bash">-b output BAM  <br><span class="hljs-comment"># 该参数设置输出 BAM 格式，默认下输出是 SAM 格式文件</span><br>-h <span class="hljs-built_in">print</span> header <span class="hljs-keyword">for</span> the SAM output <br><span class="hljs-comment"># 默认下输出的 sam 格式文件不带 header，该参数设定输出sam文件时带 header 信息 </span><br>-H <span class="hljs-built_in">print</span> SAM header only (no alignments)  <br><span class="hljs-comment"># 仅仅输出文件的头文件</span><br>-S input is SAM  <br><span class="hljs-comment"># 默认下输入是 BAM 文件，若是输入是 SAM 文件，则最好加该参数，否则有时候会报错。 </span><br>-u uncompressed BAM output (force -b)  <br><span class="hljs-comment"># 该参数的使用需要有-b参数，能节约时间，但是需要更多磁盘空间。 </span><br>-c <span class="hljs-built_in">print</span> only the count of matching records<br><span class="hljs-comment"># 仅输出匹配的统计记录 </span><br>-L FILE  only include reads overlapping this BED FILE [null] <br><span class="hljs-comment">#  仅包括和bed文件存在overlap的reads</span><br>-o FILE  output file name [stdout] <br><span class="hljs-comment"># 输出文件的名称</span><br>-F INT  only include reads with none of the FLAGS <span class="hljs-keyword">in</span> INT present [0] <br><span class="hljs-comment"># 过滤flag，仅输出指定FLAG值的序列</span><br>-q INT   only include reads with mapping quality &gt;= INT [0]    <br><span class="hljs-comment"># 比对的最低质量值，一般认为20就为unique比对了，可以结合上述-bF参数使用使用提取特定的比对结果</span><br>-@ Number of additional threads to use [0]<br><span class="hljs-comment"># 指使用的线程数</span><br></code></pre></td></tr></table></figure><p>所有例子在<code>example</code>文件下</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br></pre></td><td class="code"><pre><code class="hljs bash"><span class="hljs-comment"># 将sam文件转换成bam文件</span><br>samtools view -bS abc.sam &gt; abc.bam<br><br><span class="hljs-comment"># BAM转换为SAM</span><br>samtools view -h -o out.sam out.bam<br><br><span class="hljs-comment"># 提取比对到参考序列上的比对结果</span><br>samtools view -bF 4 abc.bam &gt; abc.F.bam<br><br><span class="hljs-comment"># 提取paired reads中两条reads都比对到参考序列上的比对结果，只需要把两个4+8的值12作为过滤参数即可</span><br>samtools view -bF 12 abc.bam &gt; abc.F12.bam<br><br><span class="hljs-comment"># 提取没有比对到参考序列上的比对结果</span><br>samtools view -bf 4 abc.bam &gt; abc.f.bam<br><br><span class="hljs-comment"># 提取bam文件中比对到caffold1上的比对结果，并保存到sam文件格式</span><br>samtools view abc.bam scaffold1 &gt; scaffold1.sam<br><br><span class="hljs-comment"># 提取scaffold1上能比对到30k到100k区域的比对结果</span><br>samtools view abc.bam scaffold1:30000-100000 <span class="hljs-variable">$gt</span>; scaffold1_30k-100k.sam<br><br><span class="hljs-comment"># 根据fasta文件，将 header 加入到 sam 或 bam 文件中</span><br>samtools view -T genome.fasta -h scaffold1.sam &gt; scaffold1.h.sam<br></code></pre></td></tr></table></figure><ol start="2"><li>sort<blockquote><p>sort对bam文件进行排序。</p></blockquote><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br></pre></td><td class="code"><pre><code class="hljs bash">Usage: samtools sort [option] &lt;in.bam&gt; -o &lt;out.prefix&gt;  <br>-n Sort by <span class="hljs-built_in">read</span> name<br><span class="hljs-comment">#设定排序方式按short reads的ID排序。默认下是按序列在fasta文件中的顺序（即header）和序列从左往右的位点排序。</span><br><br>-m INT     Set maximum memory per thread; suffix K/M/G recognized [768M]<br><span class="hljs-comment"># 设置每个线程的最大内存，单位可以是K/M/G，默认是 768M。对于处理大数据时，如果内存够用，则设置大点的值，以节约时间。</span><br><br>-t TAG     Sort by value of TAG. Uses position as secondary index (or <span class="hljs-built_in">read</span> name <span class="hljs-keyword">if</span> -n is <span class="hljs-built_in">set</span>)<br><span class="hljs-comment"># 按照TAG值排序</span><br><br>-o FILE    Write final output to FILE rather than standard output <br><span class="hljs-comment"># 输出到文件中，加文件名</span><br></code></pre></td></tr></table></figure></li></ol><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs bash"><span class="hljs-comment">#  tmp.bam 按照序列名称排序，并将结果输出到tmp.sort.bam  </span><br>samtools sort -n tmp.bam  -o tmp.sort.bam    <br>samtools view tmp.sort.bam <br></code></pre></td></tr></table></figure><ol start="3"><li>merge &amp; cat</li></ol><blockquote><p>merge将多个已经sort了的bam文件融合成一个bam文件。融合后的文件不需要则是已经sort过了的。而cat命令不需要将bam文件进行sort。</p></blockquote><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br></pre></td><td class="code"><pre><code class="hljs bash">Usage: samtools merge [-nurlf] [-h inh.sam] [-b &lt;bamlist.fofn&gt;] &lt;out.bam&gt; &lt;in1.bam&gt; [&lt;in2.bam&gt; ... &lt;inN.bam&gt;]<br><br>Options: <br>  -n         Input files are sorted by <span class="hljs-built_in">read</span> name<br><span class="hljs-comment"># 输入文件是经过sort -n的</span><br>  -t TAG     Input files are sorted by TAG value<br><span class="hljs-comment"># 输入文件是经过sort -t的</span><br>  -r         Attach RG tag (inferred from file names)<br><span class="hljs-comment"># 添加上RG标签</span><br>  -u         Uncompressed BAM output<br><span class="hljs-comment"># 输出未压缩的bam</span><br>  -f         Overwrite the output BAM <span class="hljs-keyword">if</span> exist<br><span class="hljs-comment"># 覆盖已经存在的bam</span><br>  -1         Compress level 1<br><span class="hljs-comment"># 1倍压缩</span><br>  -l INT     Compression level, from 0 to 9 [-1]<br><span class="hljs-comment"># 指定压缩倍数</span><br>  -R STR     Merge file <span class="hljs-keyword">in</span> the specified region STR [all]<br>  -h FILE    Copy the header <span class="hljs-keyword">in</span> FILE to &lt;out.bam&gt; [in1.bam]<br></code></pre></td></tr></table></figure><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre></td><td class="code"><pre><code class="hljs bash"><span class="hljs-variable">$samtools</span> cat<br>Usage: samtools cat [options] &lt;in1.bam&gt;  [... &lt;inN.bam&gt;]<br>       samtools cat [options] &lt;in1.cram&gt; [... &lt;inN.cram&gt;]<br><br>Options: -b FILE  list of input BAM/CRAM file names, one per line<br>         -h FILE  copy the header from FILE [default is 1st input file]<br>         -o FILE  output BAM/CRAM<br></code></pre></td></tr></table></figure><ol start="4"><li>index</li></ol><blockquote><p>对排序后的序列建立索引，并输出为bai文件，用于快速随机处理。在很多情况下，特别是需要显示比对序列的时候，bai文件是必不可少的，例如之后的tview命令。</p></blockquote><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs bash">samtools index &lt;in.bam&gt; [out.index]<br><br>samtools index abc.sort.bam<br></code></pre></td></tr></table></figure><ol start="5"><li>faidx</li></ol><blockquote><p>对<code>fasta</code>文件建立索引,生成的索引文件以<code>.fai</code>后缀结尾。该命令也能依据索引文件快速提取<code>fasta</code>文件中的某一条（子）序列。</p></blockquote><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs bash">samtools faidx &lt;file.fa|file.fa.gz&gt; [&lt;reg&gt; [...]]samtools faidx &lt;file.fa|file.fa.gz&gt; [&lt;reg&gt; [...]]<br></code></pre></td></tr></table></figure><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><code class="hljs bash">samtools faidx genome.fasta<br><span class="hljs-comment"># 生成了索引文件genome.fasta.fai,是一个文本文件，分成了5列。第一列是子序列的名称；第二列是子序列的长度；个人认为“第三列是序列所在的位置”，因为该数字从上往下逐渐变大，最后的数字是genome.fasta文件的大小；第4和5列不知是啥意思。于是通过此文件，可以定位子序列在fasta文件在磁盘上的存放位置，直接快速调出子序列。</span><br><br><span class="hljs-comment"># 由于有索引文件，可以使用以下命令很快从基因组中提取到fasta格式的子序列</span><br>samtools faidx genome.fasta scffold_10 &gt; scaffold_10.fasta<br></code></pre></td></tr></table></figure><ol start="6"><li>tview</li></ol><blockquote><p>能直观的显示出reads比对基因组的情况，和基因组浏览器有点类似。可视化一般用IGV比较好，不建议用tview</p></blockquote><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs bash">samtools tview &lt;aln.bam&gt; [ref.fasta]<br></code></pre></td></tr></table></figure><h3 id="其他命令"><a href="#其他命令" class="headerlink" title="其他命令"></a>其他命令</h3><p>请看帮助文档<a href="http://www.htslib.org/doc/samtools.html"><em>samtools</em></a></p>]]></content>
    
    
    <categories>
      
      <category>生信分析</category>
      
      <category>比对</category>
      
    </categories>
    
    
    <tags>
      
      <tag>生信分析</tag>
      
      <tag>比对</tag>
      
    </tags>
    
  </entry>
  
  
  
  <entry>
    <title>Linux常见操作和PBS使用</title>
    <link href="/2021/07/05/PBS-use/"/>
    <url>/2021/07/05/PBS-use/</url>
    
    <content type="html"><![CDATA[<h1 id="一些PBS学习时总结"><a href="#一些PBS学习时总结" class="headerlink" title="一些PBS学习时总结"></a>一些PBS学习时总结</h1><p><code>PBS</code>(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS的主要特点有：代码开放，免费获取；支持批处理、交互式作业和串行、多种并行作业，如MPI、 PVM、HPF、MPL；PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一. PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发, PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本。</p><h2 id="常用指令"><a href="#常用指令" class="headerlink" title="常用指令"></a>常用指令</h2><p><a href="https://www.runoob.com/linux/linux-command-manual.html">Linux代码大全</a>|<a href="https://blog.csdn.net/l1028386804/article/details/117917710">CSDN代码大全</a></p><h3 id="文件操作"><a href="#文件操作" class="headerlink" title="文件操作"></a>文件操作</h3><p><code>ls</code> 显示当前文件夹所有非隐藏文件</p><p><code>ll</code>是<code>ls -l</code>显示ls的详细信息</p><p><code>ls -a</code>显示隐藏文件夹</p><p><code>pwd</code>显示当前目录</p><p><code>cd</code>切换目录</p><p><code>mkdir</code>创建文件夹</p><p><code>rmdir</code>删除文件夹</p><p><code>touch</code>创建空白文件</p><p><code>cp</code>复制</p><p><code>mv</code>移动</p><p><code>rm</code>删除</p><p><code>rm -r</code> 删除所有</p><p><code>rm -i</code>逐个询问删除</p><p><code>rm -f</code><del>强制</del>删除<strong>慎用</strong></p><p><code>ln -s</code>建立文件和文件软链接（快捷方式）</p><p><code>cat</code> 显示文件<code>cat file1 file2 &gt;file</code>文件合并</p><p><code>echo</code>显示输入的内容  追加文件<code>echo &quot;hello world&quot; &gt;&gt; script.txt</code></p><h3 id="安装操作"><a href="#安装操作" class="headerlink" title="安装操作"></a>安装操作</h3><h4 id="打包解包"><a href="#打包解包" class="headerlink" title="打包解包"></a>打包解包</h4><figure class="highlight css"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br></pre></td><td class="code"><pre><code class="hljs css">tar <span class="hljs-selector-attr">[-ABcdgGhiklmMoOpPrRsStuUvwWxzZ]</span><span class="hljs-selector-attr">[-b &lt;区块数目&gt;]</span><span class="hljs-selector-attr">[-C &lt;目的目录&gt;]</span><span class="hljs-selector-attr">[-f &lt;备份文件&gt;]</span><span class="hljs-selector-attr">[-F &lt;Script文件&gt;]</span><span class="hljs-selector-attr">[-K &lt;文件&gt;]</span><span class="hljs-selector-attr">[-L &lt;媒体容量&gt;]</span><span class="hljs-selector-attr">[-N &lt;日期时间&gt;]</span><span class="hljs-selector-attr">[-T &lt;范本文件&gt;]</span><span class="hljs-selector-attr">[-V &lt;卷册名称&gt;]</span><span class="hljs-selector-attr">[-X &lt;范本文件&gt;]</span><span class="hljs-selector-attr">[-&lt;设备编号&gt;&lt;存储密度&gt;]</span><span class="hljs-selector-attr">[--after-date=&lt;日期时间&gt;]</span><span class="hljs-selector-attr">[--atime-preserve]</span><span class="hljs-selector-attr">[--backuup=&lt;备份方式&gt;]</span><span class="hljs-selector-attr">[--checkpoint]</span><span class="hljs-selector-attr">[--concatenate]</span><span class="hljs-selector-attr">[--confirmation]</span><span class="hljs-selector-attr">[--delete]</span><span class="hljs-selector-attr">[--exclude=&lt;范本样式&gt;]</span><span class="hljs-selector-attr">[--force-local]</span><span class="hljs-selector-attr">[--group=&lt;群组名称&gt;]</span><span class="hljs-selector-attr">[--help]</span><span class="hljs-selector-attr">[--ignore-failed-read]</span><span class="hljs-selector-attr">[--new-volume-script=&lt;Script文件&gt;]</span><span class="hljs-selector-attr">[--newer-mtime]</span><span class="hljs-selector-attr">[--no-recursion]</span><span class="hljs-selector-attr">[--null]</span><span class="hljs-selector-attr">[--numeric-owner]</span><span class="hljs-selector-attr">[--owner=&lt;用户名称&gt;]</span><span class="hljs-selector-attr">[--posix]</span><span class="hljs-selector-attr">[--erve]</span><span class="hljs-selector-attr">[--preserve-order]</span><span class="hljs-selector-attr">[--preserve-permissions]</span><span class="hljs-selector-attr">[--record-size=&lt;区块数目&gt;]</span><span class="hljs-selector-attr">[--recursive-unlink]</span><span class="hljs-selector-attr">[--remove-files]</span><span class="hljs-selector-attr">[--rsh-command=&lt;执行指令&gt;]</span><span class="hljs-selector-attr">[--same-owner]</span><span class="hljs-selector-attr">[--suffix=&lt;备份字尾字符串&gt;]</span><span class="hljs-selector-attr">[--totals]</span><span class="hljs-selector-attr">[--use-compress-program=&lt;执行指令&gt;]</span><span class="hljs-selector-attr">[--version]</span><span class="hljs-selector-attr">[--volno-file=&lt;编号文件&gt;]</span><span class="hljs-selector-attr">[文件或目录...]</span><br>-z参数将归档后的归档文件进行gzip压缩以减少大小。<br>-c：创建一个新tar文件<br>-v：显示运行过程的信息<br>-f：指定文件名<br>-z：调用gzip压缩命令进行压缩<br>-t：查看压缩文件的内容<br>-x：解开tar文件<br></code></pre></td></tr></table></figure><h4 id="具体"><a href="#具体" class="headerlink" title="具体"></a>具体</h4><figure class="highlight livecodeserver"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre></td><td class="code"><pre><code class="hljs livecodeserver"><span class="hljs-comment"># touch a.c       </span><br><span class="hljs-comment"># tar -czvf test.tar.gz a.c   //打包 a.c文件为test.tar.gz</span><br><span class="hljs-keyword">a</span>.c<br><span class="hljs-comment"># tar -tzvf test.tar.gz    //显示包</span><br>-rw-r<span class="hljs-comment">--r-- root/root     0 2010-05-24 16:51:59 a.c</span><br><span class="hljs-comment"># tar -xzvf test.tar.gz    //解包文件</span><br><span class="hljs-keyword">a</span>.c<br></code></pre></td></tr></table></figure><h4 id="其他"><a href="#其他" class="headerlink" title="其他"></a>其他</h4><figure class="highlight stylus"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br></pre></td><td class="code"><pre><code class="hljs stylus">.gz<br>解压<span class="hljs-number">1</span>：gunzip FileName.gz<br>解压<span class="hljs-number">2</span>：gzip -d FileName.gz<br>压缩：gzip FileName<br><br><span class="hljs-selector-class">.tar</span><span class="hljs-selector-class">.gz</span> 和 .tgz<br>解压：tar zxvf FileName<span class="hljs-selector-class">.tar</span>.gz<br>压缩：tar zcvf FileName<span class="hljs-selector-class">.tar</span><span class="hljs-selector-class">.gz</span> DirName<br>.bz2<br>解压<span class="hljs-number">1</span>：bzip2 -d FileName.bz2<br>解压<span class="hljs-number">2</span>：bunzip2 FileName.bz2<br>压缩： bzip2 -z FileName<br><br><span class="hljs-selector-class">.tar</span>.bz2<br>解压：tar jxvf FileName<span class="hljs-selector-class">.tar</span>.bz2<br>压缩：tar jcvf FileName<span class="hljs-selector-class">.tar</span><span class="hljs-selector-class">.bz2</span> DirName<br>.bz<br>解压<span class="hljs-number">1</span>：bzip2 -d FileName.bz<br>解压<span class="hljs-number">2</span>：bunzip2 FileName.bz<br>压缩：未知<br><br><span class="hljs-selector-class">.tar</span>.bz<br>解压：tar jxvf FileName<span class="hljs-selector-class">.tar</span>.bz<br>压缩：未知<br>.Z<br>解压：uncompress FileName.Z<br>压缩：compress FileName<br><br><span class="hljs-selector-class">.tar</span>.Z<br>解压：tar Zxvf FileName<span class="hljs-selector-class">.tar</span>.Z<br>压缩：tar Zcvf FileName<span class="hljs-selector-class">.tar</span><span class="hljs-selector-class">.Z</span> DirName<br><br>.zip<br>解压：unzip FileName.zip<br>压缩：zip FileName<span class="hljs-selector-class">.zip</span> DirName<br>.rar<br>解压：rar x FileName.rar<br>压缩：rar <span class="hljs-selector-tag">a</span> FileName<span class="hljs-selector-class">.rar</span> DirName <br></code></pre></td></tr></table></figure><h4 id="编译"><a href="#编译" class="headerlink" title="编译"></a>编译</h4><figure class="highlight stylus"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs stylus">$ gcc test.c<br>$ ./<span class="hljs-selector-tag">a</span>.out<br>Hello, world!   <span class="hljs-comment">//c编译</span><br></code></pre></td></tr></table></figure><figure class="highlight elixir"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs elixir"><span class="hljs-variable">$ </span>./configure<br><span class="hljs-variable">$ </span>make  <br><span class="hljs-variable">$ </span>make install<br></code></pre></td></tr></table></figure><h3 id="文件编辑查看"><a href="#文件编辑查看" class="headerlink" title="文件编辑查看"></a>文件编辑查看</h3><blockquote><p>vi/vim 文件编辑</p></blockquote><p><img src="https://www.runoob.com/wp-content/uploads/2015/10/vi-vim-cheat-sheet-sch.gif" alt="vi/vim"></p><p><img src="https://www.runoob.com/wp-content/uploads/2014/07/vim-vi-workmodel.png" alt="工作模式"></p><blockquote><h2 id="PBS命令介绍"><a href="#PBS命令介绍" class="headerlink" title="PBS命令介绍"></a>PBS命令介绍</h2><blockquote><p>qsub —— 用于提交作业脚本</p><figure class="highlight css"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre></td><td class="code"><pre><code class="hljs css">&gt;命令格式：<br>&gt;qsub <span class="hljs-selector-attr">[-a date_time]</span> <span class="hljs-selector-attr">[-c interval]</span> <span class="hljs-selector-attr">[-C directive_prefix]</span><br>&gt;<span class="hljs-selector-attr">[-e path]</span> <span class="hljs-selector-attr">[-I]</span> <span class="hljs-selector-attr">[-j join]</span> <span class="hljs-selector-attr">[-k keep]</span> <span class="hljs-selector-attr">[-l resource_list]</span> <span class="hljs-selector-attr">[-m mail_options]</span><br>&gt;<span class="hljs-selector-attr">[-M user_list]</span><span class="hljs-selector-attr">[-N name]</span> <span class="hljs-selector-attr">[-o path]</span> <span class="hljs-selector-attr">[-p priority]</span> <span class="hljs-selector-attr">[-q destination]</span><br>&gt;<span class="hljs-selector-attr">[-r c]</span><span class="hljs-selector-attr">[-S path_list]</span> <span class="hljs-selector-attr">[-u user_list]</span><span class="hljs-selector-attr">[-v variable_list]</span> <span class="hljs-selector-attr">[-V]</span><br>&gt;<span class="hljs-selector-attr">[-W additional_attributes]</span> <span class="hljs-selector-attr">[-z]</span><br>&gt;<span class="hljs-selector-attr">[script]</span><br></code></pre></td></tr></table></figure><p>qstat —— 用于查询作业状态信息</p><figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br></pre></td><td class="code"><pre><code class="hljs shell"><span class="hljs-meta">&gt;</span><span class="bash">命令格式：</span><br><span class="hljs-meta">&gt;</span><span class="bash">qstat [-f][-a][-i][-n][-s][-R][-Q][-q][-B][-u]</span><br><span class="hljs-meta">&gt;</span><span class="bash">参数说明：</span><br><span class="hljs-meta">&gt;</span><span class="bash">-f jobID 列出指定作业的信息</span><br><span class="hljs-meta">&gt;</span><span class="bash">-a 列出系统所有作业</span><br><span class="hljs-meta">&gt;</span><span class="bash">-i 列出不在运行的作业</span><br><span class="hljs-meta">&gt;</span><span class="bash">-n 列出分配给此作业的结点</span><br><span class="hljs-meta">&gt;</span><span class="bash">-s 列出队列管理员不scheduler 所提供的建议</span><br><span class="hljs-meta">&gt;</span><span class="bash">-R 列出磁盘预留信息</span><br><span class="hljs-meta">&gt;</span><span class="bash">-Q 操作符是destination id，指明请求的是队列状态</span><br><span class="hljs-meta">&gt;</span><span class="bash">-q 列出队列状态，并以alternative 形式显示</span><br><span class="hljs-meta">&gt;</span><span class="bash">-au userid 列出指定用户的所有作业</span><br><span class="hljs-meta">&gt;</span><span class="bash">-B 列出PBS Server 信息</span><br><span class="hljs-meta">&gt;</span><span class="bash">-r 列出所有正在运行的作业</span><br><span class="hljs-meta">&gt;</span><span class="bash">-Qf queue 列出指定队列的信息</span><br><span class="hljs-meta">&gt;</span><span class="bash">-u 若操作符为作业号，则列出其状态。若操作符为destination id，</span><br><span class="hljs-meta">&gt;</span><span class="bash">则列出运行在其上的属于user_list 中用户的作业状态</span><br></code></pre></td></tr></table></figure><p>qdel —— 用于删除已提交的作业</p><figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><code class="hljs shell"><span class="hljs-meta">&gt;</span><span class="bash">命令格式：</span><br><span class="hljs-meta">&gt;</span><span class="bash">qdel [-W 间隔时间] 作业号</span><br><span class="hljs-meta">&gt;</span><span class="bash">命令行参数：</span><br><span class="hljs-meta">&gt;</span><span class="bash">qdel -p 强制清除某个作业号，一般不建议使用</span><br><span class="hljs-meta">&gt;</span><span class="bash">例：<span class="hljs-comment"># qdel -W 10 555 10秒后删除作业号为555的作业</span></span><br></code></pre></td></tr></table></figure><p>qhold &amp; qrls —— 作业挂起 &amp; 作业释放</p><figure class="highlight 1c"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs 1c">&gt;qhold<span class="hljs-meta">&amp;qrls jobID</span><br></code></pre></td></tr></table></figure><blockquote><p>PBS脚本文件</p><figure class="highlight haml"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br></pre></td><td class="code"><pre><code class="hljs haml">PBS作业脚本选项 （若无-C选项，则每项前面加 &#x27;#PBS&#x27;）<br>-<span class="ruby">a date_time date_time格式为：[[[[CC]YY]MM]DD]hhmm[.SS]</span><br><span class="ruby">表示经过date_time时间后作业才可以运行。</span><br><span class="ruby">-c interval 定义作业的检查点间隔，如果机器不支持检查点，则忽略此选项。</span><br><span class="ruby">-C directive_prefix 在脚本文件中以directive_prefix开头的行解释为qsub的 命令选项。若无此选项，则默认为 <span class="hljs-string">&#x27;#PBS&#x27;</span></span><br><span class="ruby">-e path 将标准错误信息重定向到path</span><br><span class="ruby">-I 以交互方式运行</span><br><span class="ruby">-j join 将标准输出信息不标准错误信息合并到一个文件join中</span><br><span class="ruby">-k keep 定义在执行结点上保留标准输出和标准错误信息中的哪个文件。</span><br><span class="ruby">keep为o表示保留前者，e表示后者，oe戒eo表示二者都保留，</span><br><span class="ruby">n表示皆不保留。若忽略此选项，二者都不保留。</span><br><span class="ruby">-l resource_list 定义资源列表，几个常用的资源种类：</span><br><span class="ruby">cput=N 请求N秒的CPU时间，也可以是<span class="hljs-symbol">hh:</span><span class="hljs-symbol">mm:</span>ss的形式。</span><br><span class="ruby">mem=N[K<span class="hljs-params">|M|</span>G][B<span class="hljs-params">|W] 请求N &#123;k|</span>m<span class="hljs-params">|g&#125;&#123;bytes|</span>words&#125;大小的内存。</span><br><span class="ruby">nodes=<span class="hljs-symbol">N:</span>ppn=M 请求N个结点，每个结点M个处理器。</span><br><span class="ruby">-m mail_option mail_option为a：作业abort时给用户发信</span><br><span class="ruby">为b：作业开始运行发信</span><br><span class="ruby">为e：作业结束运行时发信</span><br><span class="ruby">若无此选项，默认为a。</span><br><span class="ruby">-M user_list 定义有关此作业的mail发给哪些用户</span><br><span class="ruby">-N name 作业名，限<span class="hljs-number">15</span>个字符，首字符为字母，无空格。</span><br><span class="ruby">-o path 重定向标准输出到path</span><br><span class="ruby">-p priority 任务优先级，整数，[-<span class="hljs-number">1024</span>，<span class="hljs-number">1023</span>]，若无定义则为<span class="hljs-number">0</span></span><br><span class="ruby">-q destination destination有三种形式：</span><br><span class="ruby">queue；</span><br><span class="ruby"><span class="hljs-variable">@server</span>；</span><br><span class="ruby">queue@server</span><br><span class="ruby">-r y<span class="hljs-params">|n 指明作业是否可运行，y为可运行，n为不可运行。</span></span><br><span class="ruby">-S shell 指明执行运行脚本所用的shell，须包含全路径。</span><br><span class="ruby">-u user_list 定义作业将在运行结点上以哪个用户名来运行。</span><br><span class="ruby">-v variable_list 定义export到本作业的环境变量的扩展列表。</span><br><span class="ruby">-V 表明qsub命令的所有环境变量都export到此作业。</span><br><span class="ruby">-W additional_attributes 作业的其它属性</span><br><span class="ruby">-z 指明qsub命令提交作业后，不在终端显示作业号。</span><br></code></pre></td></tr></table></figure><p>例子</p><figure class="highlight awk"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br></pre></td><td class="code"><pre><code class="hljs awk">a)<br><span class="hljs-comment">#PBS -N D10</span><br><span class="hljs-comment">#PBS -o log/D10.out</span><br><span class="hljs-comment">#PBS -e log/D10.err</span><br><span class="hljs-comment">#PBS -q old</span><br><span class="hljs-comment">#PBS -l nodes=5:ppn=4</span><br><span class="hljs-comment">#PBS -r y</span><br>cd <span class="hljs-regexp">/newlustre/</span>home<span class="hljs-regexp">/liaolanjie/y</span>c/<span class="hljs-number">12</span>_01_ecard<br>sh gatk.js D10<br>b)<br><span class="hljs-comment">#PBS -N test_GAPE2</span><br><span class="hljs-comment">#PBS -o /newlustre/home/zhangmao511/workdir/jar_second/jar/my.out</span><br><span class="hljs-comment">#PBS -e /newlustre/home/zhangmao511/workdir/jar_second/jar/my.err</span><br><span class="hljs-comment">#PBS -q fat</span><br><span class="hljs-comment">#PBS -l nodes=1:ppn=10</span><br><span class="hljs-comment">#PBS -r y</span><br>cd <span class="hljs-regexp">/newlustre/</span>home<span class="hljs-regexp">/zhangmao511/</span>workdir<span class="hljs-regexp">/jar_second/</span>jar<br>java -jar <span class="hljs-regexp">/newlustre/</span>home<span class="hljs-regexp">/zhangmao511/</span>workdir<span class="hljs-regexp">/jar_second/</span>jar<span class="hljs-regexp">/GAPE_fat_zebrafish_Liunx_Beta_V2.jar -c /</span>newlustre<span class="hljs-regexp">/home/</span>zhangmao511<span class="hljs-regexp">/workdir/</span>jar_second<span class="hljs-regexp">/jar/</span>zebrafish_parameters.txt<br></code></pre></td></tr></table></figure></blockquote></blockquote></blockquote><p><a href="#%E4%B8%80%E4%BA%9BPBS%E5%AD%A6%E4%B9%A0%E6%97%B6%E6%80%BB%E7%BB%93">TOP</a></p>]]></content>
    
    
    <categories>
      
      <category>Linux</category>
      
      <category>PBS</category>
      
    </categories>
    
    
    <tags>
      
      <tag>PBS</tag>
      
      <tag>Linux</tag>
      
    </tags>
    
  </entry>
  
  
  
  <entry>
    <title>脑机思考</title>
    <link href="/2021/04/13/%E8%84%91%E6%9C%BA%E6%80%9D%E8%80%83/"/>
    <url>/2021/04/13/%E8%84%91%E6%9C%BA%E6%80%9D%E8%80%83/</url>
    
    <content type="html"><![CDATA[<h1 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h1><p><code>最近埃隆·马斯克投资的Neuralink发布了一个视频，他们做到了用脑控制光标，这是个伟大的创新，给我了极大思考。未来Cyber真的要来了吗？</code></p><span id="more"></span><h1 id="赛博朋克"><a href="#赛博朋克" class="headerlink" title="赛博朋克"></a>赛博朋克</h1><p>在认真看了他们的演示后就突然想到这张图，当年V社的Logo</p><p><img src="/img/headpic/valve.png" alt="valve"></p><p>他们的电极如同一个鹌鹑蛋大小，通过无线传输给到手机或者电脑处理脑电波信号。只需要几分钟的学习建立模型就可以控制光标。可见效率极高。弄做到控制光标至少效果能控制2维位置，那只需要放上输入框残障人士就可以做到基本沟通了，属实科技进步。</p><h1 id="从中问题"><a href="#从中问题" class="headerlink" title="从中问题"></a>从中问题</h1><p>可见每次使用时候都需要从新建立模型，但这就意味着人们对脑电控制的逻辑还是不清楚，只能靠每次的矫正来处理。那对于一开始就没法矫正人来说确实还达不到使用地步。还需要很多脑电波原理研究。同时如此大的电极传输装置2000个传感器确实仍有极大改进空间。是否对人有害还需要继续研究。</p><p>我国脑机研究也很超前，但没有像马斯克一样的人</p><h1 id="视频"><a href="#视频" class="headerlink" title="视频"></a>视频</h1><p>最后附上Neuralink的视频</p><iframe src="//player.bilibili.com/player.html?aid=375049583&bvid=BV1vZ4y1c7yz&cid=322034888&page=1" width=100% height=500 scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true"> </iframe><p><a href="#%E5%BC%95%E8%A8%80">回到顶部</a></p>]]></content>
    
    
    <categories>
      
      <category>思考</category>
      
      <category>脑机</category>
      
    </categories>
    
    
    <tags>
      
      <tag>脑机</tag>
      
    </tags>
    
  </entry>
  
  
  
  <entry>
    <title>在线资源测试</title>
    <link href="/2021/02/28/%E5%9C%A8%E7%BA%BF%E8%B5%84%E6%BA%90%E6%B5%8B%E8%AF%95/"/>
    <url>/2021/02/28/%E5%9C%A8%E7%BA%BF%E8%B5%84%E6%BA%90%E6%B5%8B%E8%AF%95/</url>
    
    <content type="html"><![CDATA[<p>玩一些无聊的东西做点测试</p><ul><li><p>能不能插入图床图片，加载速度以及稳定行</p></li><li><p>能不能插入外部视频播放器</p></li><li><p>能不能插入音乐或者歌单</p></li></ul><span id="more"></span><h2 id="图床"><a href="#图床" class="headerlink" title="图床"></a>图床</h2><p><code>虽然10年前叫法了还是好用减少上传github压力</code></p><p><code>图床SM</code><a href="https://sm.ms/">SM.MS</a></p><p><img src="https://i.loli.net/2021/02/28/5BbWU9j6mIip4Yg.jpg" alt="enterprise" title="CV-6"></p><hr><h2 id="在线视频（Bilibili＆Youku＆271）"><a href="#在线视频（Bilibili＆Youku＆271）" class="headerlink" title="在线视频（Bilibili＆Youku＆271）"></a>在线视频（Bilibili＆Youku＆271）</h2><h3 id="Bilibili"><a href="#Bilibili" class="headerlink" title="Bilibili"></a>Bilibili</h3><p><code>B站自己的外链</code></p><iframe src="//player.bilibili.com/player.html?aid=883292011&bvid=BV1tK4y1t7HC&cid=196288557&page=1" width=100% height=500 scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true"> </iframe><p><del>新版这个是真的烂</del></p><p>发现是参数没调好</p><p>只能360p悲~</p><figure class="highlight html"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs HTML">#改下加入长宽就行<br>width=1080 height=720<br><span class="hljs-tag">&lt;<span class="hljs-name">iframe</span> <span class="hljs-attr">src</span>=<span class="hljs-string">&quot;//视频链接&quot;</span> <span class="hljs-attr">width</span>=<span class="hljs-string">100%</span> <span class="hljs-attr">height</span>=<span class="hljs-string">500</span> <span class="hljs-attr">scrolling</span>=<span class="hljs-string">&quot;no&quot;</span> <span class="hljs-attr">border</span>=<span class="hljs-string">&quot;0&quot;</span> <span class="hljs-attr">frameborder</span>=<span class="hljs-string">&quot;no&quot;</span> <span class="hljs-attr">framespacing</span>=<span class="hljs-string">&quot;0&quot;</span> <span class="hljs-attr">allowfullscreen</span>=<span class="hljs-string">&quot;true&quot;</span>&gt;</span> <span class="hljs-tag">&lt;/<span class="hljs-name">iframe</span>&gt;</span><br></code></pre></td></tr></table></figure><table><thead><tr><th>属性</th><th>值</th><th>描述</th></tr></thead><tbody><tr><td>align</td><td>left right top middle bottom</td><td>不赞成使用。请使用样式代替。规定如何根据周围的元素来对齐此框架。</td></tr><tr><td>frameborder</td><td>int</td><td>规定是否显示框架周围的边框。</td></tr><tr><td>height</td><td>pixels%</td><td>规定 iframe 的高度。</td></tr><tr><td>longdesc</td><td>URL</td><td>规定一个页面，该页面包含了有关 iframe 的较长描述。</td></tr><tr><td>marginheight</td><td>pixels</td><td>定义 iframe 的顶部和底部的边距。</td></tr><tr><td>marginwidth</td><td>pixels</td><td>定义 iframe 的左侧和右侧的边距。</td></tr><tr><td>name</td><td>frame_name</td><td>规定 iframe 的名称。</td></tr><tr><td>sandbox</td><td>“allow-top-navigation allow-same-origin allow-forms allow-scripts”</td><td>启用一系列对 iframe 中内容的额外限制。</td></tr><tr><td>scrolling</td><td>yes no auto</td><td>规定是否在 iframe 中显示滚动条。</td></tr><tr><td>seamless</td><td>seamless</td><td>规定iframe看上去像是包含文档的一部分。</td></tr><tr><td>src</td><td>URL <br>&amp;page = 1(分P)&amp;high_quality=1 (1=最高画质 0=最低画质) &amp;danmaku=0 (1=打开弹幕 0=关闭弹幕)</td><td>规定在 iframe 中显示的文档的 URL。</td></tr><tr><td>srcdoc</td><td>HTML_code</td><td>规定在iframe 中显示的页面的 HTML 内容。</td></tr><tr><td>width</td><td>pixels%</td><td>定义 iframe 的宽度。</td></tr></tbody></table><hr><p><code>xbeibeix.com的外链</code></p><iframe src="//player.bilibili.com/player.html?aid=883292011&bvid=BV1tK4y1t7HC&cid=196288557&page=1" allowfullscreen="allowfullscreen" width="100%" height="500" scrolling="no" frameborder="0" sandbox="allow-top-navigation allow-same-origin allow-forms allow-scripts"></iframe><p><del>第三方真好用</del>缺点清晰度调不了</p><figure class="highlight html"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs HTML"><span class="hljs-tag">&lt;<span class="hljs-name">iframe</span> <span class="hljs-attr">src</span>=<span class="hljs-string">&quot;视频地址&quot;</span> <span class="hljs-attr">allowfullscreen</span>=<span class="hljs-string">&quot;allowfullscreen&quot;</span> <span class="hljs-attr">width</span>=<span class="hljs-string">&quot;100%&quot;</span> <span class="hljs-attr">height</span>=<span class="hljs-string">&quot;500&quot;</span> <span class="hljs-attr">scrolling</span>=<span class="hljs-string">&quot;no&quot;</span> <span class="hljs-attr">frameborder</span>=<span class="hljs-string">&quot;0&quot;</span> <span class="hljs-attr">sandbox</span>=<span class="hljs-string">&quot;allow-top-navigation allow-same-origin allow-forms allow-scripts&quot;</span>&gt;</span><span class="hljs-tag">&lt;/<span class="hljs-name">iframe</span>&gt;</span><br></code></pre></td></tr></table></figure><hr><h3 id="Youku"><a href="#Youku" class="headerlink" title="Youku"></a>Youku</h3><iframe height=500 width=100% src='https://player.youku.com/embed/XNTA3Nzc4MDY4MA==' frameborder=0 'allowfullscreen'></iframe><p><code>优酷是真的慢，随便长点都加载不出来</code></p><p><del><em><strong>不过现在不怎么用优酷了看/(ㄒoㄒ)/</strong></em></del></p><hr><h3 id="271"><a href="#271" class="headerlink" title="271"></a>271</h3><p><strong><del>直接爪巴@！%#￥&amp;~？</del>BUT！网页能显示出来</strong></p><iframe src="http://open.iqiyi.com/developer/player_js/coopPlayerIndex.html?vid=6f265e024141e04064c68ec9c5c6facd&tvId=8000501353283700&accessToken=2.ef9c39d6c7f1d5b44768e38e5243157d&appKey=8c634248790d4343bcae1f66129c1010&appId=1368&height=100%&width=100%" frameborder="0" allowfullscreen="true" width="100%" height="100%"></iframe><p><strong>271，271直接error！！！！！真的不搞这些了？都去用你垃圾App吧</strong></p><h2 id="在线音乐（网易云yyds）"><a href="#在线音乐（网易云yyds）" class="headerlink" title="在线音乐（网易云yyds）"></a>在线音乐（网易云<del>yyds</del>）</h2><hr><h3 id="单曲"><a href="#单曲" class="headerlink" title="单曲"></a>单曲</h3><p><code>样式1</code></p><iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=330 height=86 src="//music.163.com/outchain/player?type=2&id=32317208&auto=0&height=66"></iframe><hr><p><code>样式2</code></p><iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=298 height=52 src="//music.163.com/outchain/player?type=2&id=730669&auto=0&height=32"></iframe><h3 id="歌单"><a href="#歌单" class="headerlink" title="歌单"></a>歌单</h3><p><code>样式1</code></p><iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=330 height=450 src="//music.163.com/outchain/player?type=0&id=580536448&auto=0&height=430"></iframe><hr><p><code>样式2</code></p><iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=330 height=110 src="//music.163.com/outchain/player?type=0&id=580536448&auto=0&height=90"></iframe><hr><p><code>样式3</code></p><iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=298 height=52 src="//music.163.com/outchain/player?type=0&id=580536448&auto=0&height=32"></iframe><hr><h2 id="表情Emoji"><a href="#表情Emoji" class="headerlink" title="表情Emoji"></a>表情Emoji</h2><p><code>window默认表情测试</code></p><p>😀🆒😪😫😴🥱😛😥🤩🤗🙂😑😶</p><p><code>默认符号测试</code></p><p>₩℉㏎㎜❀</p><p>都能显示貌似只支持新版Emoji设备都能看到，<del>老设备没有对照库就不会显示了</del></p>]]></content>
    
    
    <categories>
      
      <category>测试</category>
      
      <category>HTML</category>
      
    </categories>
    
    
    <tags>
      
      <tag>测试</tag>
      
    </tags>
    
  </entry>
  
  
  
  <entry>
    <title>Html测试</title>
    <link href="/2021/02/27/Html%E6%B5%8B%E8%AF%95/"/>
    <url>/2021/02/27/Html%E6%B5%8B%E8%AF%95/</url>
    
    <content type="html"><![CDATA[<h1 id="顶部"><a href="#顶部" class="headerlink" title="顶部"></a>顶部</h1><pre><code>HTML相关测试</code></pre><span id="more"></span><h2 id="音乐"><a href="#音乐" class="headerlink" title="音乐"></a>音乐</h2><iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=330 height=86 src="//music.163.com/outchain/player?type=2&id=30148963&auto=0&height=66"></iframe><p><em><strong>音乐get√</strong></em></p><h2 id="表情"><a href="#表情" class="headerlink" title="表情"></a>表情</h2><p><del>:blush:</del>不可以用GitHub emoji悲~</p><h2 id="本地图片"><a href="#本地图片" class="headerlink" title="本地图片"></a>本地图片</h2><p><img src="/img/wechat_qrcode.png" alt="二维码" title="qrcode"></p><p><code>相对地址/img/***下的，缺点加载极慢</code></p><h2 id="在线图片"><a href="#在线图片" class="headerlink" title="在线图片"></a>在线图片</h2><p><code>From 图床微博</code></p><p><img src="https://wx1.sinaimg.cn/large/be37ad18ly1fzw00pi79qj21hc0u0npe.jpg" alt="HMS Warspite" title="HMS Warspite"></p><h2 id="代码测试"><a href="#代码测试" class="headerlink" title="代码测试"></a>代码测试</h2><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br><span class="line">40</span><br><span class="line">41</span><br><span class="line">42</span><br><span class="line">43</span><br><span class="line">44</span><br><span class="line">45</span><br><span class="line">46</span><br><span class="line">47</span><br><span class="line">48</span><br><span class="line">49</span><br></pre></td><td class="code"><pre><code class="hljs python"><span class="hljs-comment">#!/usr/bin/python</span><br><span class="hljs-comment"># -*- coding: utf-8 -*-</span><br><br><br><span class="hljs-keyword">import</span> os<span class="hljs-comment">#载入os标准库</span><br><span class="hljs-keyword">from</span> Bio.Blast <span class="hljs-keyword">import</span> NCBIXML<span class="hljs-comment">#载入biopython的xml文件解析第三方库</span><br><br><br><br><span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">get_fasta_xml</span>(<span class="hljs-params">path</span>):</span><span class="hljs-comment">#寻找符合fasta_xml文件</span><br>    xml_list = []<br>    fasta_list = []<br>    <span class="hljs-keyword">for</span> root, directory, files <span class="hljs-keyword">in</span> os.walk(path):<br>        <span class="hljs-keyword">for</span> fasta_name <span class="hljs-keyword">in</span> files:<br>            name, _ = os.path.splitext(fasta_name)<br>            <span class="hljs-keyword">if</span> fasta_name.endswith(<span class="hljs-string">&#x27;.fasta&#x27;</span>):<br>                fasta_list.append(name)<br>    <span class="hljs-keyword">for</span> root, directory, files <span class="hljs-keyword">in</span> os.walk(path):<br>        <span class="hljs-keyword">for</span> file_name <span class="hljs-keyword">in</span> files:<br>            name, _ = os.path.splitext(file_name)<br>            <span class="hljs-keyword">if</span> name <span class="hljs-keyword">in</span> fasta_list <span class="hljs-keyword">and</span> file_name.endswith(<span class="hljs-string">&#x27;xml&#x27;</span>):<br>                xml_list.append(file_name)<br>    <span class="hljs-keyword">return</span> xml_list<br><br><br>E_VALUE_THRESH = <span class="hljs-built_in">float</span>(<span class="hljs-built_in">input</span>(<span class="hljs-string">&quot;输入E值：&quot;</span>))<span class="hljs-comment">#E值的确定</span><br><br><br><span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">analysis_xml</span>(<span class="hljs-params">xml_list</span>):</span><span class="hljs-comment">#利用NCBIXML的xml解析器分析文件信息</span><br>    <span class="hljs-keyword">for</span> filename <span class="hljs-keyword">in</span> xml_list:<br>        result_handle = <span class="hljs-built_in">open</span>(filename)<br>        blast_record = NCBIXML.read(result_handle)<br>        <span class="hljs-keyword">for</span> alignment <span class="hljs-keyword">in</span> blast_record.alignments:<br>            <span class="hljs-keyword">for</span> hsp <span class="hljs-keyword">in</span> alignment.hsps:<br>                <span class="hljs-keyword">if</span> hsp.expect &lt; E_VALUE_THRESH:<span class="hljs-comment">#E值比较</span><br>                    print(<span class="hljs-string">&#x27;****&#x27;</span> + filename + <span class="hljs-string">&#x27;****&#x27;</span>)<br>                    print(<span class="hljs-string">&#x27;****Alignment****&#x27;</span>)<br>                    print(<span class="hljs-string">&#x27;sequence:&#x27;</span>, alignment.title)<br>                    print(<span class="hljs-string">&#x27;length:&#x27;</span>, alignment.length)<br>                    print(<span class="hljs-string">&#x27;e_value:&#x27;</span>, hsp.expect)<br>                    print(hsp.query[<span class="hljs-number">0</span>:<span class="hljs-number">75</span>] + <span class="hljs-string">&#x27;...&#x27;</span>)<span class="hljs-comment">#预览序列长度</span><br>                    print(hsp.match[<span class="hljs-number">0</span>:<span class="hljs-number">75</span>] + <span class="hljs-string">&#x27;...&#x27;</span>)<span class="hljs-comment">#预览序列长度</span><br>                    print(hsp.sbjct[<span class="hljs-number">0</span>:<span class="hljs-number">75</span>] + <span class="hljs-string">&#x27;...&#x27;</span>)<span class="hljs-comment">#预览序列长度</span><br>                    print(<span class="hljs-string">&#x27;\n&#x27;</span>)<br><br><br><span class="hljs-keyword">if</span> __name__ == <span class="hljs-string">&#x27;__main__&#x27;</span>:<br>    analysis_xml(get_fasta_xml(<span class="hljs-string">&quot;.\\&quot;</span>))<br><br></code></pre></td></tr></table></figure><h2 id="回到顶部"><a href="#回到顶部" class="headerlink" title="回到顶部"></a>回到顶部</h2><p><a href="#%E9%A1%B6%E9%83%A8">回到顶部</a></p><h2 id="复选"><a href="#复选" class="headerlink" title="复选"></a>复选</h2><ul><li><input checked="" disabled="" type="checkbox"> 选择</li><li><input disabled="" type="checkbox"> 不选</li></ul><h2 id="引用"><a href="#引用" class="headerlink" title="引用"></a>引用</h2><h3 id="标题"><a href="#标题" class="headerlink" title="标题"></a>标题</h3><p>好嘛</p><blockquote><p><del>不知道引用什么</del></p></blockquote><h2 id="Html测试"><a href="#Html测试" class="headerlink" title="Html测试"></a>Html测试</h2><p><font size="5" color=#39C5BB>初音绿</font></p><img src="/img/wechat_qrcode.png" alt="qrcode" width="100" height="100" /><p><code>本地图像</code></p><img src="https://wx1.sinaimg.cn/large/be37ad18ly1fzw00pi79qj21hc0u0npe.jpg" alt="HMS Warspite" width="700" height="500"><p><code>url图像</code></p><p><a href="https://www.bilibili.com/">BliBili</a></p><table border="1">  <tr>    <th>Month</th>    <th>Savings</th>  </tr>  <tr>    <td>January</td>    <td>$100</td>  </tr></table><p><del><code>html表格一点都不友好</code></del></p>]]></content>
    
    
    <categories>
      
      <category>测试</category>
      
      <category>MarkDown</category>
      
      <category>HTML</category>
      
    </categories>
    
    
    <tags>
      
      <tag>测试</tag>
      
    </tags>
    
  </entry>
  
  
  
  <entry>
    <title>MarkDown语法测试</title>
    <link href="/2021/02/25/MarkDown%E8%AF%AD%E6%B3%95%E6%B5%8B%E8%AF%95/"/>
    <url>/2021/02/25/MarkDown%E8%AF%AD%E6%B3%95%E6%B5%8B%E8%AF%95/</url>
    
    <content type="html"><![CDATA[<pre><code>测试使用MarkDown</code></pre><span id="more"></span><h1 id="测试"><a href="#测试" class="headerlink" title="测试"></a>测试</h1><hr><h2 id="外链图片"><a href="#外链图片" class="headerlink" title="外链图片"></a>外链图片</h2><p><img src="http://www.baidu.com/img/bdlogo.gif" alt="baidu" title="百度logo"></p><hr><h2 id="表格"><a href="#表格" class="headerlink" title="表格"></a>表格</h2><table><thead><tr><th>1</th><th align="right">2</th></tr></thead><tbody><tr><td><strong>表格单元</strong></td><td align="right"><em><strong>表格单元</strong></em></td></tr><tr><td><del>表格单元</del></td><td align="right">表格单元</td></tr></tbody></table><hr><h2 id="复选"><a href="#复选" class="headerlink" title="复选"></a>复选</h2><ul><li><input checked="" disabled="" type="checkbox"> 错</li><li><input disabled="" type="checkbox"> 对</li></ul><hr><h2 id="树"><a href="#树" class="headerlink" title="树"></a>树</h2><blockquote><p>数据结构</p><blockquote><p>树</p><blockquote><p>二叉树</p><blockquote><p>平衡二叉树</p><blockquote><p>满二叉树</p></blockquote></blockquote></blockquote></blockquote></blockquote><hr><h2 id="代码"><a href="#代码" class="headerlink" title="代码"></a>代码</h2><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs python">print(<span class="hljs-string">&#x27;hello,world!&#x27;</span>)<br></code></pre></td></tr></table></figure><hr>]]></content>
    
    
    <categories>
      
      <category>测试</category>
      
      <category>MakrDown</category>
      
    </categories>
    
    
    <tags>
      
      <tag>测试</tag>
      
    </tags>
    
  </entry>
  
  
  
  
</search>