大家好,今天小编关注到一个比较有意思的话题,就是关于搜索引擎的设计与实现的问题,于是小编就整理了2个相关介绍搜索引擎的设计与实现的解答,让我们一起看看吧。
如何用C语言做出搜索引擎?
个人觉得完全用C语言去做一个搜索引擎,是能办到,但是成本会很高。首先我们来看一个通用的搜索引擎需要哪些模块。
一. 网络爬虫
要用C语言去做一个爬虫系统,成本会非常高,很多东西都需要自己实现。而爬虫系统,个人觉得Python的Scrapy框架是一个很好的选择,从网页爬取到数据存入数据库有一条完整的链路。爬虫系统对性能的要求不高,Python完全可以胜任。
二. 倒排索引
倒排索引主要包括索引建立和索引更新。索引的数据结构以及一些算法,用C语言完全可以的,在线索引实时更新通过C语言实现效率也能高一些。
三. 检索模型
如果只需要做一个简单的检索系统,直接BM25算法就可以了。如果系统比较复杂,考虑到线上效果,那么需要结合机器学习模型或深度学习模型,考虑到检索相关性,有很多复杂的设计。不过在线部分完全可以通过C语言实现。
一般来说,做一个搜索引擎需要根据不同的模块情况而选择不同的语言实现,充分发挥各种语言的优势即可。
在当前环境下这个操作不推荐,并不是说C语言无法写搜索引擎,而是C语言的优势不在这里。作为大多数流行的现代语言鼻祖xC语言在运行效率方面的确具有较大优势,但是,其标准库支持的功能主要在一些基础的功能实现上。相比之下,python、java这些现代语言则拥有大量丰富的第三方库,在程序设计中有一条箴言叫做不要重复造轮子,既然已经有前人提供的库(也就是轮子),自己再从头再来的话效率与可靠性方面都会下降。因此,从效率角度来讲,采用python等语言设计搜索引擎可能更快更容易实现。
回到问题上,有一个(应该是)日本作者写的《自制搜索引擎》,可以解决制作搜索引擎技术线路的问题
如果说做一个完整的搜索引擎的话那么需要几种语言的结合,比如说前端的交互 后端的数据处理和爬虫,只用C的话很难实现,做后台数据处理比较合适,如果说怎么做的话不太好说,涉及到的东西比较多,比如说第一步爬数据 然后存储 处理(分类 提取关键字)等等,步骤很多的。
搜索引擎用什么编程语言开发?
什么搜索引擎?
所谓搜索引擎,就是根据用户需求与一定算法,运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术,如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等,同时可添加其他一系列辅助模块,以为用户创造更好的网络使用环境。
什么是编程语言?
编程语言(programming language)可以简单的理解为一种计算机和人都能识别的语言。一种计算机语言让程序员能够准确地定义计算机所需要使用的数据,并精确地定义在不同情况下所应当采取的行动。 编程语言处在不断的发展和变化中,从最初的机器语言发展到如今的2500种以上的高级语言,每种语言都有其特定的用途和不同的发展轨迹。编程语言并不像人类自然语言发展变化一样的缓慢而又持久,其发展是相当快速的,这主要是计算机硬件、互联网和IT业的发展促进了编程语言的发展。
结论
在了解搜索引擎和编程语言是什么的情况下,那我们目标就比较清晰了。
主要看需求,如果是为了搜索网页使用,那么可以采用PHP,JSP,ASP.NET语言进行开发。
当然为了实现更高的性能,可能涉及到C、汇编、SIMD加速指令集,进行算法核心优化。
到此,以上就是小编对于搜索引擎的设计与实现的问题就介绍到这了,希望介绍关于搜索引擎的设计与实现的2点解答对大家有用。