-
Bien que les moteurs de recherche se soient très bien développés, ils sont encore confrontés à de nombreux défis techniques, notamment :
1. L'exploration des pages doit être rapide et complète
Nous savons qu'Internet est une mise à jour dynamique du contenu. Chaque jour, de nombreuses personnes publient du nouveau contenu ou mettent à jour d'anciens contenus sur Internet. Le moteur de recherche doit explorer les pages Web qui répondent le mieux aux intentions de recherche de l'utilisateur à partir de cette énorme quantité d'informations. Face à la quantité massive d'informations qui existe déjà et à la quantité d'informations qui augmente géométriquement chaque seconde, la charge de travail du moteur de recherche est très importante. La mise à jour du programme du moteur de recherche prend beaucoup de temps, surtout lorsqu'il vient de naître. . Le cycle peut parfois être mis à jour tous les quelques mois. Imaginez, combien de mises à jour de pages Web et de nouvelles seront créées en quelques mois ? Ces résultats de recherche ont tendance à être à la traîne. Afin de renvoyer les meilleurs résultats de recherche, les robots de recherche doivent explorer une page Web aussi complète que possible, ce qui oblige les moteurs de recherche à résoudre de nombreux problèmes techniques. C’est aussi le principal défi auquel il est confronté.
2. Stockage de masse des données
Les informations sur Internet sont énormes, presque inimaginables, et de nombreuses nouvelles informations sont générées chaque jour. Une fois que les moteurs de recherche ont exploré ces pages, elles doivent être stockées dans un certain format de données, et la structure des données doit être raisonnable. très grande évolutivité. La vitesse d'écriture des données doit être rapide et la vitesse d'accès doit être suffisamment rapide. En plus de stocker une grande quantité d'informations sur la page elle-même, les moteurs de recherche doivent également stocker les relations de liens entre les pages, les données historiques sur la page et de nombreuses informations d'indexation afin de mieux indexer et trier. La quantité de ces données est très énorme. Le stockage et la lecture de données à si grande échelle posent certainement de nombreux défis techniques.
3. Le traitement des index doit être rapide et efficace, et doit être évolutif.
Une fois que le moteur de recherche a exploré et stocké les données de la page, il doit également indexer de nombreuses pages. Par exemple, calcul des relations de liens entre pages, forward index, reverse index, etc. Par exemple, il y a le calcul PR de Google, etc. Les moteurs de recherche doivent effectuer beaucoup de travail d'indexation pour renvoyer rapidement les résultats de recherche. De plus, au cours du processus d'indexation, un grand nombre de nouvelles pages sont générées et le programme de traitement d'indexation du moteur de recherche en a besoin. à comparer. Bonne évolutivité.
4. Le traitement des requêtes est rapide et précis
Les étapes précédentes sont toutes exécutées dans le programme en arrière-plan du moteur de recherche et l'étape de requête est une étape où les utilisateurs peuvent voir les résultats. Après avoir saisi des mots-clés dans le champ de recherche du moteur de recherche et cliqué sur Rechercher, le moteur de recherche peut souvent nous renvoyer les résultats en moins d'une seconde. Bien que cela semble simple en apparence, pour les moteurs de recherche, c'est en réalité très compliqué. processus. De nombreux algorithmes sont impliqués. Il doit trouver rapidement des pages Web raisonnables qui répondent aux conditions de base en moins d’une seconde et se classent en tête des moteurs de recherche. Nous savons que Baidu peut voir jusqu'à 76 pages de résultats, et Google en a un peu plus et peut voir jusqu'à 100 pages de résultats.
Source de l'article : http://www.suptb.cn/ Veuillez indiquer la source lors de la réimpression, merci
Merci à Danieldu2008 pour sa contribution