Unsere Produkte
MiGo-Crawler

MiGo-Crawler 1.0

Mit unserem MiGo-Crawler haben Sie die Möglichkeit, Ihre komplette Webseite innerhalb kürzester Zeit volltext zu indizieren. Dabei findet der Crawler nur Webseiteninterne Verweise und geht diesen bis zu einem bestimmten, selbst definierbaren Level, nach.

Indiziert wird dabei der Inhalt zwischen den <body> Elementen. Dadurch können die Anzahl der Wörter und der Dateityp ermittelt werden. Diese Informationen können später zur Gewichtung in einer Sitemap benutzt werden. Auch können diese Kritieren die Relevanz eines Treffers bei der Ausgabe beeinflussen.

Der Crawler bildet über den Body & der URL jeweils einen MD5 Hash um bei neuen Treffern vergleichen zu können, ob dieser Content bereits indiziert wurde. Das System indiziert keine Seiten doppelt.

Der Crawler findet alle für den Browser lesbaren Formate und nimmt diese in den Index auf. Auch PDF oder ZIP Dokumente werden erfasst, aber ohne Inhalt. Hier kann lediglich über den Dateinamen gesucht werden.

Theoretisch ist es möglich, nach jedem möglichen Suchmuster in dem Body Teil einer Homepage zu suchen und diese Informationen zu filtern. Möchten Sie Beispielsweise 2 Indexe aufbauen, einen nur für Ihre PDFs auf der Webseite und einen nur für Ihre PHP Seiten, so stellt das kein Problem dar.

Weiterhin bietet das Produkt die Möglichkeit, nach der Indizierung auch eine passende XML Datei für den Google Sitemap Dienst zu erzeugen und mit gzip zu komprimieren.

Ein passendes Frontend-Modul, um über den gecrawlten Inhalten zu suchen, wird auf Anforderung & Kundenwunsch entwickelt.

Aktuelle Version: 1.0

Systemanforderungen:

Webserver: Apache 2.0
PHP: mind. 5.2.9
MySQL: mind. 5.0.22
Sonstiges: gzip & curl

spacer
Weitere Produkte
Unternehmens Lösungen

Unsere Produkte steigern Ihre Effizienz

Mit unseren Business Produkten steigern Sie Ihre Effizienz, indem Sie Kosten & Zeit sparen, aber dennoch professionell und flexibel ihr Geschäftsmodell im Web darstellen.

Haben Sie Interesse an einer individuellen Lösung? Dann kontaktieren Sie uns.

Weiter
Professional Research

Mit uns immer einen Schritt vorraus

Wir betreiben für Sie Research(Forschung) in allen Gebieten der Webentwicklung. Ob Web 2.0, Suchmaschinen Marketing oder Layout Themen. Wir lassen keine Trends außen vor.

Kontaktieren Sie uns und erfahren Sie mehr über das Thema Research.

Weiter Privatanwender Lösungen
Privatanwender Lösungen

Zu unseren Lösungen gehören auch Lösungen für Privatanwender. Schon das MiGo-Portal in seiner kleinsten Edition in Verbindung mit dem Contentmodul ist flexibler als jeder statische HTML-Aufbau.

Kontaktieren Sie uns und wir beraten Sie individuell.

Weiter
spacer
MiGo-WebDesign  © 2018 · Disclaimer · Datenschutz · Impressum
RSS · MiGo-Portal 2.25.12