YaCy

YaCy YaCy keresési oldal Információ

Fejlesztette	Michael Peter Christen és a projekt közreműködői
Az első verzió	2004
Utolsó verzió	1,92 (2016. december 26)
Letét	github.com/yacy/yacy_search_server
Projekt állapota	Fejlesztés alatt
Beírva	Jáva
Környezet	Cross-platform
Nyelvek	Többnyelvű
típus	Nyílt és ingyenes peer-to-peer internetes keresőmotor
Forgalmazási politika	Ingyenes
Engedély	Ingyenes licenc ( GNU GPL v2)
Weboldal	yacy.net/hu

A YaCy (a Yet Another Cyberspace számára az ya see (you see) angol homofonja ) egy ingyenes keresőmotor , amely a peer-to-peer hálózat elvén működik . Ezt a szoftvert Java- ban fejlesztették ki, és 2006 végén több száz számítógépre telepítették, amelyeket YaCy-társaknak vagy YaCy- állomásoknak neveztek (napi 600 aktív2014. június). A YaCy-t például a mainzi Johannes Gutenberg Egyetem használja .

A YaCy hálózatot elosztott (nem központosított) architektúra jellemzi . Minden YaCy csomópontok ( társaik ) megfelel, és nincs fő szerver.

Minden munkaállomáson a YaCy bejáró vagy proxy módban fut . Minden YaCy állomás indexelő robotokat indít, amelyek elemzik a talált oldalakat. Az eredményeket elosztott adatbázisban (indexben) tároljuk .

A keresőmotorhoz egy helyi webszerveren keresztül lehet hozzáférni, amely egy mezőt mutat be a kulcsszavak beírásához, és az eredményeket egy szokásos weboldal formájában adja meg .

A YaCy projektet 2003-ban alapította Michael Christen. A szoftver az ingyenes GNU GPL licenc alatt jelenik meg .

A program

A YaCy keresőmotorjának szíve - a többi keresőmotorhoz hasonlóan - nem központi szerver, hanem szinte minden operációs rendszeren futó szoftver . A keresést egy helyi weboldalon hajtják végre, amelyet a telepített szoftver szállít. Az eredmények megjelenítése weblap formájában is megtörténik .

A proxy szerver a P2P rendszerhez van kapcsolva: opcióként használható, és automatikusan jelzi a meglátogatott oldalakat. Ezeket az információkat nem tárolják a meglátogatott webhelyek, amelyek további információkat szerezhetnek be a GET vagy a POST segítségével, vagy amelyek cookie-kat vagy HTTP azonosítót használnak (pl. Jelszóval védett oldalakhoz). Ily módon biztosítják, hogy csak a mindenki számára nyíltan hozzáférhető adatokat jelezzék.

Speciális funkciók

• A YaCy a proxy opció minden felhasználójának lehetőséget kínál a munkaállomások elérésére a PEERNAME.yacy vagy PEERHASH.yacyh domain alatt. A felhasználó meghatározhat egy kezdőlapot a www.PEERNAME.yacy alatt; egy fájlmegosztó rendszer elérhető a share.PEERNAME.yacy alatt, és a szokásos felület a PEERNAME.yacy alatt. Meghatározhatja más aldomaineket , amelyekben új mappát hoz létre az aldomain nevével. Ez egyfajta dinamikus DNS is .
• A YaCy emellett helyet biztosít egy kezdőlapnak és fájlcserét azoknak a felhasználóknak, akik nem használják a YaCy programot, függetlenül a .yacy-Domain-től. Összekapcsolható az aktuális IP-címmel vagy egy dinamikus tartománynévvel .
• YaCy van olyan funkció, amelyet szöveges üzenetek küldésére (formázott WikiText ), és attól függően, hogy a beállításokat a vevőt, hogy adatokat küldjön.
• A YaCy integrál egy wikit és egy blogot .
• A könyvjelzők kezelése lehetővé teszi privát vagy nyilvánosan látható könyvjelzők létrehozását.
• Lehetőség van feketelisták definiálására bizonyos tartományokhoz.
• Van egy OpenSearch felület, amely a következő címen érhető el: http: // <peer-address>: <peer-port> /opensearchdescription.xml, például http://search.yacy.net/opensearchdescription.xml .

Építészet

A YaCy keresőmotor négy elemre épül:

Csúszó Kereső robot, amely a weboldal tartalmának elemzésével navigál weboldalról weboldalra. Index Fordított szó indexet (RWI) hoz létre . Az index minden szavának megvan a releváns URL-ek listája és információ a rangsorolásról. A szavakat tárolás előtt kivonják . Kutatási és adminisztrációs felület Webes felületként tervezték, amelyet egy helyi HTTP szervlet és egy szervlet tároló tartalmaz. Adattárolás A fordított szó index adatbázis tárolása elosztott hash tábla használatával .

Technikai sajátosságok

A program alapja a web szerver , amely működik, mint egy proxy - cache . A felhasználói felület a webszerveren keresztül érhető el; kutathat, vagy adminisztrálhatja pozícióját. A proxy továbbítja kódját a bejárónak, ami azt jelenti, hogy az összes nem személyre szabott felkeresett oldal automatikusan hozzáadódik az indexhez. A YaCy az Apache Solr programot az 1.04.9097 verzió óta használja. Ezenkívül a YaCy hálózat néhány olyan tartományt kínál, amelyek a proxyn keresztül érhetők el.

Index eloszlás

Az adatcserével ellentétben a P2P keresőmotor eredményeinek azonnal elérhetőnek kell lenniük. Ennek garantálása érdekében a YaCy elosztott hash táblázatot használ . Ez azt jelenti, hogy az összes tárolt szót és URL-t olyan hozzászólásokhoz küldjük, amelyek kivonatolási értéke megegyezik a szó vagy URL megfelelő hash értékével. A keresés során a másik irányba megy: csak azok között az állomások között keresünk, amelyek az URL szerint tudják a szó hash értékét. Így a keresés során csak a pozíciók töredékével lépnek kapcsolatba annak érdekében, hogy mindennek ellenére kielégítő eredményt érjenek el.

A pozíciók típusai

A YaCy négyféle munkaállomást különböztet meg:

Szűz A Virgin állomásnak semmilyen kapcsolata nincs a hálózattal, ezért nem észlelhető. Ezért mi vagyunk az egyetlenek, akik tudhatják, hogy álláspontja Szűz. Junior Az állomás egy tűzfal mögött van . Mások Junior posztnak vagy potenciális társnak tekinthetik. Azonban csak az utolsó csatlakozás időpontját ismerhetik meg, és semmilyen módon nem tudhatják, hogy továbbra is online állapotban van-e. Idősebb A vezető beosztás kívülről érhető el, és teljes jogú tagja a YaCy hálózatnak. Fő Ez egy Senior bejegyzés, amely egy "seedlist" -et is küld, amelyet más bejegyzések felhasználhatnak vetőmag célokra .

A YaCy protokoll áll szöveget servlet , hogy a beágyazott webkiszolgáló teszi keretében rendelkezésre álló /yacy/servletname.html. A többi állomás a GET paramétereken keresztül továbbít adatokat neki: válaszként egy egyszerű szöveget kapnak, amelynek pontos formátuma a szervletektől függ.

Alapozás

Indításkor a YaCy megpróbál más állomásokat keresni a hálózaton. Ehhez először a superseed.txt fájlban keresi meg az alaplista letöltését: ott megtalálhatók a más bejegyzések által feltöltött kezdőlisták URL-jei. Ezután a seed.txt fájlon keresztül hivatkozásokat szerez más munkaállomásokra, és így létrejöhet a YaCy hálózati kapcsolat. A következő indításkor a YaCy ismert magokból indítható. A kezdőlisták ezért csak akkor hasznosak, ha sok hivatkozás már nem helyes.

Előnyök és hátrányok

Előnyök

• A keresési eredményeket nem lehet cenzúrázni vagy elfogulni hirdetési okokból, mivel nincs központi szerver.
• A kereső nagyobb megbízhatóságot kínál (legalábbis elméletileg), mert a YaCy hálózat egy része továbbra is elérhető lesz, ha bizonyos állomások nem működnek.
• A szoftver ingyenes szoftver , amelyet a GNU General Public License alapján bocsátottak ki . Ez is ingyenes.
• Nincsenek központosított rendszer által kezelt hirdetések, mivel a motor nem tartozik egy céghez.
• Tervezése szerint a YaCy használható a " rejtett web  " indexelésére,  beleértve a Tor , az I2P vagy akár a Freenet is .
• Magas szintű titoktartás érhető el.
• A YaCy protokoll HTTP kéréseket használ , megőrizve az átláthatóságot és az akadálymentességet, miközben segít diagnosztizálni és megtalálni a problémák forrásait. Az olyan tömörítő eszközökkel , mint a gzip , a teljesítmény szinte a bináris protokollok szintjéig javítható (például TCP és UDP ).
• Beépített támogatás az OpenSearch számára .

Hátrányok

• A keresés során a YaCy-nek kapcsolatba kell lépnie más állomásokkal, és újra be kell töltenie a kezdőlapot a spam blokkolása érdekében. A keresés ezért több időt vesz igénybe, mint egy hagyományos keresőmotor esetén.
• Mivel nincs központi szerver, és a YaCy hálózat bárki számára nyitott, a rosszindulatú munkaállomások elvileg képesek lennének pontatlan, kereskedelmi szempontból elfogult vagy spam keresési eredmények bevezetésére. Ennek ellenére a felhasználó számára megjelenített keresési eredmények elméletileg nem lehetnek „hamisak”, mivel az összes eredményt úgy ellenőrizzük, hogy letöltenénk az eredmények halmazába tartozó oldalakat, és ellenőrizzük, hogy a keresett szavak valóban léteznek-e az oldalon. A YaCy azonban User-Agent karaktersorozattal azonosítja önmagát, ami azt jelenti, hogy a webszerver más tartalmat adhat vissza a YaCy bejárónak, mint amit egy normál látogatónak adott vissza.
• Ha csak néhány pozíció érhető el, az eredmények száma kevesebb lesz, mint egy nagy keresőmotoron végzett keresés esetén. Néhány fontos alállomás leállítása vagy meghibásodása szintén még nagyobb megszakításokhoz vezethet.
• Gyorsítótárazási okokból a kérelmeket ideiglenesen a munkaállomások RAM-jába menti a rendszer, ahol készültek. A lekérdező szavak kódolásához használt hash függvényt elsősorban az elosztott hash tábla kezelésére használják, és a kulcsszavak részben egy szótár segítségével fedezhetők fel, hogy a lekérdezéseket egyértelműen jelenítsék meg.
• A YaCy protokoll HTTP kéréseket használ , de ezek lassabbak lehetnek, mint a nem szöveges (bináris) protokollok által használtak, ha nincsenek tömörítve.
• A YaCy nem tartalmaz semmiféle NAT bejárási funkcionalitást , ami megakadályozza, hogy a szoftvert a lehető legszélesebb körben használják, mivel a helyi útválasztó konfigurálásának képessége, ha létezik, némi szakértelmet igényel a megfelelő működéshez.
• A webhelyek relevancia szerinti rangsorolása az ügyfél oldalon történik (a felhasználókat arra ösztönzik, hogy telepítsék saját YaCy szerverüket, helyi szerver használatára van szükség a YaCy lehetőségeinek teljes kihasználásához). A rangsorolási algoritmusok, bár könnyen testreszabhatók, nem osztják el a munkaterhelésüket, és csak a YaCy szóindex használatára és minden olyan elemzésre korlátozódnak, amelyet a tárgyra lehetne sorolni. Éppen ezért a bonyolultabb rangsorolási algoritmusok, mint például a Google által használtak és a rang elemzése a tartalmi utazás során kifejlesztett különféle kontextuális tényezők szerint, jelenleg nem megvalósíthatók a YaCy-vel, ami korlátozza a legtöbb felhasználó lehetőségét relevánsabb tartalom megtalálására.

Megjegyzések és hivatkozások

(fr) Ez a cikk részben vagy egészben venni a Wikipedia cikket angolul című „  YaCy  ” ( lásd a szerzők listáját ) . (de) Ez a cikk részben vagy egészben venni a Wikipedia cikket német című „  YaCy  ” ( lásd a szerzők listája ) .

1. (cs) [video] Vizualizace vzniku spontánního řádu - spontán rend evolúció megjelenítés a YouTube-on
2. Korben , "  Yacy - A keresőmotor cenzúra nélkül  " , Korben.info ,2011. február 4(megtekintve 2013. május 6. )
3. (in) Michael Muchmore , "  YaCy  " , PCMag.com ,2011. december 6(megtekintve 2013. május 6. )
4. (en) FSFE Free Software Foundation Europe , "  Web Search az emberek, az emberek számára: YaCy 1.0  " , fsfe ,2011. november 28(megtekintve 2013. május 6. )
5. (in) Katherine Noyes , "  YaCy: ez a szabadság, Nem dobogó Google  " , PCWorld ,2011. december 2(megtekintve 2013. május 6. )
6. Simon Robic , "  Alternatíva a Google # 2-hez: YaCy  " , Numerama.com ,2012. április 4(megtekintve 2013. május 6. )
7. (de) "  Tipps für den Umgang mit Suchmaschinen  " , Welt Online ,2013. április 11( online olvasás , konzultáció 2013. május 6-án )
8. "  Webes keresés az emberek által, az emberek számára - Decentralizáció  " (hozzáférés : 2014. június 13. )
9. http://www.fsz.uni-mainz.de/48.php "Archivált másolat" (2018. július 23-i verzió az Internetes Archívumban )
10. (in) "  Heise Online  " on heise online (hozzáférés: 2020. augusztus 7. ) .
11. http://www.yacy-websearch.net/wiki/index.php/De:Adatvédelem
12. (in) "  YaCy Technology Architecture  " , YaCy.net (hozzáférés: 2012. február 14. )

Lásd is

Kapcsolódó cikkek

P2p keresők

• Keres

Egyéb

• Nutch
• Keresőmotor
• Elosztott architektúra
• Dooble; egy ingyenes böngésző integrált YaCy keresővel.
• Sciencenet  (en) ; a YaCy-n alapuló, tudományos alapú keresőmotor.
• Arado.sf.net - ingyenes kereső és URL-adatbázis.

Külső linkek

• Hivatalos oldal