מינוף של מכרה הנתונים של Google

כל זה קורה ללא כל התערבות אנושית. תוכניות זעירות הנקראות "עכבישים" או "סורקים" עוקבות באופן עצמאי אחר קישורים מדף אחד לאחר, כמו עכביש שעוקב אחר חוטי הרשת. כמו עכבישים לזחול על פני דפי אינטרנט, הם אוספים מידע על כל משפט, תמונה, מספר טלפון וכל דבר אחר שהם עשויים להיתקל. הם סורקים כל דף שבו הם מבקרים, מילות מפתח אינדקס וקישורים הערה אל הדף. לאחר מכן מידע זה מאוחסן במסד נתונים מסיבי. אותם קישורים ודפים נסרקים שוב ושוב, ומבטיחים שהמידע של Google יישאר מעודכן.

Google מדרגת דפים באמצעות המידע שעכבישים אוספים. כלול בתהליך דירוג זה הם:

• תדירות ומיקום מילות מפתח (יותר מילות מפתח במיקומים בולטים יותר טובים);
• את הגיל של הדף (יותר מבוססת היטב את הדף, יותר טוב);
• מספר הדפים המקשרים לדף (ככל שהקישורים יותר טובים).

ישנם גורמים אחרים גוגל רואה גם כן, אבל אלה נשמרים בסוד כדי להפריע לאלה שינסו לשחק את המערכת ואת הציון דרגות גבוהות מבלי לספק בפועל מידע שימושי. בנוסף, אם תגזימו ופשוט למלא את הדף שלך עם מידע מיותר, רשימות של מילות מפתח, קישורים זבל, Google יענישו אותך או אפילו יכול להוריד את האתר שלך ממסד הנתונים. ברור, איזון עדין חייב להיות פגע. זה מאזן של גורמים בדף הוא כמו אמנות כמו מדע.

ככל שציוני הדף גבוהים יותר בהתאם לקריטריונים אלו, כך הוא גבוה יותר בתוצאות החיפוש. הדפים בעלי הדירוג הגבוה ביותר מופיעים בדף הראשון של חיפוש Google; מאחר שרוב משתמשי Google לעולם לא יעזבו בעבר את הדף הראשון, אותם דפים מדורגים גבוה לקבל כמות פרופורציונלית של תעבורת האינטרנט.

כל זה כדי לומר, כאשר אתה מפעיל חיפוש ב- Google, הוא יכול להגיב כל כך מהר כי זה לא מנסה לחפש באינטרנט כולו באותו רגע; היא בוחנת את מסד הנתונים המאורגן והמאורגן ביותר שלה. אבל אפילו חשוב יותר מאשר יצירת חיפושים במהירות הבזק, משמעות הדבר היא כי גוגל יש מאגר עצום של נתונים על מה הוא באינטרנט, וחשוב יותר, מי משתמש במה, מתי ובאיזו מטרה.

גוגל "יודעת" הרבה, למעשה. Google עוקבת אחר חיפושים, ואפילו שומרת קובץ על החיפושים הספציפיים שלך בהתבסס על כתובת ה- IP או על ההתחברות שלך ל- Google. זה נותן להם קצת חלון בראש שלך, לחשוף מה מעניין אותך, מדאיג אותך, מרגש אותך מפחיד אותך. זה לבד הוא מידע שיווקי רב עוצמה.

אם אתה יכול לנצל את מסד הנתונים, תוכל לבנות פרופילים מפורטים על אנשים - האינטרסים שלהם, הרגלי הקנייה, בעיות בריאותיות, בעיות משפחתיות, ועוד. אתה יכול לחשוף סימנים המציעים אם החברה מצליחה או נכשלת, בין אם היא שוקלת מיזוג או רכישה, ואיזה קווי מוצרים היא עשויה להתרחב. אתה יכול לעקוב אחר מגמות היסטוריות בבחירות, כלכלה, בריאות, וכל מספר תחומים אחרים שיש להם ערך חברתי, כלכלי ופוליטי משמעותי.

יתר על כן, אם אתה, ביודעין או ללא ידיעה, לעשות שימוש בשירותים אחרים של Google, אתה מספק עוד מידע. הם סורקים את Gmail, ומקבלים את אותו המידע מהתכתובת שלך בחיפושים שלך, כמו גם את החברים והמשתפי פעולה שלך. אם אתה משתף מסמכים באמצעות מסמכים של Google, הם יודעים עם מי אתה עובד ועם אילו פרויקטים. Google Checkout מוסיף נתונים לגבי דפוסי הרכישה שלך, הרגלי ההוצאות שלך והתקציב שלך.

יש גם מידע שאתה משדר ל- Google מבלי להיות מודע לכך שאתה עושה זאת. Google אוספת, כמו גם שירותי אינטרנט אחרים, כתובת ה- IP שלך ואולי כתובת ה- MAC שלך. כתובת ה- IP שלך אומרת להם בערך היכן אתה נמצא בעולם מבחינה גיאוגרפית, וכתובת ה- MAC שלך היא חתימה ייחודית למכשיר שלך; זה מאפשר להם לעקוב אם אתה תמיד להשתמש באותו מחשב, כמה מכונות אתה משתמש, וכן הלאה. אז, לא רק גוגל יודע מה אתה מחפש ואת מי אתה מתקשר, החברה גם יודעת איפה אתה ואיזה מכונה או מכונות אתה משתמש.

כמובן, בואו ניקח צעד אחורה ולהודות כי כמעט כל אתר אינטרנט יש גישה חלק או את כל המידע הזה. לדוגמה, כתובות IP נאספות באופן קבוע כדי להתגונן מפני התקפות של האקרים ושל מניעת שירות. מידע על המקומות שבהם אתה גולש באתר של מישהו, כאשר אתה מגיע ועוזב ומאיפה אתה בא והולך, כל הנתונים הסטטיסטיים הסטטיסטיים באינטרנט זמינים אפילו לאתר האישי הקטן ביותר.

מה שמייחד את Google הוא הגודל העצום שלה ומגוון השירותים שלה, ומאפשר לה לאסוף מגוון רחב יותר של מידע מאנשים רבים נוספים.

כאשר סליק המידע שלך עובר ממאות פיסות נתונים למיליארדים, יש לך תובנה שאף אחד אחר לא עושה. מה שהופך את Google לחזק ביותר הוא שהוא יכול לראות אנשים בהקשרים רבים יותר מכל אדם אחר. Google צופה בך גם כאשר אינך מחובר למחשב שלך. מפות Google מספק תמונות ברזולוציה גבוהה של רוב ארצות הברית, כמו גם באזורים אחרים בעולם. סביר להניח כי הבית שלך ניתן לראות במפות Google, ואם אתה במקרה להשקות את החצר כאשר הלוויין עף בעבר, ייתכן גם להיות מסוגל לראות את עצמך זוג rattiest שלך של מכנסיים קצרים!

מה גוגל יכולה לעשות

בכל פעם שאתה מפעיל חיפוש ב- Google, הרישומים הראשונים בחלק העליון של הדף, והרישומים בצד הימני הם "קישורים ממומנים", פרסומות בתשלום שנרכשו על ידי אנשים שמאמינים כי המחפשים שמנהלים חיפוש כמו שלך יהיה מעוניין הסחורה והשירותים שלהם. טכניקה זו התפשטה לדפי אינטרנט אחרים, מה שמסביר את הכינוי "מודעות מאת Google" שאתה רואה בהצגת מודעות רלוונטיות לדפים של אתרים אחרים.

ברור, מכירת שטח פרסום זה מהווה מקור מצוין להכנסות עבור Google. בשנת 2007, הביאה AdWords את הכנסותיה של Google ליותר מ -16 מיליארד דולר, מה שהפך את מקור ההכנסות הגדול ביותר של גוגל עד כה. לשם השוואה, חנות הנתונים של Google היא מכרה זהב שבקושי נקשר אליו.

עד כה, התכונות של Google שראינו התמקדו בעיקר בתגובה למגמות השוק הנוכחיות. אנשים מתעניינים במשהו - הגרסה החדשה של X-Box, מציאת חשמלאי באינטרנט, מזכרות בסופרבול וכו '- וגוגל ממוקמת כדי לעזור לאנשים להתחבר ללקוחות הפוטנציאליים שלהם.

עם זאת, עם מספיק מידע, חברה כמו גוגל יכולה לעשות יותר מאשר פשוט להגיב להווה במהירות הבזק. הוא יכול גם לראות את העתיד, או אפילו ליצור את העתיד. לפני שאתה חושב שזה רק פרנואיד מדע בדיוני בהקיץ, לתת את הנושא קצת שיקול.

בואו ניקח מקרה פשוט. נניח שאתה מגדיר תוכנית כדי לציין חיפושים שאינם מצליחים להציג דפים מדורגים ביותר - חיפושים כושלים שאינם מספקים מידע שימושי באמת למחפש. התוכנית עוקבת אחר הכשלים האלה מציינת מה המחפש רצה, ומציגה את החיפושים שנכשלו בקטגוריות.

אם מסתכלים על הטפסים האלה, מה אם גוגל שמה לב שיש מספר רב של חיפושים כושלים, שכל אחד מהם קשור למציאת סופרסטור עשה זאת בעצמך ב- Thermopolis, WY. קצת יותר להסתכל על, ויש לי רשימה של מקומות שבהם יש רבים נכשלה DIY חיפושים Locator. רשימה זו תהיה בעלת ערך רב לחברה שמזכירה חנויות של DIY (לא שמות שמות, אבל תחשוב על המחסנים הכתומים הגדולים בכל פרבר: האם הם לא רוצים לדעת?).

הם לא רק ידעו כי אין חנות DIY שם, אבל זה מספר מסוים של אנשים מחפשים חנות כזו. והם היו כנראה יש מושג מה הם קיווי לקנות שם: מכשירי חשמל, חומרי בניין, גז grills, וכו 'זה מחקר שוק כואב, מסודרים בקפידה ונותחו על ידי Google באופן אוטומטי.

באותו אופן מידע זה יכול לשמש כדי לזהות קונים פוטנציאליים עבור מוצר מסוים, לעקוב אחר עבריינים העוסקים פורנוגרפיית ילדים, לתפוס גנבים פוטנציאליים מעטפת בית או חנות. זה יכול לעזור למפתחים לבחור אתרים עבור בתים חדשים וחנויות, להזהיר אותך מפני מזג אוויר קשה באזור שלך, לאתר מצביעים רשומים וללמוד על ההרגלים שלהם ואת האינטרסים, ולעזור למס הכנסה למצוא אנשים לרמות על המסים שלהם. יכול להיות גם טעויות של פרשנות: חבורה של חיפושים על סרטן מעיירה קטנה יכול להיות הרבה חולי סרטן, אבל זה יכול באותה מידה גם אומר שיש שם בית ספר לרפואה.

כפי שאתה יכול לראות, אנו עשויים applaud כמה מהשימושים של מידע זה, ולחקור אחרים. אבל הם כולם אפשריים, וכל להשתמש באותן טכניקות בסיסיות. אתה יכול למצוא כמעט כל דבר שאתה רוצה, אתה רק צריך לדעת איך לחפש את זה.

במאמר הבא שלי, אנחנו נסתכל על מה כל זה אומר לך בתור אדם … וכייזם. קפיצה אל: Google Data Mine והעסק שלך.

* * * * *