יותר

מנהל QGIS DB - טען כשכבה חדשה לא נטענת


לאחר שהפעלתי שאילתת SQL בהצלחה בשתי טבלאות וכמה תוצאות בשלוש עמודות, אני מאוד רוצה להיות מסוגל להציג אותה על גבי הבד. ככל הנראה, פונקציה זו אינה עושה דבר, אפילו לא כמו זריקת שגיאה כדי לדעת אם משהו קורה.

מה עליי לעשות? אני מקווה שתצלום המסך הזה יעזור.

* אני משתמש במנהל DB מכיוון שהתוסף SPIT לא איפשר לי לייבא קבצי צורה. * גרסת QGIS 2.8.2 ב- Windows


לאחר מספר ניסיונות הצלחתי ליצור טבלה עם התוצאות שלי, אולם זה לא מה שאליו כיוונתי.

צור תוצאות טבלה כ- (בחר Bati_1948.objectid gid48, bati_1971.objectid gid71, ST_Area (ST_Intersection (bati_1948.geom, bati_1971.geom)) / ST_Area (bati_1971.geom) יחס מ- bati_1948 RIGHT JOIN bati_1971 ON_ Bati_1971 ON_ .geom, 5) היכן bati_1948.objectid NULL OR ST_Area (ST_Intersection (bati_1948.geom, bati_1971.geom)) / ST_Area (bati_1971.geom) <> 1);

האם מישהו יידע איך אוכל להפוך את זה לטופס צורה?


עליך לבצע פלטת עמודות גיאומטריה בשאילתה שלך. נראה שלא.


בגרסה שלי (2.16.3), אם אני מסיר את התיבה שליד 'עמודת הגיאומטריה', אני יכול לטעון כשכבה חדשה את התוצאה של שאילתה ללא שום בעיה למרות שאין לה שום נתוני גאומטריה ...


גבולות במדעי כדור הארץ

מאמר זה הוא חלק מנושא המחקר

נתוני כדור הארץ הגדולים להפחתת סיכוני אסונות צפו בכל 6 המאמרים

נערך על ידי
ליי וואנג

המכון לחישה מרחוק וכדור הארץ הדיגיטלי (CAS), סין

נסקר על ידי
יוצ'ו צ'ין

המכון לחקר מידע לחלל, האקדמיה הסינית למדעים, סין

ווייגו האן

תאגיד אוניברסיטה למחקר אווירה (UCAR), ארצות הברית

שיוכי העורך והסוקרים הם האחרונים המופיעים בפרופילי המחקר Loop שלהם ואולי אינם משקפים את מצבם בזמן הסקירה.


  • הורד מאמר
    • הורד PDF
    • ReadCube
    • EPUB
    • XML (NLM)
    • מַשׁלִים
      חוֹמֶר
    • EndNote
    • מנהל הפניה
    • קובץ TEXT פשוט
    • BibTex


    תשתף

    SQL Errorlog הודעות FlushCache קבועות

    שרת המהווה חלק מקבוצת זמינות תמיד ב- SQL 2017 (BAG) הבחנתי בעלייה בהודעות אלה. אני מבין שמדובר בהודעות המופיעות ביומן כסטנדרט מאז 2012 (דגל מעקב לפני 2012) אך במהלך היומיים האחרונים הן מופיעות כל כמה דקות, אין גיבויים המריצים או עבודות תחזוקה בזמנים אלה

    השרת מתנהג ככישלון משני שאינו קריא על פני השותף והשרת הראשי אינו מציג את אותה התנהגות.

    09/04/2020 10: 52: 24, spid82s, לא ידוע, FlushCache: ניקה 2303 bufs עם 1881 כותב ב 81090 ms (נמנע מ 11 bufs מלוכלכים חדשים) עבור db 7: 0 09/04/2020 10:52:07, spid52s, לא ידוע, היעד האחרון יוצא מהכלל: 2 avgWriteLatency 86 09/04/2020 10: 52: 07, spid52s, לא ידוע, כתיבה ממוצעת לשנייה: 17.70 כתיבה / שניה תפוקה ממוצעת: 0.19 מגה לשנייה רווי קלט / פלט: 13073 מתגי הקשר 15434

    יש גם אזהרה ביומן שגיאות המערכת לגבי בעיית דיסק, שניות לאחר מכן קבוצת הזמינות נכשלה מאז שהודעות FlushCache גדלו.

    האם מישהו חווה משהו דומה או שיש לו עצות כלשהן, הסיסדמין שלי מסתכל גם על אחוזת SAN ו- VMware.


    תחילת העבודה עם GeoMesa באמצעות Geodocker

    בפוסט קודם הראיתי כיצד להשתמש ב- docker להפעלת יישום יחיד (GeoServer) במיכל ולהתחבר אליו מהתקנת ה- QGIS המקומית שלך. הפוסט של היום עוסק בהפעלת חבורה שלמה של מכולות שמתקשרות זו עם זו. באופן ספציפי יותר אני משתמש בתמונות שסופקו על ידי Geodocker. מאגר Geodocker מספק התקנה המכילה את Accumulo, GeoMesa ו- GeoServer. אם אתה עדיין לא מכיר את GeoMesa:

    GeoMesa הוא בסיס פתוח, מבוזר ומרחבי-זמני המבוסס על מספר מערכות אחסון נתונים מבוזרות בענן & # 8230 GeoMesa שואפת לספק כמה שיותר מהשאילתות המרחביות ומניפולציה של נתונים ל- Accumulo כמו ש- PostGIS עושה ל- Postgres.

    החלקים הבאים מראים כיצד לטעון נתונים ל- GeoMesa, לבצע שאילתות בסיסיות באמצעות שורת פקודה ולבסוף לפרסם נתונים ל- GeoServer. התוכן מבוסס בעיקרו על שני מדריכי GeoMesa: Geodocker: Bootstrapping GeoMesa Accumulo ו- Spark on AWS ו- Map-Reduce Ingest of GDELT, כמו גם פוסט של דיטהרד שטיינר על יסודות Accumulo. ההבדל העיקרי הוא שמדריך זה נכתב להפעלה מקומית (ולא על AWS או תשתית דומה) וכי הוא מאיית את כל שמות המשתמשים והסיסמאות שהוגדרו מראש ב- Geodocker.

    מדריך זה נבדק באובונטו ומניח כי Docker כבר מותקן. אם עדיין לא עשית זאת, תוכל להתקין את Docker כמתואר בסעיף ההתקנה באמצעות המאגר.

    כדי להגדיר את Geodocker, עלינו לקבל את הקוד מ- Github ולהפעיל את הפקודה docker-compose:

    לאחר סיום ה- docker-compose, השתמש במסוף שני כדי לבדוק את מצב כל המכולות:

    בזמן כתיבת פוסט זה, גרסת Geomesa המותקנת בדרך זו היא 1.3.2:

    טוען נתונים

    ראשית עלינו לקבל נתונים. ההדרכות הזמינות מתייחסות לעיתים קרובות לנתונים שפורסמו על ידי פרויקט GDELT. בואו להוריד נתונים למשך שלושה ימים, לפתוח אותם ולהעתיק אותם למיכל geodockeraccumulogeomesa_accumulo-master_1 לעיבוד נוסף:

    טעינה או ייבוא ​​של נתונים נקראת & # 8220ingesting & # 8221 בעגה של Geomesa. מכיוון שהתבנית של נתוני GDELT כבר מוגדרת מראש (מיפוי ה- CSV מוגדר בכלי geomesa / conf / sfts / gdelt / reference.conf), אנו יכולים לבלוע את הנתונים:

    לאחר שהנתונים נבלעים, נוכל להסתכל בטבלה שנוצרה על ידי בקשה מ- GeoMesa לתאר את הסכימה שנוצרה:

    ברקע הנתונים שלנו נשמרים בטבלאות Accumulo. למבט מקרוב, פתח מסוף אינטראקטיבי בתמונת האב של Accumulo:

    ופתח את מעטפת ה- Accumulo:

    כאשר אנו מאחסנים נתונים ב- GeoMesa, אין רק טבלה אחת אלא כמה. לכל טבלה מטרה מסוימת: אחסון מטא נתונים, רשומות או אינדקסים. כל הטבלאות מקודמות לשם טבלת הקטלוג:

    כברירת מחדל, GeoMesa יוצר שלושה מדדים:
    Z2: לשאילתות עם רכיב מרחבי אך ללא רכיב זמני.
    Z3: לשאילתות עם מרכיב מרחבי וגם זמני.
    רשומה: לשאילתות לפי מזהה תכונה.

    אבל בואו נחזור ל- GeoMesa & # 8230

    שאילתת נתונים

    עכשיו אנחנו מוכנים לשאול את הנתונים. בואו קודם לבצע שאילתת מאפיינים פשוטה. וודא שאתה נמצא במסוף האינטראקטיבי בתמונת האב של Accumulo:

    שאילתה זו מסננת עבור מזהה אירוע מסוים:

    אם שאילתת התכונה פועלת בהצלחה, נוכל להתקדם לאיזה טוב גיאוגרפי וזו הסיבה שבכל זאת אנו מעוניינים ב- GeoMesa ולבצע שאילתה מרחבית:

    פונקציות שניתן להשתמש בהן בשאילתות / פילטרים של פקודות ייצוא הן פונקציות CQL (E) מגיאוטולים לרוב. שאילתות מתוחכמות יותר דורשות SparkSQL.

    פרסום טבלאות GeoMesa עם GeoServer

    כדי להציג נתונים ב- GeoServer, עבור אל http: // localhost: 9090 / geoserver / web. כניסה עם מנהל מערכת: geoserver.

    ראשית, אנו יוצרים מרחב עבודה חדש בשם & # 8220geomesa & # 8221.

    לאחר מכן נוכל ליצור חנות חדשה מסוג Accumulo (GeoMesa) בשם & # 8220gdelt & # 8221. השתמש בפרמטרים הבאים:

    אז נוכל להגדיר שכבה שתפרסם את התוכן של מאגר הנתונים החדש שלנו. זה טוב לבדוק את הגדרות מערכת ההפניה לתיאום ולהכניס את המידע לתיבה התוחמת:

    לתצוגה מקדימה של ה- WMS, עבור אל תצוגה מקדימה של GeoServer:

    שייראה בערך כך:

    נתוני GeoMesa סוננו באמצעות CQL בתצוגה מקדימה של GeoServer

    לקבלת אפשרויות תצוגה נוספות, עיין במדריך הרשמי של GeoMesa.

    אם תבדוק מקרוב את כתובת האתר לתצוגה מקדימה, תבחין שהיא מציינת חלון זמן:

    זה בדיוק המקום בו QGIS TimeManager יכול להיכנס: שימוש ב- TimeManager לשכבות WMS-T. יכולת פעולה הדדית לניצחון!


    איזון עומסים

    שימוש במאזן עומסי תוכנה לניטור יישומים, אבטחה ומודיעין של משתמשי קצה

    • מנהלי מערכת יכולים לקבל תובנות יישומיות לביצוע
    • צמצם את זמן פתרון הבעיות מימים לדקות בלבד
    • הימנע מהצביעת אצבעות ומעצים פיתרון נושאים שיתופיים


    הצהרת קטעי תצורה מותאמת אישית של ASP.NET שוברת את עורך התצורה של מנהל ה- IIS

    יש לי רכיב תצורה מותאם אישית פשוט של .NET המאפשר לי לציין קבוצת תצורה מותאמת אישית וחתך בקובץ ה- web.config של יישום האינטרנט ASP.NET 2.0 שלי (פרויקט האינטרנט מכוון .NET Framework 3.5):

    ב- web.config שלי יש לי את ההצהרות הבאות:

    ישנם כמה שיעורים המספקים גישה לחלק תצורה מותאם אישית זה השוכנים בפרויקט ספריית כיתה הנקרא CustomSettingsLib:

    הקוד לקריאת הערך MySetting נראה (Default.aspx.cs):

    זה עובד מצוין ויישום האינטרנט שלי יכול לקרוא את הערך MySetting מקובץ web.config שלי.

    מכיוון שהגדרות אלה ישמשו ביישומי אינטרנט רבים ב- Windows 2008 R2 + IIS7.5 יצרתי אז סיומת של סכימת התצורה של IIS כדי לאפשר עריכה של הגדרה זו בתכונה של עורך התצורה של IIS Manager במקום שיהיה לי צורך לערוך ידנית את הקובץ web.config. .

    הוספתי קובץ סיומת סכימת תצורה של IIS ל:

    לאחר מכן הוספתי את הגדרת החלק הבא לקובץ applicationHost.config של IIS באלמנט & ltconfigSections & gt:

    הבעיה שיש לי היא שכשאני פותח את עורך התצורה של מנהל ה- IIS לאתר:

    לאחר מכן בחר SimpleConfigGroup מהרשימה הנפתחת של הסעיף והיא מדווחת על השגיאה המעורפלת הבאה:


    מערכת ניהול מידע חכם המבוססת על Hadoop

    על מנת לחקור את ניהול המידע, טכנולוגיית מחשוב הענן מוחלת על תחום מערכת המידע הגיאוגרפי, ונחקרת ומממשת מערכת אחסון וניהול נתונים בחישה מרחוק המבוססת על Hadoop. הפונקציה העיקרית של מערכת זו כוללת שמודול אחסון הנתונים לחישה מרחוק מספק את פונקציית הורדת נתוני החישה מרחוק למנהל נתונים, תומך בפרוטוקול HTTP ובפרוטוקול FTP בהורדת HTTP מבוזרת בריבוי הברגה. אלגוריתם הבנייה המקביל של תמונת חישה מרחוק של פירמידה המבוסס על Map Reduce מתממש על ידי המודול, ומתבצעת חיתוך שכבתי ואחסון של נתוני חישה מרחוק מסיבית. נעשה שימוש בספריית הקוד הפתוח של GDAL המתאימה לנתוני סריקה מהירים לקרוא והיא מספקת משאב נתונים לחיתוך מקבילי נתונים לחישה מרחוק. בנוסף, תוכנת התווך של מפת אריחי קוד פתוח של Geo Web Cache מאומצת ו- HBase מוצגת כתמיכת אחסון של אריחים, שיכולה להתמודד עם מספר רב של ביקורים של משתמשים, כולל טעינה וגרירה של מפות. בדיקת המערכת מתבצעת כדי לוודא את יעילותה והמעשיות שלה של השיטה המוצעת. תוצאות הבדיקה יכולות להראות שמערכת אחסון הנתונים וניהול חישה מרחוק המבוססת על Hadoop יכולה לטפל ביעילות בנתוני חישה מרחוק ולשפר את חוויית המשתמש. מסקנה היא כי למערכת ניהול המידע יש אפקטיביות גבוהה ויכולת ביצוע.

    זו תצוגה מקדימה של תוכן מנוי, גישה דרך המוסד שלך.


    מצאתי את הפוסט הזה בבלוג מאת אלן סילג'אק המתאר כיצד תוכל למנוע ממנו להתחיל בעת כניסה. ישנן שתי שיטות שונות לפתרון הבעיה. הראשון והפשוט ביותר הוא תיבת סימון במנהל השרת עצמו. השנייה כוללת שינוי הרישום, שניתן להשתמש בו כדי להפוך את התהליך לאוטומטי ולסרוק אותו למספר רב של שרתים.

    שיטת ממשק המשתמש - בתוכנית "מנהל השרתים" יש את הקטע "סיכום שרתים -> מידע על המחשב". בתחתית החלק יש תיבת סימון "אל תציג לי את הקונסולה הזו בכניסה". סמן תיבה זו וצא מהתוכנית ובכניסה הבאה לא תראה את מנהל השרתים.

    שיטת הרישום - עבור אל עורך הרישום ו- HKLM Software Microsoft ServerManager והגדר את המשתנה DoNotOpenServerManagerAtLogon ל- 1. לאחר מכן עבור לערך אחר ב- HKCU Software Microsoft ServerManager והגדר את CheckedUnattendLaunchSetting ל- 0 (שים לב שהדבר יגדיר אותו רק למשתמש הנוכחי). לאחר התנתקות והתחברות חזרה אתה כבר לא אמור לראות את מנהל השרת.


    שגיאה זו מתרחשת בדרך כלל אם אתה מבצע sqlplus כמשתמש אחר (מלבד זה שהתקין את תוכנת Oracle), עקב בעיות הרשאה

    בדוק את אורקל הערה: 356850.1

    הצלחתי לפתור בעיה זו על ידי העתקת תוכן תיקיית SQLPLUS לתיקיית Instant_Client_12_1. ואז SQLPlus הצליח להפעיל.

    אחרת בדוק אם אתה יכול לגשת לספריית lib למעלה.

    הרגע פרסתי לקוח מיידי בספריה ולאחר עדכון LD_LIBRARY_PATH (כולל ספריית lib של הלקוח המיידי) ו- ORACLE_HOME עמדתי בפני אותה בעיה. כעת עדכנתי את PATH (כולל ספריית הפח ללקוח מיידי) וזה פתר את הבעיה.

    ולפעמים מעקב אחר תיעוד של אורקל פותר לא מעט טרחה.

    ודא שלקוח מיידי בסיסי נפרס לפני הפעלת סקריפט ההתקנה של ODBC.

    פתח את חבילת הלקוח המיידי של ODBC ואז בצע את הסקריפט odbc_update_ini.sh עם הספרייה המותקנת של מנהל ההתקן כארגומנט של שורת פקודה. (לתחביר מלא, אנא הפעל את "odbc_update_ini.sh" ללא כל טיעון של שורת פקודה.) לדוגמה, אם מנהל ההתקנים מותקן בספריה / home / DriverManager.

    זה יוסיף את ערך ה- DSN ב- $ HOME / .odbc.ini ו- /etc/odbcinst.ini עם שם DSN כ- OracleODBC-11g

    לאחר ההתקנה יש להגדיר את הסביבה בצורה הבאה. הוסף את הספרייה למשתנה סביבת המערכת LD_LIBRARY_PATH. אחרת מנהל ODBC לא יוכל לטעון / למצוא את מנהל ההתקן.

    הגדר את משתנה הסביבה TNS_ADMIN כדי לכוון את ספריית קבצי .ora עבור OCI.


    נספח: הפניה למוצר

    סעיף זה מתאר את הארכיטקטורה ויכולות ה- DR של מוצרי Google Cloud הנפוצים ביותר ביישומי לקוחות ושניתן למנף אותם בקלות בכדי להשיג את דרישות ה- DR שלך.

    נושאים נפוצים

    מוצרים רבים של Google Cloud מציעים תצורות אזוריות או רב-אזוריות. מוצרים אזוריים עמידים בפני הפסקות אזור, ומוצרים מרובי אזורים וגלובליים עמידים בפני הפסקות אזור. באופן כללי, המשמעות היא שבמהלך הפסקת חשמל, היישום שלך חווה הפרעה מינימלית. גוגל משיגה את התוצאות הללו באמצעות כמה גישות אדריכליות נפוצות, המשקפות את ההנחיה האדריכלית לעיל.

      פריסה מיותרת: גבות האפליקציה ואחסון הנתונים נפרסים על פני מספר אזורים בתוך אזור ואזורים מרובים בתוך מיקום מרובה אזורים.

    שכפול נתונים: מוצרים משתמשים בשכפול סינכרוני או אסינכרוני בכל המיקומים המיותרים.

    סינכרוני שכפול פירושו שכאשר היישום שלך מבצע שיחת API כדי ליצור או לשנות נתונים המאוחסנים על ידי המוצר, הוא מקבל תגובה מוצלחת רק לאחר שהמוצר כתב את הנתונים למספר מיקומים. שכפול סינכרוני מבטיח שלא תאבד גישה לאף אחד מהנתונים שלך במהלך הפסקת תשתית של ענן Google מכיוון שכל הנתונים שלך זמינים באחד ממיקומי ה- backend הזמינים.

    למרות שטכניקה זו מספקת הגנה מרבית על נתונים, היא עשויה להיות פיצויים מבחינת חביון וביצועים. מוצרים מרובי אזורים המשתמשים בשכפול סינכרוני חווים את הפירעון באופן משמעותי ביותר - בדרך כלל בסדר גודל של 10 או 100 של אלפיות שניות של זמן אחזור נוסף.

    אסינכרוני שכפול פירושו שכאשר היישום שלך מבצע שיחת API כדי ליצור או לשנות נתונים המאוחסנים על ידי המוצר, הוא מקבל תגובה מוצלחת לאחר שהמוצר כתב את הנתונים למיקום יחיד. לאחר בקשת הכתיבה שלך, המוצר משכפל את הנתונים שלך למיקומים נוספים.

    טכניקה זו מספקת חביון נמוך יותר ותפוקה גבוהה יותר ב- API מאשר שכפול סינכרוני, אך על חשבון הגנת הנתונים. אם המיקום בו כתבת נתונים סובל מהפסקה לפני השלמת השכפול, אתה מאבד גישה לנתונים אלה עד לפתור את הפסקת המיקום.

    טיפול בהפסקות עם איזון עומסים: Google Cloud משתמש באיזון עומסי תוכנה בכדי לנתב בקשות לתומכי היישומים המתאימים. בהשוואה לגישות אחרות כמו איזון עומסים ב- DNS, גישה זו מצמצמת את זמן תגובת המערכת להפסקה. כאשר מתרחשת הפסקת מיקום של Google Cloud, מאזן העומסים מזהה במהירות כי ה- backend שנפרס במיקום זה הפך להיות & quotquothealthy & quot ומפנה את כל הבקשות ל- backend במיקום חלופי. זה מאפשר למוצר להמשיך ולהגיש את בקשות היישום שלך במהלך הפסקת מיקום. כאשר נפתרת הפסקת המיקום, מאזן העומסים מזהה את זמינות המוצר האחורי במיקום זה וממשיך לשלוח אליו תנועה.

    מנוע מחשב

    Compute Engine הוא ענן גוגל ותשתית כשירות. היא משתמשת בתשתית עולמית של Google כדי להציע מכונות וירטואליות (ושירותים נלווים) ללקוחות.

    מופעי Compute Engine הם משאבים אזוריים, כך שבמקרה של הפסקות אזור מופעים אינם זמינים כברירת מחדל. Compute Engine כן מציע קבוצות מופעים מנוהלות (MIG) אשר יכולות להגדיל באופן אוטומטי מחשבים וירטואליים נוספים מתבניות מופע שהוגדרו מראש, הן בתוך אזור יחיד והן על פני מספר אזורים באזור. MIGs אידיאליים עבור יישומים הדורשים חוסן לאובדן אזורים וחסרי מדינה, אך דורשים תצורה ותכנון משאבים. ניתן להשתמש ב- MIGs אזוריים מרובים כדי להשיג חוסן של הפסקת אזורים ליישומים חסרי מדינה.

    יישומים שיש להם עומסי עבודה סטטיים עדיין יכולים להשתמש ב- MIGs סטטיים (בטא), אך יש לנקוט משנה זהירות בתכנון הקיבולת מכיוון שהם אינם מתרחבים אופקית. חשוב בכל אחד מהתרחישים להגדיר ולבדוק נכון תבניות מופע Compute Engine ו- MIG מבעוד מועד בכדי להבטיח יכולות כישלון עבודה לאזורים אחרים. עיין בסעיף דפוסי אדריכלות לעיל למידע נוסף.

    Dataproc

    Dataproc מספקת יכולות זרימה ועיבוד נתונים באצווה. Dataproc מאוחסן כמישור בקרה אזורי המאפשר למשתמשים לנהל אשכולות Dataproc. מישור הבקרה אינו תלוי באזור בודד באזור נתון. לכן, במהלך הפסקת אזורים, אתה שומר על גישה לממשקי ה- API של Dataproc, כולל היכולת ליצור אשכולות חדשים.

    אשכולות מופעלים במנוע מחשוב. מכיוון שהאשכול הוא משאב אזורי, הפסקת אזורים הופכת את האשכול ללא זמין, או הורסת את האשכול. Dataproc אינה ממצבת אשכול תמונות תמונת מצב באופן אוטומטי, ולכן הפסקת אזור עלולה לגרום לאובדן נתונים בעיבוד. Dataproc אינה שומרת על נתוני משתמשים במסגרת השירות. משתמשים יכולים להגדיר את הצינורות שלהם כך שיכתבו תוצאות לחנויות נתונים רבות. כדאי לקחת בחשבון את הארכיטקטורה של מאגר הנתונים ולבחור מוצר המציע את חוסן האסון הנדרש.

    אם אזור סובל מהפסקה, תוכל לבחור ליצור מחדש מופע חדש של האשכול באזור אחר, על ידי בחירת אזור אחר או שימוש בתכונה 'מיקום אוטומטי' ב- Dataproc לבחירה אוטומטית של אזור זמין. לאחר שהאשכול זמין, עיבוד הנתונים יכול להתחדש. ניתן גם להפעיל אשכול כאשר מצב זמינות גבוהה מופעל, מה שמקטין את הסבירות שהפסקת אזור חלקית תשפיע על צומת ראשי ועל כן על כל האשכול.

    זרימת נתונים

    Dataflow הוא שירות עיבוד הנתונים המנוהל במלואו ונטול השרתים של Google לצורך הזרמת וצינורות אצווה. עבודות זרימת נתונים הן באופיו, ובתצורת ברירת המחדל אינן שומרות על תוצאות חישוב ביניים במהלך הפסקת אזורים. גישת התאוששות אופיינית לצינורות ברירת מחדל מסוג Dataflow היא הפעלה מחדש של עבודה באזור או אזור אחר ועיבוד מחדש של נתוני הקלט שוב.

    ארכיטקטורת צינורות זרימת נתונים לזמינות גבוהה

    במקרה של הפסקת אזור או אזור, אתה יכול למנוע אובדן נתונים על ידי שימוש חוזר באותו מנוי לנושא פאב / משנה. כחלק מההתחייבות המדויקת של Dataflow באופן חד פעמי, Dataflow מתייחס רק להודעות ב- Pub / Sub אם הן היו קבועות ביעד, או אם הודעה עברה פעולת קיבוץ / חלון זמן ונשמרה בצינור העמיד של Dataflow. מדינה. אם אין פעולות קיבוץ / חלונות-זמן, כישלון לעבודת זרימת נתונים אחרת באזור או אזור אחר על ידי שימוש חוזר במנוי לא מוביל לאובדן נתונים בנתוני פלט הצינור.

    אם הצינור משתמש בקיבוץ או חלון-זמן, אתה יכול להשתמש בפונקציונליות חיפוש של פונקציות פאב / משנה או הפעלה חוזרת של קפקא לאחר הפסקת אזורים או אזוריים כדי לעבד מחדש אלמנטים נתונים כדי להגיע לאותן תוצאות חישוב. ניתן למזער את אובדן הנתונים של תפוקות הצינור עד 0 אלמנטים, אם ההיגיון העסקי בו משתמשים הצינור אינו מסתמך על נתונים לפני ההפסקה. אם ההיגיון העסקי של הצנרת אכן מסתמך על נתונים שעובדו לפני ההפסקה (למשל, אם משתמשים בחלונות הזזה ארוכים או אם חלון זמן גלובלי מאחסן דלפקים הולכים וגדלים), Dataflow מציע תכונה של צילום תמונות (כרגע בתצוגה מקדימה) המספק גיבוי תמונת מצב של צינור ומצב # 39.

    BigQuery

    BigQuery הוא מחסן נתוני ענן חסר שרתים, ניתן להרחבה וחסכוני במיוחד המיועד לזריזות עסקית. BigQuery תומך בשתי אפשרויות תצורה שונות הקשורות לזמינות עבור מערכי נתונים של משתמשים.

    תצורת אזור יחיד

    בתצורה של אזור אחד, הנתונים נשמרים באופן יתיר בשני אזורים בתוך אזור אחד. נתונים שנכתבו ל- BigQuery נכתבים תחילה לאזור הראשי ואז משוכפלים בצורה לא סינכרונית לאזור משני. זה מגן מפני אי זמינות של אזור אחד באזור. נתונים שנכתבו לאזור הראשי אך שלא שוחזרו לאזור המשני בזמן הפסקת אזור אינם זמינים עד לפתרון ההפסקה. במקרה הבלתי סביר של הרס אזור, נתונים אלה עלולים לאבד לצמיתות.

    תצורה מרובת אזורים (ארה"ב / איחוד אירופי)

    בדומה לתצורת אזור יחיד, בתצורה מרובת אזורים של ארה"ב / האיחוד האירופי, הנתונים נשמרים באופן יתיר בשני אזורים באזור אחד. בנוסף, BigQuery שומר עותק גיבוי נוסף של הנתונים באזור שני. אם האזור הראשוני חווה הפסקת חשמל, הנתונים מוגשים מהאזור המשני. נתונים שלא שוחזרו אינם זמינים עד לשחזור האזור הראשי.

    מנוע Google Kubernetes

    מנוע Google Kubernetes (GKE) מציע שירות Kubernetes מנוהל על ידי ייעול הפריסה של יישומי מיכל ב- Google Cloud. אתה יכול לבחור בין טופולוגיות אשכול אזוריות או אזורי.

    • בעת יצירת a אשכול אזורי, GKE מספקת מכונת מטוס בקרה אחת באזור הנבחר, כמו גם מכונות עובדים (צמתים) באותו אזור.
    • ל אשכולות אזוריים, GKE מספק שלוש מכונות מטוס בקרה בשלושה אזורים שונים באזור הנבחר. כברירת מחדל, הצמתים משתרעים גם על פני שלושה אזורים, אם כי אתה יכול לבחור ליצור אשכול אזורי עם צמתים המוצעים רק באזור אחד.
    • אשכולות מרובי אזורים דומים לאשכולות אזורים שכן הם כוללים מכונת אב אחת, אך בנוסף מציעים את היכולת להרחיב צמתים על פני מספר אזורים.

    הפסקת אזורים: כדי להימנע מהפסקות אזוריות, השתמש באשכולות אזוריים. מישור הבקרה והצמתים מופצים על פני שלושה אזורים שונים באזור. הפסקת אזור אינה משפיעה על מטוס הבקרה וצומת העובדים הפרוסים בשני האזורים האחרים.

    הפסקת אזור: הפחתת הפסקת אזורים מחייבת פריסה על פני מספר אזורים. למרות שאינו מוצע כרגע כיכולת מוצר מובנית, טופולוגיה מרובת אזורים היא גישה בה נוקטים כיום כמה לקוחות GKE, וניתנת ליישום ידני. באפשרותך ליצור מספר אשכולות אזוריים כדי לשכפל את עומסי העבודה שלך על פני מספר אזורים, ולשלוט בתעבורה לאשכולות אלה באמצעות כניסה של רב-אשכולות.

    שירות ניהול ענן מפתח

    שירות ניהול מפתח הענן (Cloud KMS) מספק ניהול משאבי מפתח הצפנה מדרגי ועמיד במיוחד. ענן KMS מאחסן את כל הנתונים והמטא-נתונים שלו בבסיסי הנתונים של Cloud Spanner המספקים עמידות גבוהה של נתונים וזמינות עם שכפול סינכרוני.

    ניתן ליצור משאבי KMS בענן באזור אחד, באזורים מרובים או ברחבי העולם.

    במקרה של הפסקת אזורים, ענן KMS ממשיך להגיש בקשות מאזור אחר באותו אזור או אחר ללא הפרעה. מכיוון שנתונים משוכפלים באופן סינכרוני, אין אובדן נתונים או שחיתות. כאשר נפתרת הפסקת האזור, יתפוס מחדש יתירות מלאה.

    במקרה של הפסקת אזור, משאבים אזוריים באזור זה אינם מקוונים עד שהאזור יהיה זמין שוב. שים לב שגם בתוך אזור, לפחות 3 העתקים נשמרים באזורים נפרדים. כאשר נדרשת זמינות גבוהה יותר, יש לאחסן משאבים בתצורה מרובת אזורים או גלובלית. תצורות מרובות אזורים וגלובליים נועדו להישאר זמינים דרך הפסקת אזור על ידי אחסון ושירות נתונים גיאוגרפית ביותר מיותר מאזור אחד.

    זהות ענן

    שירותי Cloud Identity מופצים על פני מספר אזורים ומשתמשים באיזון עומסים דינמי. Cloud Identity אינו מאפשר למשתמשים לבחור היקף משאבים. אם אזור או אזור מסוים חווים הפסקת חשמל, התנועה מופצת אוטומטית לאזורים או אזורים אחרים.

    נתונים קבועים משתקפים באזורים מרובים עם שכפול סינכרוני ברוב המקרים. מטעמי ביצועים, כמה מערכות, כגון מטמונים או שינויים המשפיעים על מספר רב של ישויות, משוכפלים באופן לא סינכרוני בין אזורים. אם האזור הראשוני בו מאוחסנים הנתונים העדכניים ביותר חווה הפסקת חשמל, Cloud Identity מגיש נתונים מעופשים ממיקום אחר עד שהאזור הראשוני יהפוך לזמין.

    דיסק מתמשך

    דיסקים קבועים זמינים בתצורות אזוריות ואזוריות.

    דיסקים קבועים אזוריים מתארחים באזור יחיד. אם אזור הדיסק & # 39s אינו זמין, הדיסק הקבוע אינו זמין עד לפתרון הפסקת האזור.

    דיסקים קבועים אזוריים מספקים שכפול נתונים סינכרוני בין שני אזורים באזור. במקרה של הפסקת חשמל במחשב הווירטואלי שלך, אתה יכול לכפות על הצמדת דיסק קבוע אזורי למופע VM באזור המשני של הדיסק. כדי לבצע משימה זו, עליך להפעיל מופע אחר של VM באותו אזור או לשמור על מופע VM המתנה חם באזור זה.

    אחסון בענן

    אחסון בענן מספק אחסון אובייקטים מאוחד, מדרגי ועמיד במיוחד. ניתן ליצור דלי אחסון בענן באזור יחיד, אזורים כפולים או רב אזורים ביבשת.

    אם אזור חווה הפסקת חשמל, הנתונים באזור שאינו זמין מוגשים באופן אוטומטי ושקוף ממקומות אחרים באזור. נתונים ומטא נתונים מאוחסנים באופן מיותר על פני אזורים, החל מהכתיבה הראשונית. שום כתיבה לא הולכת לאיבוד כאשר אזור הופך להיות לא זמין.

    במקרה של הפסקת אזור, דליים אזוריים באזור זה לא מקוונים עד שהאזור יהיה זמין שוב. כאשר נדרשת זמינות גבוהה יותר, עליך לשקול לאחסן נתונים בתצורה כפולה או רב-אזורית. אזורים כפולים ורב אזורים נועדו להישאר זמינים דרך הפסקת אזור באמצעות אחסון נתונים גיאוגרפי ביותר מאזור אחד באמצעות שכפול אסינכרוני.

    אחסון בענן משתמש באיזון עומסים בענן כדי להגיש דליים כפולים ורב אזורים ממספר אזורים. במקרה של הפסקת אזור, ההגשה אינה נקטעת. מכיוון שהיתירות הגיאוגרפית מושגת באופן אסינכרוני, יתכן וחלק מהנתונים שנכתבו לאחרונה לא יהיו נגישים במהלך ההפסקה ועלולים לאבד אותם במקרה של הרס פיזי של הנתונים באזור הפגוע.

    רישום מכולות

    Container Registry מספק יישום מדרגי Docker Registry המתארח המאחסן באופן מאובטח ופרטי תמונות מיכל Docker. רישום המיכלים מיישם את ה- HTTP Docker Registry API.

    רישום המכולות הוא שירות גלובלי המאחסן באופן סינכרוני מטא נתונים של תמונות באופן מיותר על פני אזורים ואזורים מרובים כברירת מחדל. תמונות מיכל מאוחסנות בדליים מרובי אזורים של אחסון בענן. באמצעות אסטרטגיית אחסון זו, הרישום של Container מספק חוסן של הפסקת אזורים בכל המקרים, ועמידות על הפסקות אזוריות לכל נתונים ששוכפלו באופן אסינכרוני למספר אזורים על ידי אחסון ענן.

    פאב / תת

    Pub / Sub הוא שירות העברת הודעות לאינטגרציה של יישומים וניתוח זרמים. נושאי פאב / תת הם כלל-עולמיים, כלומר גלויים ונגישים מכל מקום של Google Cloud. עם זאת, כל הודעה נתונה נשמרת באזור ענן אחד של Google, הקרוב ביותר למפרסם ומותר על פי מדיניות מיקום המשאבים. לפיכך, נושא עשוי לכלול הודעות המאוחסנות באזורים שונים ברחבי Google Cloud. מדיניות אחסון ההודעות Pub / Sub יכולה להגביל את האזורים בהם מאוחסנות ההודעות.

    הפסקת אזורים: כאשר מתפרסמת הודעת פאב / תת, היא נכתבת באופן סינכרוני לאחסון בשני אזורים לפחות באזור. לכן, אם אזור יחיד הופך להיות לא זמין, אין השפעה גלויה של הלקוח.

    הפסקת אזור: במהלך הפסקת אזור, הודעות המאוחסנות באזור הפגוע אינן נגישות. פעולות אדמיניסטרטיביות, כגון יצירת ומחיקה של נושאים ומנויים, הן רב-אזוריות ועמידות בפני הפסקות בכל אזור ענן של Google. פעולות פרסום עמידות גם בפני הפסקות אזור, בתנאי שלפחות אזור אחד המותר על פי מדיניות אחסון ההודעות זמין והיישום שלך משתמש בנקודת הקצה הגלובלית (pubsub.googleapis.com) או בנקודות קצה אזוריות מרובות. כברירת מחדל, Pub / Sub אינו מגביל את מיקום אחסון ההודעות.

    אם בקשתך מסתמכת על הזמנת הודעות, אנא עיין בהמלצות מפורטות מצוות הפאב / תת. ערבויות להזמנת הודעות ניתנות על בסיס אזור, ועלולות להיפגע אם אתה משתמש בנקודת קצה גלובלית.

    מלחין ענן

    Cloud Composer הוא יישום זרימת האוויר של Apache מנוהל על ידי Google Cloud # 39. Cloud Composer מאוחסן כמישור בקרה אזורי המאפשר למשתמשים לנהל אשכולות Cloud Composer. מישור הבקרה אינו תלוי באזור בודד באזור נתון. לכן, במהלך הפסקת אזורים, אתה שומר על הגישה לממשקי ה- API של Cloud Composer, כולל היכולת ליצור אשכולות חדשים.

    אשכולות מנוהלים ב- Google Kubernetes Engine. מכיוון שהאשכול הוא משאב אזורי, הפסקת אזורים הופכת את האשכול ללא זמין, או הורסת את האשכול. זרימות עבודה המתבצעות כעת בזמן ההפסקה עשויות להיפסק לפני סיומן. המשמעות היא שההפסקה גורמת לאובדן מצב של זרימות עבודה שבוצעו חלקית, כולל כל פעולות חיצוניות שזרימת העבודה הוגדרה על ידי המשתמש לבצע. בהתאם לזרימת העבודה, הדבר עלול לגרום לחוסר עקביות חיצונית, כגון אם זרימת העבודה נעצרת באמצע ביצוע רב-שלבי כדי לשנות מאגרי נתונים חיצוניים. לכן, עליך לשקול את תהליך ההתאוששות בעת תכנון זרימת העבודה שלך ב- Airflow, כולל כיצד לזהות מצבי זרימת עבודה חלקית שלא בוצעו, לתקן שינויים חלקיים בנתונים וכן הלאה.

    במהלך הפסקת אזור, תוכל לבחור להשתמש ב- Cloud Composer כדי להתחיל מופע חדש של האשכול באזור אחר. לאחר שהאשכול זמין, זרימת העבודה יכולה לחדש. בהתאם להעדפותיך, ייתכן שתרצה להפעיל אשכול העתקים סרק באזור אחר ולעבור לשכפול זה במקרה של הפסקת אזורים.

    ענן SQL

    Cloud SQL is a fully managed relational database service for MySQL, PostgreSQL, and SQL Server. Cloud SQL uses managed Compute Engine virtual machines to run the database software. It offers a high availability configuration for regional redundancy, protecting the database from a zone outage. Cross-region replicas can be provisioned to protect the database from a region outage. Because the product גַם offers a zonal option, which is not resilient to a zone or region outage, you should be careful to select the high availability configuration, cross-region replicas, or both.

    Zone outage: ה high availability option creates a primary and standby VM instance in two separate zones within one region. During normal operation, the primary VM instance serves all requests, writing database files to a Regional Persistent Disk, which is synchronously replicated to the primary and standby zones. If a zone outage affects the primary instance, Cloud SQL initiates a failover during which the Persistent Disk is attached to the standby VM and traffic is rerouted.

    During this process, the database must be initialized, which includes processing any transactions written to the transaction log but not applied to the database. The number and type of unprocessed transactions can increase the RTO time. High recent writes can lead to a backlog of unprocessed transactions. The RTO time is most heavily impacted by (a) high recent write activity and (b) recent changes to database schemas.

    Finally, when the zonal outage has been resolved, you can manually trigger a failback operation to resume serving in the primary zone.

    For more details on the high availability option, please see the Cloud SQL high availability documentation.

    Region outage: ה cross-region replica option protects your database from regional outages by creating read replicas of your primary instance in other regions. The cross-region replication uses asynchronous replication, which allows the primary instance to commit transactions before they are committed on replicas. The time difference between when a transaction is committed on the primary instance and when it is committed on the replica is known as "replication lag" (which can be monitored). This metric reflects both transactions which have not been sent from the primary to replicas, as well as transactions that have been received but have not been processed by the replica. Transactions not sent to the replica would become unavailable during a regional outage. Transactions received but not processed by the replica impact the recovery time, as described below.

    Cloud SQL recommends testing your workload with a configuration that includes a replica to establish a "safe transactions per second (TPS)" limit, which is the highest sustained TPS that doesn't accumulate replication lag. If your workload exceeds the safe TPS limit, replication lag accumulates, negatively affecting RPO and RTO values. As general guidance, avoid using small instance configurations (<2 vCPU cores, <100GB disks, or PD-HDD), which are susceptible to replication lag.

    In the event of a regional outage, you must decide whether to manually promote a read replica. This is a manual operation because promotion can cause a split brain scenario in which the promoted replica accepts new transactions despite having lagged the primary instance at the time of the promotion. This can cause problems when the regional outage is resolved and you must reconcile the transactions that were never propagated from the primary to replica instances. If this is problematic for your needs, you may consider a cross-region synchronous replication database product like Cloud Spanner.

    Once triggered by the user, the promotion process follows steps similar to the activation of a standby instance in the high availability configuration: The read replica must process the transaction log and the load balancer must redirect traffic. Processing the transaction log drives the total recovery time.

    For more details on the cross-region replica option, please see the Cloud SQL cross-region replica documentation.

    Cloud Logging

    Cloud Logging consists of two main parts: the Logs Router and Cloud Logging storage.

    The Logs Router handles streaming log events and directs the logs to Cloud Storage, Pub/Sub, BigQuery, or Cloud Logging storage.

    Cloud Logging storage is a service for storing, querying, and managing compliance for logs. It supports many users and workflows including development, compliance, troubleshooting, and proactive alerting.

    Logs Router & incoming logs: During a zonal outage, the Cloud Logging API routes logs to other zones in the region. Normally, logs being routed by the Logs Router to Cloud Logging, BigQuery, or Pub/Sub are written to their end destination as soon as possible, while logs sent to Cloud Storage are buffered and written in batches hourly.

    Log Entries: In the event of a zonal or regional outage, log entries that have been buffered in the affected zone or region and not written to the export destination become inaccessible. Logs-based metrics are also calculated in the Logs Router and subject to the same constraints. Once delivered to the selected log export location, logs are replicated according to the destination service. Logs that are exported to Cloud Logging storage are synchronously replicated across two zones in a region. For the replication behavior of other destination types, see the relevant section in this article. Note that logs exported to Cloud Storage are batched and written every hour. Therefore we recommend using Cloud Logging storage, BigQuery, or Pub/Sub to minimize the amount of data impacted by an outage.

    Log Metadata: Metadata such as sink and exclusion configuration is stored globally but cached regionally so in the event of an outage, the regional Log Router instances would operate. Single region outages have no impact outside of the region.

    Cloud Spanner

    Cloud Spanner is a scalable, highly-available, multi-version, synchronously replicated, and strongly consistent database with relational semantics.

    Regional Cloud Spanner instances synchronously replicate data across three zones in a single region. A write to a regional Cloud Spanner instance is synchronously sent to all 3 replicas and acknowledged to the client after at least 2 replicas (majority quorum of 2 out of 3) have committed the write. This makes Cloud Spanner resilient to a zone failure by providing access to all the data, as the latest writes have been persisted and a majority quorum for writes can still be achieved with 2 replicas.

    Cloud Spanner multi-regional instances include a write-quorum that synchronously replicates data across 5 zones located in three regions (two read-write replicas each in the default-leader region and another region and one replica in the witness region). A write to a multi-regional Cloud Spanner instance is acknowledged after at least 3 replicas (majority quorum of 3 out of 5) have committed the write. In the event of a zone or region failure, Cloud Spanner has access to all the data (including latest writes) and serves read/write requests as the data is persisted in at least 3 zones across 2 regions at the time the write is acknowledged to the client.

    See the Cloud Spanner instance documentation for more information about these configurations, and the replication documentation for more information about how Cloud Spanner replication works.

    Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.


    צפו בסרטון: QGIS Saving Projects in PostgreSQL and a bit of DB Manager (אוֹקְטוֹבֶּר 2021).